Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

Resumo Técnico: Por que os Valores-p Empíricos Não São Uniformes

Declaração do Problema
O artigo aborda uma discrepância fundamental entre as propriedades teóricas da Transformação Integral de Probabilidade (PIT) e sua implementação prática na validação de modelos e testes de retroação. Teoricamente, se $X$ é uma variável aleatória contínua com função de distribuição acumulada (FDA) $F_X$, a variável transformada $F_X(X)$ segue uma distribuição uniforme em $[0, 1]$. Essa propriedade fundamenta o uso de PITs e valores-p empíricos para avaliar a calibração de distribuições preditivas, uma prática amplamente adotada em áreas que vão desde a previsão de conjuntos até a gestão de riscos financeiros (por exemplo, diretrizes do Banco Central Europeu).

No entanto, na prática, a distribuição verdadeira $F_X$ é desconhecida. Consequentemente, os praticantes devem estimar percentis usando amostras de referência finitas. O artigo argumenta que essa etapa de estimativa altera fundamentalmente a estrutura estatística do problema. Especificamente, tratar percentis empíricos como extrações independentes de uma distribuição uniforme é incorreto; as estatísticas resultantes não seguem a distribuição uniforme esperada mesmo sob especificação correta do modelo, invalidando assim os testes clássicos de ajuste de uma amostra (como o teste de Kolmogorov–Smirnov) quando aplicados diretamente a esses valores empíricos.

Metodologia
O autor emprega uma combinação de decomposição teórica e simulações de Monte Carlo para analisar as propriedades distributivas dos valores-p empíricos sob três frameworks distintos de implementação:

1. Amostra de Condição Única (Referência Fixa): Todas as observações são avaliadas contra uma única amostra de referência fixa de tamanho $n$. O percentil empírico $\hat{p}(x)$ é construído via interpolação das estatísticas de ordem dessa amostra de referência.
2. Amostras de Referência Independentes: Cada observação é avaliada contra uma amostra de referência distinta e independente. Esse framework imita a abordagem de "histograma de ranks" usada em previsão de conjuntos.
3. Framework de Janela Deslizante: Os valores-p empíricos são computados usando uma janela móvel de observações precedentes, onde cada nova observação entra no conjunto de referência para avaliações subsequentes.

A análise baseia-se na decomposição da função de distribuição empírica dos valores transformados, $F_m$, em relação à distribuição uniforme $F_U$. O artigo utiliza o teorema de Donsker para caracterizar o comportamento assintótico dos processos empíricos e compara as estatísticas de Kolmogorov–Smirnov (KS) e os valores-p resultantes com seus contrapartes teóricos.

Contribuições e Resultados Chave

• Decomposição da Variância (Referência Fixa):
  O artigo demonstra que, quando uma única amostra de referência é utilizada, a distribuição empírica dos valores transformados é uma superposição de duas fontes de aleatoriedade:

  1. Variabilidade de amostragem das observações avaliadas (ordem $O_p(m^{-1/2})$).
  2. Erro de estimativa da amostra de referência finita (ordem $O_p(n^{-1/2})$).

  A decomposição é expressa como $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$, onde $\tilde{F}$ é a distribuição aleatória induzida pela amostra de referência. Os resultados mostram que a estatística KS resultante comporta-se assintoticamente como uma estatística KS de duas amostras e não como uma estatística de uma amostra. Experimentos numéricos confirmam que a dispersão dos valores-p empíricos e das estatísticas KS resultantes são quase indistinguíveis daquelas geradas pela comparação de duas amostras independentes. Consequentemente, a aplicação de testes de uniformidade padrão de uma amostra leva a inferências distorcidas e taxas de rejeição sistemáticas.

• Mitigação via Amostras Independentes:
  No framework onde cada observação possui sua própria amostra de referência independente, o ruído de estimativa associado às amostras de referência é médio entre as observações. O artigo mostra que, nesse cenário, a dispersão dos percentis empíricos acompanha de perto a dos percentis exatos. Embora o ruído esteja presente, os valores transformados retêm as propriedades estatísticas da amostra subjacente, e a correlação entre as estatísticas KS exatas e empíricas permanece evidente.

• Dependência em Janelas Deslizantes:
  A implementação de janela deslizante introduz autocorrelação e supressão de variância. Como cada observação determina seu próprio valor-p e subsequentemente entra no conjunto de referência para avaliações futuras, a sequência de valores-p empíricos não é mais independente. Simulações indicam que, quando o número de observações avaliadas ($m$) é comparável ao tamanho da janela ($n$), a correlação entre as estatísticas KS de valores-p exatos e empíricos se rompe. Os valores-p empíricos exibem volatilidade sistematicamente reduzida em comparação com os valores-p verdadeiros, tornando os procedimentos padrão de teste de retroação enganosos.

Significância e Alegações
O artigo alega que o desajuste estrutural entre as PITs teóricas e sua estimativa empírica invalida a aplicabilidade direta de procedimentos clássicos de ajuste de modelo em contextos padrão de teste de retroação. A significância primária do trabalho reside em identificar que os valores-p empíricos não são extrações uniformes independentes, mas sim governados por uma estrutura de amostragem de dois estágios.

O autor conclui que:

1. Implementações de amostra comum convertem efetivamente o problema em uma comparação de duas amostras, exigindo métodos de calibração revisados que levem em conta o tamanho e a variabilidade da amostra de referência.
2. Implementações de janela deslizante introduzem estruturas de dependência complexas (autocorrelação) que distorcem ainda mais a inferência estatística.
3. Os procedimentos atuais de teste de retroação regulatórios e práticos baseados em PITs requerem revisão para acomodar essas distorções induzidas por estimativa, particularmente quando as amostras de referência são finitas e compartilhadas entre as observações.

O artigo não propõe uma nova estatística de teste específica, mas sim um reavaliação da distribuição da hipótese nula em frameworks existentes para refletir a natureza de duas amostras ou dependente do processo de geração de dados subjacente.