Resumo Técnico: Calibração sem Rótulos em Testes Múltiplos

Definição do Problema

Testes de hipóteses em larga escala visam frequentemente fornecer afirmações probabilísticas sobre hipóteses individuais, como a estimativa da taxa de falsas descobertas locais (lfdr) via métodos bayesianos empíricos. No entanto, existe uma lacuna crítica na interpretação desses escores: um escore reportado $g(p)$ só é significativo se estiver calibrado, o que significa que, entre os testes atribuídos a um escore $g(p)$, a hipótese nula é verdadeira com probabilidade exatamente igual a $g(p)$.

No aprendizado supervisionado padrão, a calibração é avaliada utilizando rótulos de verdade fundamental (ground-truth). Em testes múltiplos, os "rótulos" (se a hipótese nula é verdadeira ou falsa) não são observados. Consequentemente, diagnósticos de calibração padrão não podem ser aplicados diretamente. Embora a tradição bayesiana empírica reconheça que a distribuição das estatísticas de teste contém informações estruturais, tem havido pouco trabalho na avaliação formal ou imposição de calibração na ausência de verdade fundamental, particularmente sob erro de especificação de modelo (model misspecification).

Metodologia

Os autores reformulam os testes múltiplos como um problema de classificação binária estocamente supervisionado. Eles tratam os $p$-valores como covariáveis e a verdade não observada da hipótese nula como um rótulo binário $Y_i \in \{0, 1\}$. O objetivo é estimar a função de regressão $lfdr(p) = P(Y=1|p)$.

1. Construção de Pseudo-Rótulos

Para preencher a lacuna criada pela ausência de rótulos, os autores constroem pseudo-rótulos derivados dos espaçamentos dos $p$-valores ordenados. Sejam $p_{(1)} \le \dots \le p_{(m)}$ os $p$-valores ordenados e $\hat{\pi}_{null}$ uma estimativa da proporção de nulas verdadeiras. O pseudo-rótulo para a $i$-ésima observação é definido como:
$$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_{i-1})})$$
onde $R_i$ é o ranking de $p_i$.

A justificativa teórica baseia-se nas propriedades assintóticas dos espaçamentos de estatísticas de ordem (Pyke, 1965). À medida que $m \to \infty$, esses pseudo-rótulos satisfazem um modelo de regressão com erros exponenciais multiplicativos: $\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$, onde $E_i \sim \text{Exp}(1)$. Crucialmente, a esperança $E[\tilde{Y}_i | p_i]$ aproxima-se do verdadeiro $lfdr(p_i)$, permitindo que os pseudo-rótulos sirvam como substitutos diretos para os rótulos reais em ferramentas de calibração padrão.

2. Calibração Isotônica e Equivalência

Os autores propõem impor a monotonicidade (menores $p$-valores devem resultar em menores probabilidades de erro) via regressão isotônica nos pseudo-rótulos. Eles demonstram que três abordagens metodológicas distintas produzem exatamente o mesmo estimador:

1. Regressão Isotônica: Minimização do erro quadrático entre o preditor e os pseudo-rótulos (Algoritmo de Pool Adjacent Violators).
2. Máxima Verossimilhança: Minimização do log-verossimilhança negativa derivada do modelo de erro exponencial (equivalente à minimização da distância de Itakura–Saito).
3. Bayesiano Empírico Não Paramétrico: Estimativa da densidade marginal dos $p$-valores usando o estimador de Grenander (o MLE para uma densidade não crescente) e aplicação da regra de Bayes.

O estimador resultante, denotado por $\widehat{lfdr}^\uparrow$, é uma função em degraus que agrupa $p$-valores adjacentes em intervalos onde a estimativa da proporção de falsas descobertas locais (FDP) é monótona.

3. Avaliação e Diagnósticos

O framework permite a adaptação de diagnósticos de calibração supervisionada para testes múltiplos:

• Diagramas de Confiabilidade: Ao agrupar os pseudo-rótulos em bins, pode-se plotar a média dos escores preditos contra a frequência empírica de "nulas verdadeiras" (estimada via pseudo-rótulos).
• Arrependimento de Brier (Brier Regret): Os autores definem um limite de amostra finita para o arrependimento de Brier (o excesso do escore de Brier em relação ao melhor preditor monótono) para o seu estimador isotônico.

Principais Contribuições

1. Construção de Pseudo-Rótulos: O artigo introduz um método para gerar alvos de regressão a partir de espaçamentos de $p$-valores que possuem o $lfdr$ como sua esperança condicional. Isso desbloqueia todo o conjunto de ferramentas de calibração supervisionada (ex: diagramas de confiabilidade, calibração isotônica) para testes múltiplos sem necessidade de verdade fundamental.
2. Unificação Teórica: Os autores provam que a calibração isotônica em pseudo-rótulos, a estimativa de máxima verossimilhança sob um modelo de erro exponencial e a estimativa bayesiana empírica não paramétrica (via estimador de Grenander) são matematicamente equivalentes.
3. Garantias de Amostra Finita: Eles estabelecem um limite de amostra finita para o arrependimento de Brier do estimador isotônico. O limite desaparece conforme $m \to \infty$, mesmo se o verdadeiro $lfdr$ não for monótono, desde que a CDF empírica converja uniformemente. Este resultado mantém-se independentemente de a suposição de monotonicidade ser estritamente verdadeira, pois o estimador visa o $lfdr$ isotonizado (a projeção $L_2$ do verdadeiro $lfdr$ sobre a classe de funções monótonas).
4. Evidência Empírica de Descalibração: Através de simulações e análise de dados reais, os autores demonstram que medidas de erro padrão, especificamente o q-valor, podem estar severamente descalibradas, às vezes performando pior do que os $p$-valores brutos.

Resultados

Estudos de Simulação

Os autores compararam o arrependimento de Brier de três preditores: $p$-valores brutos, $q$-valores de Storey e o seu estimador isotônico ($\widehat{lfdr}^\uparrow$).

• Convergência: O arrependimento de $\widehat{lfdr}^\uparrow$ diminuiu constantemente com o aumento do número de testes $m$, convergindo a uma taxa polinomial.
• Estagnação: O arrependimento dos $p$-valores permaneceu constante (pois são a função identidade) e o arrependimento dos $q$-valores permaneceu significativamente superior ao do estimador isotônico na maioria dos cenários.
• Robustez: Mesmo em cenários onde o verdadeiro $lfdr$ era não monótono (violando a restrição de forma), o estimador isotônico convergiu para o $lfdr$ isotonizado, mantendo um arrependimento que desaparece em relação ao melhor preditor monótono.

Aplicação em Dados Reais

O método foi aplicado a um conjunto de dados de aproximadamente 27.000 estatísticas $t$ da literatura de neurociência cognitiva e psicologia experimental (Szucs e Ioannidis, 2017).

• Verificação de Calibração: Diagramas de confiabilidade mostraram que tanto os $p$-valores brutos quanto os $q$-valores estavam severamente descalibrados (pontos desviaram-se significativamente da diagonal $y=x$).
• Performance: O estimador isotônico $\widehat{lfdr}^\uparrow$ produziu escores que se situavam próximos à diagonal, sugerindo que os escores calibrados podem ser interpretados como afirmações de probabilidade locais válidas para estudos individuais.

Significância e Alegações

O artigo argumenta que a calibração deve ser um objetivo inferencial primário em testes de hipóteses em larga escala, distinto da mera correção de multiplicidade. Ao tratar os testes múltiplos como um problema de classificação com rótulos ocultos, os autores mostram que probabilidades de erro significativas podem ser estabelecidas mesmo sem verdade fundamental.

A significância do trabalho reside em:

• Interpretabilidade: Fornece uma via para interpretar escores como probabilidades calibradas mesmo sob erro de especificação de modelo, visto que a calibração é uma propriedade do próprio escore e não do modelo gerativo.
• Ponte Metodológica: Importa com sucesso ferramentas de previsão probabilística e aprendizado supervisionado (especificamente calibração isotônica e diagramas de confiabilidade) para o domínio dos testes múltiplos.
• Insight Crítico: A descoberta empírica de que medidas populares como o $q$-valor podem estar mal calibradas desafia a suposição de que medidas baseadas em FDR padrão são inerentemente confiáveis para a avaliação de hipóteses individuais.

Os autores mantêm-se cautelosos quanto às limitações, observando que sua teoria depende de os $p$-valores serem uniformemente distribuídos sob a hipótese nula. Eles identificam a construção de pseudo-rótulos semelhantes para distribuições nulas não uniformes (ex: estatísticas $z$ ou estatísticas de alta dimensão) como uma questão aberta para pesquisas futuras.