Resumen Técnico: Calibración sin Etiquetas en Pruebas Múltiples

Planteamiento del Problema

Las pruebas de hipótesis a gran escala a menudo buscan proporcionar afirmaciones probabilísticas sobre hipótesis individuales, como la estimación de la tasa de falsos descubrimientos locales (lfdr) mediante métodos bayesianos empíricos. Sin embargo, existe una brecha crítica en la interpretación de estos puntajes: un puntaje reportado $g(p)$ solo es significativo si está calibrado, lo que significa que, entre las pruebas asignadas un puntaje $g(p)$, la hipótesis nula es verdadera con una probabilidad exactamente igual a $g(p)$.

En el aprendizaje supervisado estándar, la calibración se evalúa utilizando etiquetas de verdad fundamental (ground-truth). En las pruebas múltiples, las "etiquetas" (si la hipótesis nula es verdadera o falsa) no se observan. En consecuencia, los diagnósticos de calibración estándar no pueden aplicarse directamente. Si bien la tradición bayesiana empírica reconoce que la distribución de los estadísticos de prueba contiene información estructural, ha habido un trabajo limitado en la evaluación formal o la imposición de la calibración en ausencia de una verdad fundamental, particularmente bajo la especificación errónea del modelo.

Metodología

Los autores reformulan las pruebas múltiples como un problema de clasificación binaria estocásticamente supervisado. Tratan los valores $p$ como covariables y la verdad no observada de la hipótesis nula como una etiqueta binaria $Y_i \in \{0, 1\}$. El objetivo es estimar la función de regresión $lfdr(p) = P(Y=1|p)$.

1. Construcción de Pseudo-Etiquetas

Para cerrar la brecha creada por la falta de etiquetas, los autores construyen pseudo-etiquetas derivadas de los espacios de los valores $p$ ordenados. Sean $p_{(1)} \le \dots \le p_{(m)}$ los valores $p$ ordenados y $\hat{\pi}_{null}$ una estimación de la proporción de nulos verdaderos. La pseudo-etiqueta para la $i$-ésima observación se define como:
$$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_i-1)})$$
donde $R_i$ es el rango de $p_i$.

La justificación teórica se basa en las propiedades asintóticas de los espacios de los estadísticos de orden (Pyke, 1965). A medida que $m \to \infty$, estas pseudo-etiquetas satisfacen un modelo de regresión con errores exponenciales multiplicativos: $\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$, donde $E_i \sim \text{Exp}(1)$. Crucialmente, la esperanza $E[\tilde{Y}_i | p_i]$ aproxima al verdadero $lfdr(p_i)$, lo que permite que las pseudo-etiquetas sirvan como sustitutos directos de las etiquetas reales en las herramientas de calibración estándar.

2. Calibración Isotónica y Equivalencia

Los autores proponen imponer la monotonicidad (los valores $p$ más pequeños deberían producir probabilidades de error menores) mediante la regresión isotónica sobre las pseudo-etiquetas. Demuestran que tres enfoques metodológicos distintos producen exactamente el mismo estimador:

1. Regresión Isotónica: Minimización del error cuadrático entre el predictor y las pseudo-etiquetas (Algoritmo de Vecederos Adyacentes - Pool Adjacent Violators Algorithm).
2. Máxima Verosimilitud: Minimización del log-verosimilitud negativa derivada del modelo de error exponencial (equivalente a minimizar la distancia de Itakura–Saito).
3. Empírico Bayes No Paramétrico: Estimación de la densidad marginal de los valores $p$ utilizando el estimador de Grenander (el MLE para una densidad no creciente) y la aplicación de la regla de Bayes.

El estimador resultante, denotado como $\widehat{lfdr}^\uparrow$, es una función escalonada que agrupa valores $p$ adyacentes en intervalos donde la estimación de la Proporción de Falsos Descubrimientos Locales (FDP) es monótona.

3. Evaluación y Diagnósticos

El marco permite la adaptación de los diagnósticos de calibración supervisada a las pruebas múltiples:

• Diagramas de Fiabilidad: Al agrupar las pseudo-etiquetas, se puede graficar el promedio de los puntajes predichos contra la frecuencia empírica de "nulos verdaderos" (estimada mediante pseudo-etiquetas).
• Arrepentimiento de Brier (Brier Regret): Los autores definen un límite de muestra finita para el arrepentimiento de Brier (el exceso de puntuación de Brier respecto al mejor predictor monótono) para su estimador isotónico.

Principales Contribuciones

1. Construcción de Pseudo-Etiquetas: El artículo introduce un método para generar objetivos de regresión a partir de los espacios de los valores $p$ que tienen el $lfdr$ como su esperanza condicional. Esto desbloquea todo el conjunto de herramientas de la calibración supervisada (por ejemplo, diagramas de fiabilidad, calibración isotónica) para las pruebas múltiples sin necesidad de una verdad fundamental.
2. Unificación Teórica: Los autores demuestran que la calibración isotónica sobre pseudo-etiquetas, la estimación de máxima verosimilitud bajo un modelo de error exponencial y la estimación bayesiana empírica no paramétrica (vía el estimador de Grenander) son matemáticamente equivalentes.
3. Garantías de Muestra Finita: Establecen un límite de muestra finita para el arrepentimiento de Brier del estimador isotónico. Este límite desaparece cuando $m \to \infty$ incluso si el $lfdr$ verdadero no es monótono, siempre que la CDF empírica converja uniformemente. Este resultado se mantiene independientemente de si el supuesto de monotonicidad es estrictamente cierto, ya que el estimador apunta al isotonizado $lfdr$ (la proyección $L_2$ del verdadero $lfdr$ sobre la clase de funciones monótonas).
4. Evidencia Empírica de Descalibración: A través de simulaciones y análisis de datos reales, los autores demuestran que las medidas de error estándar, específicamente el valor-$q$, pueden estar severamente descalibradas, desempeñándose en ocasiones peor que los valores $p$ brutos.

Resultados

Estudios de Simulación

Los autores compararon el arrepentimiento de Brier de tres predictores: valores $p$ brutos, los valores-$q$ de Storey y su estimador isotónico ($\widehat{lfdr}^\uparrow$).

• Convergencia: El arrepentimiento de $\widehat{lfdr}^\uparrow$ disminuyó de manera constante con el número de pruebas $m$, convergiendo a un ritmo polinomial.
• Estancamiento: El arrepentimiento de los valores $p$ permaneció plano (ya que son la función identidad) y el arrepentimiento de los valores-$q$ se mantuvo significativamente más alto que el del estimador isotónico en la mayoría de los escenarios.
• Robustez: Incluso en escenarios donde el $lfdr$ verdadero era no monótono (violando la restricción de forma), el estimador isotónico convergió al $lfdr$ isotonizado, manteniendo un arrepentimiento evanescente respecto al mejor predictor monótono.

Aplicación a Datos Reales

El método se aplicó a un conjunto de datos de aproximadamente 27,000 estadísticas $t$ de la literatura de neurociencia cognitiva y psicología experimental (Szucs e Ioannidis, 2017).

• Verificación de Calibración: Los diagramas de fiabilidad mostraron que tanto los valores $p$ brutos como los valores-$q$ estaban severamente descalibrados (los puntos se desviaban significativamente de la diagonal $y=x$).
• Desempeño: El estimador isotónico $\widehat{lfdr}^\uparrow$ produjo puntajes que se situaban cerca de la diagonal, lo que sugiere que los puntajes calibrados pueden interpretarse como declaraciones de probabilidad locales válidas para estudios individuales.

Significado y Reivindicaciones

El artículo argumenta que la calibración debe ser un objetivo inferencial primario en las pruebas de hipótesis a gran escala, distinto de la mera corrección de multiplicidad. Al tratar las pruebas múltiples como un problema de clasificación con etiquetas ocultas, los autores muestran que se pueden establecer probabilidades de error significativas incluso sin una verdad fundamental.

La importancia del trabajo radica en:

• Interpretabilidad: Proporciona una vía para interpretar los puntajes como probabilidades calibradas incluso bajo la especificación errónea del modelo, ya que la calibración es una propiedad del puntaje en sí mismo y no del modelo generativo.
• Puente Metodológico: Importa con éxito herramientas del pronóstico probabilístico y el aprendizaje supervisado (específicamente la calibración isotónica y los diagramas de fiabilidad) al dominio de las pruebas múltiples.
• Perspectiva Crítica: El hallazgo empírico de que medidas populares como el valor-$q$ pueden estar mal calibradas desafía la suposición de que las medidas estándar basadas en FDR son inherentemente confiables para la evaluación de hipótesis individuales.

Los autores mantienen la modestia respecto a las limitaciones, señalando que su teoría depende de que los valores $p$ estén distribuidos uniformemente bajo la hipótesis nula. Identifican la construcción de pseudo-etiquetas similares para distribuciones nulas no uniformes (por ejemplo, estadísticos $z$ o estadísticas de alta dimensión) como una pregunta abierta para futuras investigaciones.