Confidence envelopes for the false discoveries with heterogeneous data

1. El Problema: Inferencia Selectiva y Heterogeneidad de Datos

En el contexto de la inferencia selectiva y la prueba de múltiples hipótesis, un objetivo fundamental es proporcionar garantías estadísticas sobre el número de falsos descubrimientos (FD) en cualquier subconjunto de hipótesis seleccionado por el usuario, incluso si esa selección depende de los datos (data snooping o p-hacking).

Las herramientas estándar para esto son los barridos de confianza (confidence envelopes) para los falsos descubrimientos. Estos permiten al usuario seleccionar un subconjunto $S$ de hipótesis y obtener un límite superior $\hat{V}(S)$ para el número de falsos positivos en $S$, con una probabilidad de cobertura garantizada (ej. $1-\alpha$).

La limitación actual: La mayoría de los métodos existentes (como los de Genovese, Goeman, Blanchard, Katsevich-Ramdas) asumen un caso homogéneo: que bajo la hipótesis nula, todos los valores $p$ siguen una distribución uniforme $U[0,1]$.
Sin embargo, en muchas aplicaciones reales (pruebas de chi-cuadrado, pruebas exactas de Fisher, datos discretos, pruebas ponderadas), los valores $p$ tienen distribuciones discretas y heterogéneas (diferentes para cada hipótesis).

• Consecuencia: Aplicar métodos homogéneos a datos heterogéneos resulta en una pérdida de potencia. Los métodos homogéneos son excesivamente conservadores (sobrestiman el número de falsos descubrimientos) porque ignoran la información conocida sobre la distribución exacta de los valores $p$ bajo la nula.

2. Metodología y Enfoque

El artículo propone un marco unificado que combina dos enfoques principales de la literatura:

1. Procedimiento de Inversión (Inversion Procedure): Basado en pruebas locales (Genovese, Goeman).
2. Tasa de Error Conjunta (Joint Error Rate - JER): Basado en familias de referencia (Blanchard et al.).

Suposiciones Clave:

• Super-uniformidad: Los valores $p$ bajo la nula son super-uniformes ($P(p \le x) \le x$).
• Independencia: Los valores $p$ bajo la nula son mutuamente independientes.
• Heterogeneidad Conocida: Se asume que se conoce (o se tiene una cota inferior estocástica) la función de distribución acumulada (CDF) exacta $F_i$ de cada valor $p$ bajo su hipótesis nula correspondiente.

Estrategia General:

1. Derivar desigualdades de concentración adaptadas a variables heterogéneas (no uniformes).
2. Construir pruebas locales basadas en estas desigualdades.
3. Utilizar atajos (shortcuts) computacionalmente eficientes para calcular los barridos de confianza, evitando la complejidad exponencial de la inversión directa.
4. Integrar estos resultados en el marco JER para obtener límites adaptativos.

3. Contribuciones Clave

A. Nuevas Desigualdades Probabilísticas Heterogéneas

El artículo introduce y refina desigualdades para la función de distribución acumulada empírica (ecdf) de variables independientes con distribuciones conocidas pero diferentes:

1. Desigualdad de Bretagnolle (Refinada): Una versión heterogénea de la desigualdad DKW (Dvoretzky-Kiefer-Wolfowitz). Utiliza la media de las CDFs individuales ($\bar{F}$) en lugar de la CDF uniforme, lo que reduce la conservatividad.
2. Desigualdad de Simes Heterogénea: Una nueva generalización de la desigualdad de Simes basada en procedimientos de control de FDR para datos heterogéneos (dohler2018new). Permite definir umbrales adaptativos que dependen de las distribuciones específicas $F_i$.

B. Atajos Generales para el Procedimiento de Inversión

Se desarrollan nuevos algoritmos ("atajos") para calcular los límites de confianza derivados del procedimiento de inversión de manera eficiente (tiempo polinómico).

• Se demuestra que, en el caso homogéneo, estos atajos son exactos (coinciden con el procedimiento de inversión teórico).
• Esto valida teóricamente la optimalidad de ciertos métodos adaptativos previos (como los de MBR2024) y proporciona estimadores exactos para el número de hipótesis nulas verdaderas ($m_0$).

C. Barridos de Confianza Adaptativos para Datos Heterogéneos

Se proponen nuevos barridos de confianza utilizando el marco JER en tres configuraciones:

1. Configuración Top-k: Barridos basados en los $k$ valores $p$ más pequeños. Se presentan versiones no adaptativas y adaptativas (que estiman $m_0$ dinámicamente).
2. Configuración k-FWER: Control simultáneo de la tasa de error familiar para $k$ errores.
3. Configuración Determinista: Para subconjuntos de hipótesis predefinidos.

Los métodos adaptativos utilizan estimadores de $m_0$ derivados de las nuevas desigualdades heterogéneas para ajustar los umbrales, logrando una mayor potencia que los métodos que ignoran la heterogeneidad.

D. Equivalencias Teóricas

El papel establece equivalencias formales entre:

• El procedimiento de inversión y el enfoque JER en configuraciones específicas (Top-k y k-FWER).
• Muestra que los métodos adaptativos propuestos son equivalentes a los procedimientos de inversión exactos en el caso homogéneo, cerrando brechas teóricas en la literatura anterior.

4. Resultados Experimentales

Los autores realizaron simulaciones numéricas comparando sus nuevos métodos heterogéneos con sus contrapartes homogéneas (DKW, Simes estándar, Wellner) y otros métodos de referencia (Katsevich-Ramdas, MBR2024).

• Escenario: Se simularon datos binarios (pruebas exactas de Fisher) con dos grupos de sujetos, generando valores $p$ discretos con diferentes parámetros bajo la nula (heterogeneidad).
• Hallazgos:
  • Ganancia de Potencia: Los barridos heterogéneos (especialmente los adaptativos basados en Bretagnolle y Simes heterogéneo) proporcionan límites inferiores más altos para los verdaderos descubrimientos (o límites superiores más bajos para los falsos) en comparación con los métodos homogéneos.
  • Comportamiento según la señal:
    • Cuando la señal es fuerte, los métodos heterogéneos adaptativos son significativamente menos conservadores.
    • En regiones de valores $p$ muy pequeños, los métodos heterogéneos aprovechan la información de las distribuciones discretas para reducir el "ruido" conservador de los métodos uniformes.
  • Comparación: Los métodos basados en Bretagnolle superan a los basados en DKW en escenarios heterogéneos, mientras que los métodos Simes heterogéneos superan a los Simes estándar.

5. Significado e Impacto

Este trabajo es pionero al abordar sistemáticamente la heterogeneidad de los datos en el contexto de los barridos de confianza para falsos descubrimientos.

• Rigor Estadístico: Proporciona garantías de cobertura válidas sin sacrificar la potencia, algo que los métodos homogéneos no logran cuando se aplican a datos discretos o heterogéneos.
• Aplicabilidad Práctica: Es crucial para campos como la genómica (expresión génica), neurociencia (fMRI) y ensayos clínicos, donde las pruebas estadísticas a menudo generan valores $p$ discretos o con distribuciones no uniformes bajo la nula.
• Eficiencia Computacional: Ofrece algoritmos de tiempo polinómico ($O(m^2 \log m)$ o $O(m^3)$) para calcular estos límites complejos, haciéndolos viables para grandes conjuntos de datos.
• Unificación Teórica: Conecta y unifica las líneas de investigación de la inversión de pruebas y el control de la tasa de error conjunta (JER), aclarando la relación entre métodos adaptativos y procedimientos exactos.

En resumen, el artículo proporciona un marco robusto y más potente para la inferencia selectiva en escenarios realistas donde la suposición de uniformidad de los valores $p$ no se cumple, permitiendo a los investigadores tomar decisiones más informadas con menos conservadurismo innecesario.