Nonparametric methods controlling the median of the false discovery proportion

1. El Problema

En el contexto de la prueba de múltiples hipótesis, a menudo se asume que la mayoría de las hipótesis nulas son verdaderas. Sin embargo, existen escenarios críticos (como la evaluación de seguridad de alimentos, pruebas de no inferioridad o equivalencia en ensayos clínicos, y análisis de metabolitos) donde, a priori, se espera que la mayoría de las hipótesis sean falsas. Es decir, se espera que la mayoría de los parámetros se encuentren en una dirección específica o dentro de un intervalo de equivalencia.

El objetivo en estos casos no es solo controlar el error, sino corroborar estadísticamente la expectativa de que la mayoría de las hipótesis nulas son falsas utilizando los datos. Los métodos de control de errores tradicionales, como la Tasa de Descubrimiento Falso (FDR, que controla la media del FDP) o la Tasa de Error Familiar (FWER), pueden ser demasiado conservadores o tener baja potencia en situaciones donde se espera una señal fuerte y generalizada. Además, muchos métodos existentes requieren supuestos de independencia o distribuciones paramétricas específicas que no siempre se cumplen.

2. Metodología Propuesta

El autor propone un enfoque no paramétrico (o semiparamétrico) que explota una propiedad de simetría natural de las estadísticas de prueba para estimar y controlar la mediana de la Proporción de Descubrimientos Falsos (mFDP).

Suposiciones Clave

• Simetría de las estadísticas de prueba: Se asume que el vector de las estadísticas de prueba correspondientes a las hipótesis nulas verdaderas ($T_j - \mu_j$) es simétrico respecto a cero. Esto es válido asintóticamente (distribución normal multivariada) o en muestras finitas para ciertos tests no paramétricos (como tests de permutación o de signos), incluso sin asumir independencia entre las hipótesis.
• Direccionalidad: Se asume que el usuario tiene una expectativa a priori sobre la dirección de los efectos (hipótesis unilaterales) o el intervalo de equivalencia.

Estimación del FDP (Secciones 4.1 y 4.2)

El núcleo del método es un estimador medianamente insesgado del número de falsos positivos ($V$).

• Para pruebas unilaterales (no inferioridad): Se define un conjunto de hipótesis rechazadas $R(t)$ basadas en un umbral $t$. Se calcula $R^-(t)$, el número de estadísticas que caen en la región "espejo" (opuesta a la de rechazo).
• El estimador del número de falsos positivos es $\tilde{V}(t) = \min(R(t), R^-(t))$.
• Bajo la suposición de simetría, se demuestra que $P(V(t) \leq \tilde{V}(t)) \geq 0.5$. Esto significa que $\tilde{V}(t)$ es un límite superior de confianza del 50% para el número de falsos positivos.
• El estimador del FDP es $\widetilde{FDP}(t) = \tilde{V}(t) / (R(t) \lor 1)$.

Control del mFDP (Sección 5)

El objetivo es encontrar un umbral de rechazo $s^+$ tal que la mediana del FDP sea menor o igual a un valor $\gamma$ elegido por el usuario (es decir, $P(FDP \leq \gamma) \geq 0.5$).

• Procedimiento Novel (Método 1): Se busca el umbral $s^+$ tal que para todos los umbrales más estrictos ($t \geq s^+$), el estimador $\widetilde{FDP}(t)$ sea $\leq \gamma$.
• Este método es más potente que los procedimientos basados en pasos descendentes (step-down) o pruebas cerradas (closed testing) existentes cuando la mayoría de las hipótesis son falsas, ya que el estimador $\tilde{V}$ se vuelve muy pequeño en presencia de mucha señal.
• Propiedad de Admisibilidad: Se demuestra teóricamente que el estimador ajustado (con un mecanismo de moneda para empates) es admisible, es decir, no puede ser uniformemente mejorado por otro estimador medianamente insesgado.

Implementación

Los métodos están implementados en el paquete de R mFDP. Se ofrecen funciones para pruebas direccionales (mFDP.direc()) y de equivalencia (mFDP.equiv()).

3. Contribuciones Clave

1. Control de la Mediana (mFDP): Propone métodos que controlan la mediana del FDP en lugar de la media (FDR). Esto es particularmente útil cuando la distribución del FDP está sesgada a la derecha y se desea una garantía de que, en la mayoría de los casos (probabilidad $\geq 0.5$), la proporción de errores es baja.
2. Alta Potencia en Escenarios de "Muchas Falsas Nulas": A diferencia de los métodos conservadores diseñados para cuando la mayoría de las hipótesis son verdaderas, este enfoque explota la expectativa de que la mayoría de los parámetros están en la dirección alternativa, logrando una potencia superior.
3. No Paramétrico y Sin Independencia: No requiere que las hipótesis sean independientes ni que las estadísticas sigan una distribución normal exacta en muestras finitas, solo la propiedad de simetría conjunta.
4. Eficiencia Computacional: A diferencia de métodos basados en permutaciones exhaustivas (como SAM+CT) que tienen un tiempo de cálculo exponencial, el método propuesto tiene un tiempo de cálculo lineal en el número de hipótesis ($m$) después de ordenar los valores-p o estadísticas.
5. Admisibilidad: Establece teóricamente que el estimador propuesto es admisible dentro de la clase de estimadores medianamente insesgados.

4. Resultados

El artículo presenta simulaciones y análisis de datos reales que demuestran la superioridad del método:

• Simulaciones (Sección 6.1):
  • En escenarios con un alto porcentaje de hipótesis falsas ($\pi_0$ bajo, ej. 0.1), el estimador propuesto $\widetilde{FDP}$ proporciona estimaciones significativamente más bajas (mejores) que el método SAM (Significance Analysis of Microarrays) y su versión mejorada SAM+CT.
  • El método propuesto es mucho más rápido que SAM+CT, haciéndolo factible para problemas de gran escala (miles de hipótesis), mientras que SAM+CT se vuelve computacionalmente inviable.
• Control de Potencia (Sección 6.2):
  • El método de control de mFDP propuesto supera en potencia a los competidores principales: el método de Benjamini-Hochberg (control de FDR), el método de Romano-Wolf (FDX) y el método flexible de Hemerik et al. (2024).
  • La ventaja en potencia es más notable cuando el efecto es fuerte y la mayoría de las hipótesis son falsas.
• Análisis de Datos Reales (Sección 6.3):
  • Se aplicó a un conjunto de datos de precios de viviendas en Ames, Iowa, para probar coeficientes de regresión.
  • El método rechazó 30 de 31 hipótesis (coeficientes mayores a -0.1) con un control de mFDP al 10%, mientras que Benjamini-Hochberg solo rechazó 29.
  • En un escenario de muestra pequeña ($n=100$), el método propuesto mantuvo una potencia superior, rechazando 27 hipótesis frente a 16 de Benjamini-Hochberg.

5. Significado e Impacto

Este trabajo es significativo porque ofrece una herramienta estadística robusta y eficiente para un nicho de problemas de inferencia múltiple que a menudo se pasa por alto: la validación de expectativas de que "casi todo es significativo" o "casi todo está dentro de un rango seguro".

• Aplicabilidad Práctica: Es ideal para la evaluación de seguridad de cultivos genéticamente modificados, bioequivalencia y pruebas de no inferioridad, donde el objetivo es demostrar que la mayoría de los parámetros cumplen con ciertos criterios.
• Rigor Teórico: Proporciona garantías de validez en muestras finitas sin depender de supuestos de independencia, llenando una brecha entre los métodos de permutación (conservadores y lentos) y los métodos paramétricos (rápidos pero con supuestos fuertes).
• Cambio de Paradigma: Sugiere que en contextos donde la señal es abundante, controlar la mediana del FDP es una métrica más adecuada y potente que controlar la media (FDR), permitiendo a los investigadores tomar decisiones más informadas con mayor confianza estadística.

En resumen, el artículo presenta un marco metodológico que combina la flexibilidad de los métodos no paramétricos con la potencia necesaria para escenarios de alta señal, ofreciendo una solución computacionalmente eficiente y teóricamente sólida para el control de errores en pruebas múltiples masivas.