Sensitivity Analysis for False Discovery Rate Estimation with Published p-Values

A continuación presento un resumen técnico detallado del artículo "Sensitivity Analysis for False Discovery Rate Estimation with Published p-Values" (Análisis de sensibilidad para la estimación de la tasa de descubrimientos falsos con valores p publicados), escrito por Cao, Yi y Habiger.

1. Planteamiento del Problema

El artículo aborda un problema crítico en la inferencia estadística moderna: la estimación de la Tasa de Descubrimientos Falsos (FDR) utilizando únicamente valores p publicados.

• El Sesgo de Publicación: Existe un consenso de que las políticas de publicación que favorecen la significancia estadística (generalmente $p < 0.05$) introducen un sesgo de selección. Esto distorsiona la distribución de los valores p observados, haciendo que la proporción de descubrimientos falsos entre los resultados publicados sea mayor que la esperada bajo un muestreo aleatorio completo.
• La Incertidumbre del Modelo: La mayoría de los estimadores de FDR existentes (como los de Jager & Leek, 2014) asumen un modelo de selección específico y simplista (ej. "se publica si $p < 0.05$ y no se publica en otro caso"). Sin embargo, en la práctica, el mecanismo real de selección es más complejo y desconocido.
• La Brecha de Investigación: No existe investigación formal que cuantifique cómo la especificación incorrecta del modelo de selección (misspecification) afecta el sesgo y la varianza de los estimadores de FDR. Si el modelo de selección asumido no coincide con la realidad, las estimaciones de FDR pueden ser engañosamente conservadoras o liberales.

2. Metodología

Los autores desarrollan un marco teórico riguroso para analizar el comportamiento de un estimador de FDR estándar bajo modelos de selección arbitrarios.

A. Modelos Fundamentales

1. Modelo de Mezcla de Valores p (Definición 2.1): Se asume que los valores p provienen de una mezcla de hipótesis nulas ($H_0$) y alternativas ($H_1$).
   • Bajo $H_0$, los valores p siguen una distribución Uniforme(0,1).
   • Bajo $H_1$, siguen una distribución $F_1(t)$ (típicamente Beta o una distribución que tiende a valores pequeños).
2. Modelo de Probabilidad de Selección (SPM - Definición 2.2): Se define una función $\mu(p)$ que representa la probabilidad de que un valor p sea seleccionado (publicado) dado su valor.
   • La función $\mu(p)$ debe ser no creciente (los valores p más grandes tienen menos o igual probabilidad de ser seleccionados).
   • Se consideran varios casos: reglas de umbral estrictas ($p < 0.05$), reglas escalonadas (diferentes probabilidades para rangos de p), y funciones continuas (como distribuciones Beta).

B. El Estimador de FDR Post-Selección

Se utiliza un estimador basado en el método de momentos (propuesto por Hung y Fithian, 2020), que ajusta los valores p publicados ($p_i$) dividiéndolos por el umbral de significancia $\alpha$ ($p'_i = p_i/\alpha$) y luego aplica el estimador de proporción de nulos de Schweder y Spjøtvoll (1982):
$$\widehat{\pi}_0 = \frac{1}{n'} \sum_{i=1}^{n'} \frac{\mathbb{I}_{(\lambda, 1]}(p'_i)}{1 - \lambda}$$
Donde $\lambda$ es un parámetro de ajuste y $n'$ es el número de valores p seleccionados menores o iguales a $\alpha$.

C. Derivación Teórica

El núcleo de la metodología son las expresiones cerradas (closed-form) derivadas para el sesgo y la varianza de este estimador bajo cualquier SPM arbitrario:

• Sesgo (Teorema 4.1): Se deriva una fórmula exacta que relaciona el sesgo con la función de selección $\mu(p)$, la probabilidad a priori de la nula ($\pi_0$) y la potencia del test. Esto permite ver cuándo el estimador es positivo, negativo o cero.
• Varianza (Teorema 4.2): Se proporciona una aproximación asintótica de la varianza basada en la distribución normal multivariada, válida para grandes muestras.

3. Contribuciones Clave

1. Expresiones Generales de Sesgo y Varianza: Por primera vez, se ofrecen fórmulas analíticas que describen cómo la desviación entre el modelo de selección asumido y el modelo real afecta la precisión de la estimación del FDR.
2. Análisis de Sensibilidad: Las fórmulas permiten realizar un análisis de sensibilidad sistemático. En lugar de dar una única estimación de FDR bajo una suposición rígida, los investigadores pueden reportar un rango de estimaciones bajo diferentes modelos de selección plausibles.
3. Validación Empírica: Se demuestra que las expresiones teóricas de sesgo pueden predecir con precisión la discrepancia entre estimadores basados solo en datos publicados y las "estimaciones estándar de oro" que utilizan datos de replicación.
4. Descubrimiento de Sesgo Negativo: Contrario a la intuición común de que los estimadores de FDR suelen tener un sesgo positivo, el artículo demuestra que bajo ciertos modelos de selección (donde los valores p muy pequeños son mucho más probables de publicarse que los cercanos al umbral), el sesgo puede ser negativo, llevando a una subestimación peligrosa del FDR.

4. Resultados Principales

El estudio se valida utilizando dos conjuntos de datos reales:

• Estudio de Colaboración de Ciencia Abierta (Open Science Collaboration):

  • Se analizaron 73 pares de valores p (originales y de replicación) en psicología.
  • Los resultados mostraron que al aplicar las fórmulas de sesgo derivadas, las estimaciones de FDR basadas solo en los valores p originales se ajustaban notablemente a las estimaciones obtenidas con los datos de replicación (el "gold standard").
  • Se confirmó que la elección del parámetro $\lambda$ y la suposición del modelo de selección impactan significativamente la estimación final.

• Datos de Revistas Médicas (Jager & Leek, 2014):

  • Se reanalizaron valores p extraídos de resúmenes de revistas médicas.
  • Se realizó un análisis de sensibilidad variando el parámetro $\rho$ en un modelo de selección escalonado (donde $\rho$ controla la probabilidad relativa de publicar valores p entre 0.025 y 0.05 frente a valores menores a 0.025).
  • Hallazgo Crítico: Si el modelo de selección real implica que los valores p muy pequeños son mucho más propensos a publicarse (ej. $\rho = 0.4$), el sesgo del estimador se vuelve negativo. Esto significa que la estimación cruda de FDR (ej. 0.14) podría estar subestimando el FDR real (ajustado por sesgo podría ser ~0.29).

5. Significado e Implicaciones

• Para la Ciencia y la Reproducibilidad: El artículo proporciona herramientas cuantitativas para diagnosticar la salud del ecosistema científico. Permite a los investigadores y políticos entender que una estimación única de FDR es insuficiente si no se considera la incertidumbre sobre el mecanismo de publicación.
• Para la Política Científica: Las expresiones derivadas facilitan un análisis de sensibilidad simple. En lugar de depender de un modelo de selección idealizado, los responsables de políticas pueden evaluar cómo cambiaría la estimación de FDR bajo diferentes escenarios de sesgo de publicación, lo cual es crucial para abordar la crisis de replicabilidad.
• Avance Metodológico: El trabajo establece que la suposición de un modelo de selección "p < 0.05" es a menudo inexacta y que la flexibilidad en el modelado de la selección es necesaria para obtener estimaciones de FDR robustas.

En resumen, este manuscrito transforma la estimación de FDR de un ejercicio de suposición estática a un proceso dinámico de análisis de sensibilidad, proporcionando las fórmulas matemáticas necesarias para cuantificar el impacto del sesgo de publicación en la inferencia estadística.