Anytime-valid simultaneous lower confidence bounds for the true discovery proportion

Este artículo propone un método que combina el marco de pruebas cerradas con la inferencia válida en cualquier momento (SAVI) para calcular cotas inferiores de confianza simultáneas y actualizables en tiempo real para la proporción de descubrimientos verdaderos en pruebas múltiples, ofreciendo una solución eficiente y flexible para aplicaciones prácticas como la neurociencia.

Lo esencial

Imagina que eres un detective en una ciudad enorme (como un cerebro humano) llena de miles de sospechosos (nuestros "datos" o "hipótesis"). Tu trabajo es encontrar a los culpables reales (las "verdaderas descubrimientos") entre la multitud.

El problema es que la ciudad es inmensa, y a veces, por falta de tiempo o dinero, no puedes interrogar a todos los sospechosos de una vez. Además, la situación cambia: podrías decidir detener la investigación hoy si ya tienes suficientes pruebas, o podrías querer seguir interrogando mañana si los resultados son prometedores.

Aquí es donde entra este artículo, escrito por Friederike Preusse. Propone una nueva herramienta matemática para contar cuántos culpables reales has encontrado, con una garantía especial: puedes mirar tus resultados en cualquier momento y seguir siendo 100% seguro de que tu cuenta es correcta.

Aquí te lo explico con analogías sencillas:

1. El Problema: "¿Cuántos culpables tengo?"

Imagina que tienes una lista de 100,000 sospechosos (voxels en un escáner cerebral). Estás interrogándolos uno por uno.

• El método antiguo: Decía: "Tienes que interrogar a los 100,000 antes de poder decirte cuántos culpables hay. Si te detienes a la mitad, mis cálculos se rompen y ya no confío en ellos". Esto es un problema si la investigación es costosa y quieres saber si vale la pena seguir.
• El nuevo método: Te permite mirar tus resultados después de interrogar a 10, a 50 o a 100 personas. Y te dice: "Estoy 95% seguro de que, de los que has interrogado, al menos X son culpables reales". Y lo mejor: si decides seguir interrogando mañana, esa seguridad se mantiene intacta.

2. La Solución: "El Contador Infalible"

La autora combina dos ideas poderosas:

• La "Red de Seguridad" (Prueba Cerrada): Imagina que no solo miras a un sospechoso, sino que miras grupos de ellos. Si un grupo pequeño es culpable, es muy probable que un grupo más grande que lo contenga también lo sea. Este método usa esa lógica para no cometer errores al contar.
• La "Moneda Mágica" (E-procesos): En lugar de usar pruebas estadísticas tradicionales que se "rompen" si te detienes, usa una herramienta llamada "e-proceso".
  • Analogía: Imagina que cada sospechoso tiene una moneda. Si es inocente, la moneda es justa (50/50). Si es culpable, la moneda está trucada y cae más veces en "culpable".
  • El e-proceso es como un contador que va acumulando "evidencia" de estas monedas. La magia es que este contador es "a prueba de tiempo". Puedes mirarlo hoy, mañana o el año que viene, y si el contador ha subido lo suficiente, sabes que tienes un culpable real, sin importar cuántas veces hayas mirado antes.

3. El Truco Computacional: "El Atajo Inteligente"

Hacer estos cálculos para 100,000 sospechosos es como intentar resolver un rompecabezas de un millón de piezas a mano; tardarías años.

• La autora descubrió un atajo matemático. En lugar de revisar cada posible combinación de sospechosos (lo cual es imposible), el método ordena a los sospechosos por "sospecha" y solo revisa los grupos más probables.
• Analogía: Es como si en lugar de revisar cada libro en una biblioteca gigante para encontrar un error, solo revisaras los libros que están en la estantería más alta y los que tienen la portada más llamativa. El atajo te dice que los errores solo pueden estar ahí, ahorrándote horas de trabajo.

4. ¿Dónde se usa esto? (El Caso Real)

La autora probó su método con datos reales de resonancia magnética (fMRI).

• La escena: Un experimento donde personas miran palabras y deben decidir si tienen el mismo significado. El escáner toma fotos del cerebro cada segundo.
• El reto: El cerebro tiene millones de puntos de datos. Los científicos quieren saber: "¿Qué partes del cerebro se activan realmente cuando pensamos en palabras?".
• El resultado: Usando su método, pudieron ir añadiendo participantes uno a uno. A medida que llegaban más personas, el "contador" de áreas activas subía.
  • Al principio, con pocos datos, el contador decía: "No estoy seguro, podría ser 0".
  • A medida que llegaban más personas (hasta 53), el contador empezó a decir: "¡Seguro! Al menos el 38% de los puntos en esta zona del cerebro están activos".
  • Y lo crucial: Podían detenerse en cualquier momento y esa afirmación era legal y científicamente válida.

En Resumen

Este artículo nos da un termómetro estadístico que nunca se rompe, incluso si lo miras muchas veces o si decides dejar de medir antes de lo planeado.

• Para los científicos: Ahorra dinero y tiempo. No tienen que esperar al final del estudio para saber si vale la pena continuar.
• Para la sociedad: Significa que podemos hacer descubrimientos médicos o neurológicos más rápido y con mayor confianza, sin tener que esperar años a que se complete un estudio masivo para obtener una respuesta.

Es como tener un GPS que te dice: "Estás en el camino correcto" en tiempo real, y si decides cambiar de ruta o detenerte, el GPS sigue siendo preciso, sin importar cuántas veces lo consultes.

Resumen técnico

1. Planteamiento del Problema

En el contexto de la prueba de hipótesis múltiples, los investigadores a menudo están interesados en hacer inferencias sobre grupos de hipótesis (subconjuntos de hipótesis nulas) en lugar de solo sobre hipótesis individuales. Una métrica clave es la Proporción de Descubrimientos Verdaderos (TDP, por sus siglas en inglés), definida como $1 - \text{FDP}$ (donde FDP es la Proporción de Descubrimientos Falsos).

El problema central abordado por el artículo es la limitación de los métodos existentes para calcular límites inferiores de confianza para la TDP:

• Falta de validez en el tiempo: Los métodos tradicionales (basados en pruebas cerradas o closed testing) requieren un tamaño de muestra fijo predefinido. No permiten el paro opcional (optional stopping), es decir, detener la recolección de datos tan pronto como los resultados sean significativos o reanudar el estudio más tarde.
• Costo y tiempo: En aplicaciones como la neurociencia (fMRI) o la genómica, la adquisición de datos es costosa y lenta. La capacidad de analizar datos intermedios y decidir continuar o detener el estudio sin inflar la tasa de error es crucial.
• Incertidumbre simultánea: Se necesitan límites de confianza que sean válidos simultáneamente para todos los subconjuntos posibles de hipótesis, no solo para aquellos especificados a priori.

2. Metodología Propuesta

La autora propone un nuevo procedimiento que combina dos marcos teóricos avanzados:

A. Marco de Pruebas Cerradas (Closed Testing)

Se utiliza el marco de pruebas cerradas (Marcus et al., 1976), que es el único marco admisible para obtener límites de confianza para la TDP. Este método controla la tasa de error familiar (FWER) al rechazar una hipótesis de intersección $H_I$ solo si todas las hipótesis que la contienen son rechazadas por pruebas locales.

B. Inferencia Válida en Cualquier Momento (Safe Anytime-Valid Inference - SAVI)

Para permitir el paro opcional, el método reemplaza las pruebas locales tradicionales (basadas en valores-p) con procesos-e (e-processes).

• Procesos-e: Son extensiones de los valores-e que son válidos en cualquier punto de tiempo de un proceso estocástico, independientemente de cuándo se detenga la observación.
• Construcción: Se definen procesos-e para cada hipótesis elemental. Para las hipótesis de intersección, se utilizan funciones de fusión (e-merging functions). Dado que se asume dependencia arbitraria entre las hipótesis, se utiliza la media aritmética como única función de fusión admisible para garantizar la validez.

C. Algoritmo y Optimización Computacional

Calcular los límites para todos los subconjuntos de hipótesis requiere probar hasta $2^m - 1$ hipótesis, lo cual es computacionalmente inviable para grandes $m$ (ej. >100,000 en fMRI).

• Solución: La autora deriva un atajo computacional (Lema 1) basado en la propiedad de que, bajo el uso de la media aritmética, la hipótesis de intersección de tamaño $h$ que intersecta solo descubrimientos y es menos probable que sea rechazada es aquella formada por los $h$ descubrimientos con los valores de proceso-e más bajos.
• Esto reduce la complejidad de probar todos los subconjuntos a una búsqueda iterativa sobre el tamaño del subconjunto, haciendo el método factible para grandes dimensiones.

D. Pruebas Cerradas con Pruebas Locales Basadas en Procesos-e

1. Sea $X_\alpha[n]$ el conjunto de hipótesis de intersección rechazadas por el procedimiento de pruebas cerradas en el tiempo $n$, donde las pruebas locales son las pruebas basadas en procesos-e válidas en cualquier momento definidas en la Sección 2.A. El uso de pruebas locales basadas en procesos-e en el procedimiento de pruebas cerradas es lo que garantiza la validez en cualquier momento del conjunto de rechazo; es decir, control del error Tipo I válido bajo cualquier regla de parada, incluida la parada dependiente de los datos.
2. El límite superior de confianza para el número de descubrimientos falsos $\tau(R)$ se define como el tamaño del mayor subconjunto de hipótesis $I \subseteq R$ que no es rechazado por las pruebas cerradas.
3. Para garantizar adicionalmente la propiedad "carefree" (sin preocupaciones), es decir, que los límites mejoren monótonamente (los límites inferiores de la TDP solo aumentan y los límites superiores de los descubrimientos falsos solo disminuyen), el límite final en el tiempo $n$ se toma como el mínimo de los límites observados desde el tiempo 0 hasta $n$:
   $$\tilde{c}_{\alpha}[n](R) = \min_{0 \le \ell \le n} \left( \max \{ |I| : I \subseteq R, I \neq \emptyset, I \notin X_\alpha[\ell] \} \right)$$
4. El límite inferior de confianza para la TDP se calcula entonces como:
   $$\tilde{d}_{\alpha}[n](R) = 1 - \frac{\tilde{c}_{\alpha}[n](R)}{|R|}$$
   Esta estructura separa correctamente las dos garantías: la validez en cualquier momento proviene de las pruebas locales basadas en procesos-e, mientras que la propiedad "carefree" proviene del mínimo en ejecución.

3. Contribuciones Clave

1. Validez Simultánea y Temporal: Es el primer método que proporciona límites inferiores de confianza para la TDP que son simultáneos para todos los subconjuntos de hipótesis y válidos en cualquier momento de parada opcional.
2. Integración de Procesos-e en Pruebas Cerradas: Combina exitosamente el marco clásico de pruebas cerradas con la inferencia moderna basada en procesos-e, adaptándolo al escenario "offline" (conjunto de hipótesis fijo, pero observaciones secuenciales).
3. Algoritmo Eficiente: Proporciona una optimización computacional que permite aplicar el método a problemas de alta dimensión (miles o cientos de miles de hipótesis), algo que la implementación directa de pruebas cerradas no permite.
4. Guías Prácticas: Ofrece recomendaciones sobre la elección de procesos-e (utilizando el criterio GROW y procesos "mom" basados en priors de momentos) y su implementación en escenarios reales.

4. Resultados

Estudio de Simulación

• Validez Empírica: Se verificó que la tasa de no-cobertura empírica nunca superó el nivel de significancia $\alpha$ (0.2), independientemente del tamaño del conjunto de descubrimientos, el tamaño del efecto o la correlación entre datos.
• Potencia: Los límites convergieron al valor real de la TDP a medida que aumentaba el tamaño de la muestra.
  • Se observó que los métodos válidos en cualquier momento requieren un tamaño de muestra ligeramente mayor para alcanzar la misma potencia que los métodos de tamaño fijo (ARI), pero ofrecen la ventaja crucial de la flexibilidad temporal.
  • La convergencia fue más rápida para tamaños de efecto grandes ($\mu \ge 1$).

Estudio de Caso (fMRI)

• Aplicación: Se aplicó el método a datos de un experimento de resonancia magnética funcional (fMRI) con 56 sujetos realizando una tarea semántica.
• Resultados:
  • Se analizaron regiones de interés (ROIs) basadas en atlas cerebrales y meta-análisis previos.
  • El método identificó activación en todas las ROIs relevantes identificadas por la literatura (Binder et al., 2009).
  • Se observó que la proporción de voxels activos estimada aumentó con el número de sujetos observados.
  • En la ROI del Giro Frontal Inferior (IFG), se estimó que al menos el 38.81% de los voxels estaban activos con un 80% de confianza.
  • El estudio demostró la utilidad del método para tomar decisiones sobre la continuación de la adquisición de datos en tiempo real.

5. Significado e Impacto

Este trabajo es fundamental para la estadística aplicada en ciencias modernas donde la recolección de datos es costosa y secuencial:

• Neurociencia y Genómica: Permite a los investigadores detener estudios de fMRI o secuenciación genética tan pronto como se alcanzan conclusiones robustas, ahorrando recursos sin comprometer la validez estadística.
• Flexibilidad: Elimina la rigidez de los diseños experimentales fijos, permitiendo una investigación más ágil y adaptativa.
• Rigor Estadístico: Proporciona garantías de control de error estrictas (validez en cualquier momento) en un entorno donde tradicionalmente se han utilizado métodos heurísticos o post-hoc que no controlan adecuadamente la tasa de error.

En resumen, Preusse presenta una herramienta estadística robusta que moderniza el análisis de pruebas múltiples, equilibrando la necesidad de flexibilidad operativa con el rigor de la inferencia estadística simultánea.