Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

Resumen Técnico: Límites Válidos en Todas Partes sobre las Proporciones de Descubrimientos Falsos en Inferencia Conformal

Enunciado del Problema
Las aplicaciones modernas de la inferencia conformal, como la detección de valores atípicos y la selección de candidatos en el descubrimiento de fármacos, a menudo implican seleccionar muestras de prueba basándose en si sus valores $p$ conformales caen por debajo de un umbral específico. La fiabilidad de estas selecciones se cuantifica mediante la Proporción de Descubrimientos Falsos (FDP), definida como la fracción de selecciones incorrectas entre todas las unidades seleccionadas.

Los métodos existentes, como el procedimiento de Benjamini–Hochberg (BH), controlan principalmente la Tasa de Descubrimientos Falsos (FDR), que es el valor esperado de la FDP sobre realizaciones repetidas de datos. Este artículo identifica dos limitaciones críticas en el estado actual del arte:

1. Falta de Garantías Realizadas: Controlar la FDP esperada no garantiza que la FDP en un conjunto de datos específico sea pequeña. La FDP realizada puede exceder sustancialmente el valor esperado, ofreciendo ninguna protección por instancia para los practicantes.
2. Inflexibilidad ante la Selección Post Hoc: Las garantías existentes requieren que el nivel de significancia $\alpha$ se fije de antemano. Si un practicante inspecciona los datos y ajusta el umbral (por ejemplo, para aumentar el número de descubrimientos), el control de la FDR se invalida.

Los autores buscan establecer cotas superiores de muestra finita y libres de distribución sobre la FDP que se mantengan simultáneamente sobre todos los umbrales de rechazo posibles $t \in [0, 1]$. Esto permite una selección post hoc arbitraria del umbral mientras se mantienen garantías estadísticas rigurosas.

Metodología
El núcleo del marco propuesto se basa en la distribución conjunta tratable de los valores $p$ conformales "nulos" inducida por la suposición de intercambiabilidad.

1. Variables Uniformes Conformales: Los autores definen variables uniformes conformales $u_j$ como rangos normalizados de puntuaciones de prueba con respecto a un conjunto de calibración. Bajo intercambiabilidad, el vector de estas variables admite una distribución conjunta conocida $P_{n,m}$ que es independiente del mecanismo subyacente de generación de datos.
2. Construcción de Envoltura mediante Muestreo: En lugar de depender de desigualdades de concentración (como Dvoretzky–Kiefer–Wolfowitz) que producen cotas lineales conservadoras, los autores proponen muestrear de la distribución conjunta $P_{n,m}$ para construir una envoltura de alta probabilidad para la función de distribución acumulada empírica (CDF) de los valores $p$ nulos.
   • Definen una estadística de resumen $T(F)$ (por ejemplo, estadísticas de Kolmogorov–Smirnov, Higher-Criticism o Berk-Jones) aplicada a la CDF empírica.
   • Mediante la generación de $B$ muestras de Monte Carlo de $P_{n,m}$, calculan el cuantil $(1-\delta)$ de la estadística para determinar un corte $\hat{T}$.
   • Este corte se invierte para producir una función de envoltura $G(t)$ tal que $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$.
3. Estrategias de Refinamiento para Detección de Valores Atípicos: Para la detección de valores atípicos, donde el número de verdaderos nulos (valores normales) es desconocido, los autores integran dos técnicas de afianzamiento:
   • Autorefino: Adaptan una técnica de [HSG19] para mejorar iterativamente la cota sobre el número de descubrimientos falsos aprovechando la monotonía del conjunto de selección.
   • Afianzamiento por Proporción Nula: Estiman una cota superior sobre el número de verdaderos nulos ($m_0$) y construyen la envoltura basándose en la distribución $P_{n,m_0}$ en lugar de $P_{n,m}$, reduciendo significativamente el conservadurismo.
4. Aplicación a la Selección Conformal: Para la selección conformal (por ejemplo, descubrimiento de fármacos), los autores utilizan valores $p$ conformales "oráculo" (que dependen de resultados verdaderos desconocidos) para acotar el número de descubrimientos falsos. Demuestran que bajo funciones de puntuación monótonas específicas (por ejemplo, puntuaciones recortadas), el número de descubrimientos falsos está acotado por la CDF empírica de estas variables oráculo, permitiendo aplicar directamente el método de envoltura simultánea.

Contribuciones Clave

1. Nuevas Cotas Superiores sobre CDFs Empíricas: El artículo establece una nueva cota superior de alta probabilidad sobre la CDF empírica de variables uniformes conformales. Empíricamente, esta cota es más ajustada que las cotas existentes basadas en desigualdades tipo DKW, particularmente al adaptarse a la heterocedasticidad de la CDF empírica (que varía con $t$).
2. Cotas Simultáneas de FDP para Detección de Valores Atípicos: Los autores desarrollan un método para acotar la FDP para la detección de valores atípicos simultáneamente sobre todos los umbrales. Esto combina la cota CDF mejorada con técnicas de autorefino y afianzamiento por proporción nula.
3. Primeras Cotas de FDP de Muestra Finita para Selección Conformal: El artículo proporciona las primeras cotas de FDP de muestra finita que se mantienen uniformemente sobre todos los umbrales de rechazo para problemas de selección conformal.
4. Marco General: El trabajo introduce un marco general para derivar cotas de alta probabilidad sobre funciones aleatorias mediante el muestreo de la distribución conjunta de valores $p$ nulos, ofreciendo cotas más ajustadas que los enfoques basados en desigualdades de concentración mientras se preserva la validez de muestra finita.

Resultados
Los autores validan su marco mediante experimentos con datos sintéticos y reales:

• Detección de Valores Atípicos Sintética: Los experimentos en modelos de mezcla gaussiana demuestran que las cotas FDP propuestas (específicamente utilizando la estadística Higher-Criticism truncada) mantienen una cobertura válida (excediendo la confianza objetivo del 90%) a través de 100 repeticiones. Se muestra que las cotas son sustancialmente menos conservadoras que las cotas lineales de referencia, especialmente para umbrales de rechazo pequeños. La combinación de autorefino y afianzamiento por proporción nula produce las cotas más ajustadas.
• Descubrimiento de Fármacos del Mundo Real: Utilizando el conjunto de datos DAVIS para la predicción de interacciones fármaco-diana, el método se aplica para seleccionar candidatos prometedores a fármacos. Los resultados muestran que la cota superior simultánea se sitúa consistentemente por encima de la FDP verdadera en todos los umbrales de selección en el 92% de las ejecuciones independientes.
• Adaptabilidad Post Hoc: El artículo demuestra que los practicantes pueden variar adaptativamente el umbral de selección (por ejemplo, aumentando $\alpha$ para encontrar más candidatos) mientras la cota propuesta permanece válida. Por el contrario, los ajustes post hoc estándar del nivel BH fallan en acotar superiormente la FDP realizada.

Significado y Afirmaciones
El artículo afirma proporcionar una solución al problema de la "FDP realizada", ofreciendo a los practicantes garantías por instancia en lugar de solo garantías de caso promedio. Al permitir una selección de umbral post hoc arbitraria, el marco apoya una exploración flexible y basada en datos sin sacrificar el rigor estadístico. Los autores enfatizan que su enfoque produce cotas "sustancialmente menos conservadoras" en comparación con los métodos existentes, haciendo que la inferencia conformal sea más práctica para aplicaciones de alto riesgo como el descubrimiento científico y el cribado médico donde los costos de seguimiento son altos. El trabajo se presenta como una estrategia unificada aplicable a cualquier problema donde la distribución conjunta de valores $p$ nulos pueda simularse, extendiéndose más allá de los ejemplos específicos de detección de valores atípicos y selección conformal.