Null-Calibrated Conformal Selection via Target-Membership Scores

Resumen Técnico: Selección Conforme Calibrada por el Nulo mediante Puntuaciones de Membresía al Objetivo

1. Planteamiento del Problema

La selección conforme busca identificar candidatos de prueba de un conjunto cuyas respuestas desconocidas caen dentro de una región objetivo $I \subseteq \mathcal{Y}$ especificada por el usuario, mientras se controla la Tasa de Falsos Descubrimientos (FDR). El desafío radica en equilibrar dos objetivos: minimizar los falsos descubrimientos (candidatos seleccionados donde $Y \notin I$) y maximizar la potencia (seleccionar tantos objetivos verdaderos como sea posible).

Las metodologías existentes suelen heredar puntuaciones de no conformidad de la predicción conforme, tales como residuos con signo, residuos recortados o puntuaciones de cuantiles condicionales. Estas puntuaciones están diseñadas para tareas de predicción (estimar $Y$) más que para tareas de selección (determinar si $Y \in I$). Los autores argumentan que estas puntuaciones orientadas a la predicción pueden estar estructuralmente desalineadas con el objetivo de selección, particularmente cuando la región objetivo es un intervalo, está impulsada por la varianza, es multimodal o está definida por múltiples condiciones. En tales casos, una puntuación de predicción alta (por ejemplo, una media condicional grande) no implica necesariamente una alta probabilidad de membresía al objetivo.

2. Metodología

El Principio de Membresía al Objetivo
El artículo propone un cambio fundamental en la selección de la puntuación: la puntuación natural para la selección conforme es la probabilidad de membresía al objetivo:
$$\eta_I(x) = P(Y \in I \mid X = x)$$
Esta puntuación trata el problema de selección como una tarea de clasificación binaria donde la etiqueta es $Z = \mathbb{I}\{Y \in I\}$. Por el lema de Neyman–Pearson, el umbral de cualquier transformación monótona de $\eta_I(x)$ produce el ranking de oráculo para maximizar la probabilidad de selección de objetivos a un nivel de selección nulo fijo.

Caracterización de la Alineación entre Puntuación y Objetivo
El artículo caracteriza rigurosamente cuándo las puntuaciones convencionales son suficientes y cuándo fallan:

• Objetivos Monótonos respecto a la Media: Para objetivos de un solo lado (por ejemplo, $I = [c, \infty)$) donde la membresía al objetivo es monótona respecto a la media condicional, las puntuaciones convencionales (residuos, razones de verosimilitud) inducen el mismo ranking que $\eta_I(x)$. En estos regímenes, el nuevo principio recupera la práctica existente sin ofrecer una ventaja de potencia.
• Objetivos Desalineados: Para objetivos de intervalo, objetivos impulsados por la varianza, distribuciones multimodales o objetivos de múltiples condiciones, las puntuaciones convencionales a menudo fallan en alinearse con $\eta_I(x)$. Por ejemplo, en un objetivo de intervalo impulsado por la varianza, la media condicional puede no contener información alguna sobre la membresía, mientras que $\eta_I(x)$ captura la señal relevante.

Selección Conforme Calibrada por el Nulo (NCCS)
Para operativizar la puntuación de membresía, el artículo introduce NCCS, una ruta de calibración específica que convierte el ranking en valores p válidos en muestras finitas:

1. Aprendizaje de la Puntuación: Se aprende una puntuación de membresía al objetivo $g(x)$ en una división dedicada ($D_{sc}$) utilizando etiquetas binarias $Z_i = \mathbb{I}\{Y_i \in I\}$. El artículo sugiere utilizar regresión logística sensible al costo o árboles de decisión potenciados por gradiente (gradient-boosted trees).
2. Calibración del Nulo: A diferencia de la selección conforme estándar que compara las puntuaciones de prueba contra todos los ejemplos de calibración, NCCS compara las puntuaciones de prueba únicamente contra los ejemplos de calibración confirmados como no objetivos ($C_0 = \{i \in D_{cal} : Y_i \notin I\}$).
3. Construcción del Valor p: Para un candidato de prueba $j$, el valor p calibrado por el nulo es:
   $$p_j(g) = \frac{1 + \#\{i \in C_0 : g(X_i) \ge g(X_{N+j}\})}{|C_0| + 1}$$
4. Selección: Estos valores p se introducen en un procedimiento de pruebas múltiples (por ejemplo, Benjamini–Hochberg o Benjamini–Yekutieli) para seleccionar el conjunto final.

3. Contribuciones Clave

1. Principio de Membresía al Objetivo: El artículo establece que la selección conforme debe verse como un problema de clasificación para el evento $Y \in I$. Identifica $\eta_I(x)$ como la puntuación de ranking de la población oráculo, proporcionando una base teórica para la selección de puntuaciones que es distinta de las puntuaciones orientadas a la predicción.
2. Caracterización de la Alineación: Delimita con precisión el límite donde las puntuaciones convencionales funcionan (objetivos monótonos respecto a la media) frente a donde fallan (objetivos de intervalo, impulsados por la varianza, multimodales o de múltiples condiciones), explicando por qué la puntuación de membresía es la "reparación canónica" para estos últimos.
3. Validez en Muestras Finitas vía NCCS: El artículo aisla una ruta de calibración específica (NCCS) que garantiza la validez de los valores p del nulo en muestras finitas bajo intercambiabilidad de nulo. Esto lo distingue de la estimación directa de FDP empírico (por ejemplo, Qin et al., 2025), que controla el FDR solo asintóticamente y puede ser anti-conservador cuando los objetivos son raros.
4. Validación Empírica: Los experimentos confirman las predicciones teóricas:
   • En el régimen de objetivos monótonos respecto a la media, las puntuaciones de membresía se comportan de manera similar a las puntuaciones convencionales.
   • En el régimen de objetivos de intervalo impulsados por la varianza, los métodos de puntuación de la media (que colapsan) presentan una potencia $\approx 0$, mientras que NCCS mantiene una potencia sustancial ($0.288$) en comparación con el oráculo ($0.354$), superando significativamente a los enfoques basados en la media.
   • NCCS mantiene un control estricto del FDR en muestras finitas, mientras que el umbralizado directo puede exceder el nivel nominal de FDR, particularmente en regímenes de eventos raros.

4. Resultados y Limitaciones

Hallazgos Experimentales

• Régimen de Monotonía de la Media: En un entorno de objetivo de cola superior, NCCS-BH (usando Benjamini–Hochberg) fue más conservador que el umbralizado de cfBH recortado o el umbralizado directo de Neyman–Pearson (Qin-NP), resultando en una menor potencia pero un control de FDR similar. Esto confirma que el principio no infla artificialmente la potencia donde los métodos convencionales ya funcionan.
• Régimen Impulsado por la Varianza: En un entorno de objetivo de intervalo impulsado por la varianza condicional, los métodos de puntuación de la media (Mean-Null-BH) fallaron completamente (potencia $\approx 0$). NCCS-BH retuvo una potencia sustancial ($0.288$) en comparación con el oráculo ($0.354$), superando significativamente a los enfoques basados en la media.
• Objetivos Raros: Cuando la frecuencia del objetivo era baja, el umbralizado directo de FDP empírico (Qin-NP) exhibió un FDR inflado (por ejemplo, 0.170 frente al nominal 0.10), mientras que NCCS-BH se mantuvo estrictamente por debajo del nivel nominal, demostrando su robustez en escenarios de eventos raros en muestras finitas.

Afirmaciones Modestas y Limitaciones
Los autores declaran explícitamente que NCCS no se presenta como un ganador universal de potencia.

• Compromiso de Potencia (Trade-off): NCCS es a menudo más conservador que el umbralizado directo de Neyman–Pearson porque depende de la validez de los valores p en muestras finitas en lugar de la estimación de FDP asintótico.
• Objetivos Raros: El aprendizaje de la propia puntuación de membresía puede ser difícil cuando el evento objetivo es raro, lo que potencialmente requiere modelos distribucionales o bayesianos para mayor eficiencia.
• Intercambiabilidad: La validez en muestras finitas de NCCS depende del supuesto de intercambiabilidad del nulo. Bajo un cambio de covariables (covariate shift) o de etiqueta (label shift), el conjunto de calibración del nulo puede dejar de representar a los candidatos de prueba del nulo, lo que requiere una calibración ponderada (una dirección dejada para trabajos futuros).
• Alcance: El artículo se centra en el principio y su caracterización más que en promover un único método como superior en todos los contextos. La contribución es la identificación de la puntuación correcta para objetivos generales y una ruta de calibración con una garantía de validez específica.

5. Significancia

La significancia del artículo reside en reencuadrar la selección conforme como un problema de clasificación, identificando así la probabilidad de membresía al objetivo como la puntuación teóricamente óptima. Proporciona un límite claro y testeable de cuándo este nuevo enfoque es necesario (objetivos no monótonos) y cuándo es redundante. Además, introduce NCCS como un método práctico que prioriza la validez en muestras finitas sobre la potencia asintótica, ofreciendo una solución robusta para problemas de selección donde el control de los falsos descubrimientos en muestras pequeñas o regímenes de eventos raros es crítico.