Resumen Técnico: Pruebas Múltiples Conformalizadas Unificadas con Eficiencia Total de Datos

1. Enunciado del Problema

Las pruebas múltiples conformalizadas proporcionan un marco libre de modelos para controlar la Tasa de Descubrimientos Falsos (FDR) al identificar muestras de prueba con etiquetas de interés no observadas (por ejemplo, detección de valores atípicos, selección de muestras). El procedimiento estándar implica construir una puntuación de no conformidad, calibrarla frente a un conjunto de muestras nulas (negativas) para generar valores p conformales, y aplicar una regla de pruebas múltiples (por ejemplo, Benjamini-Hochberg).

Los métodos existentes enfrentan dos limitaciones principales en cuanto al uso de datos:

1. Uso Parcial de Datos: Muchos enfoques dividen los datos nulos disponibles ($D_0$) en conjuntos de entrenamiento y calibración, descartando información valiosa. Otros no utilizan los datos etiquetados no nulos (positivos) disponibles ($D_1$) ni los datos de prueba sin etiquetar ($D_u$) durante la construcción de la puntuación.
2. Marcos Fragmentados: Diferentes métodos (por ejemplo, conformal dividido, conformal integrativo, conformal localizado) se desarrollan bajo configuraciones específicas y esquemas de uso de datos. No existe un marco teórico unificado que abarque estos métodos ni proporcione un principio sistemático para diseñar nuevos que aprovechen plenamente todos los datos disponibles ($D_0, D_1, D_u$) mientras controlan rigurosamente la FDR.

El desafío central es desarrollar un enfoque unificado que maximice la potencia estadística utilizando todos los datos disponibles tanto para la construcción de la puntuación como para la calibración, sin violar los supuestos de intercambiabilidad requeridos para el control de la FDR en muestras finitas.

2. Metodología: El Marco ECOT

Los autores proponen Pruebas Conformalizadas Mejoradas (ECOT), un marco unificado basado en una estrategia de permutación completa. La idea central es observar las pruebas múltiples conformalizadas a través de la lente de las pruebas de permutación, donde el valor p para una muestra de prueba $j$ se calcula comparando su puntuación con las puntuaciones obtenidas de todas las permutaciones posibles de los datos.

2.1 Componentes Principales

El procedimiento ECOT consta de tres pasos:

1. Construcción de Puntuación: Para cada muestra de prueba $j \in U$, se construye una función de puntuación individualizada $S^{(j)}$ utilizando todos los datos disponibles ($D_0, D_1, D_u$). Una puntuación más alta indica una evidencia más fuerte en contra de la hipótesis nula.
2. Cálculo del Valor p: Se calcula un valor p conformal mediante permutación completa:
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   Aquí, $\Omega_j$ es el conjunto de permutaciones del conjunto de calibración $C \subseteq L_0$ y la muestra de prueba $j$, fijando los índices fuera de este conjunto. $S^{(j)}_\sigma$ denota la función de puntuación construida sobre el conjunto de datos permutado.
3. Procedimiento de Prueba: Para manejar la dependencia entre los valores p inducida por la reutilización de datos y las puntuaciones individualizadas, ECOT emplea un paso de calibración condicional (inspirado en Fithian y Lei, 2022). Esto implica definir valores p modificados $\tilde{p}^{(j)}_\ell$ utilizando un resumen invariante bajo permutación (por ejemplo, la mediana) de las puntuaciones, seguido de un procedimiento de rechazo que garantiza el control de la FDR en muestras finitas.

2.2 Simplificaciones Computacionales

La permutación completa es intensiva computacionalmente ($O((|C|+1)!)$). El marco identifica dos condiciones de simetría bajo las cuales el procedimiento se simplifica significativamente:

• Puntuaciones Simétricas en Calibración: Si $S^{(j)}$ es invariante bajo permutaciones del conjunto de calibración y $j$, el valor p se reduce a un cálculo simple basado en rangos sobre $C \cup \{j\}$, eliminando la necesidad de reentrenamiento repetido del modelo.
• Puntuaciones Simétricas Conjuntas: Si se utiliza una única función de puntuación $S$ para todas las muestras y es simétrica con respecto a todas las muestras nulas y de prueba, el paso de calibración condicional se vuelve innecesario, y el procedimiento estándar de Benjamini-Hochberg (BH) aplicado a los valores p simplificados es suficiente.

2.3 Enfoques Mejorados

Aprovechando el marco unificado, los autores proponen dos métodos mejorados específicos:

• ECOT-bi (Clasificación Binaria): Utiliza $D_0, D_1$ y $D_u$ conjuntamente para entrenar un clasificador binario. El clasificador distingue entre muestras no nulas ($D_1$) y las muestras nulas/sin etiquetar agrupadas ($D_0 \cup D_u$). Esto aproxima la relación de densidad óptima sin dividir $D_0$.
• ECOT-oc (Clasificación de Una Clase): Diseñado para escenarios donde los clasificadores binarios son ineficientes (por ejemplo, diferencias de varianza). Entrena clasificadores de una clase en $D_0 \cup D_u$ (para la nula) y $D_1$ (para la alternativa), integrándolos para formar la puntuación.

2.4 Selección Adaptativa

El marco habilita la Selección Adaptativa de Enfoques (ECOT-as). En lugar de fijar un único método, el algoritmo evalúa múltiples enfoques candidatos (por ejemplo, ECOT-bi, ECOT-oc, FullND) y selecciona aquel que produce la mayor potencia (número de rechazos) para cada muestra. Crucialmente, el paso de selección se integra en la construcción de la puntuación mediante la estrategia de permutación completa. Esto trata la selección como parte de la generación de la puntuación, preservando la intercambiabilidad y evitando el problema de "doble inmersión" que típicamente infla la FDR en inferencias post-selección.

3. Contribuciones Clave

1. Marco Unificado: El artículo introduce ECOT, un marco general que abarca los métodos existentes de pruebas múltiples conformalizadas (por ejemplo, conformal dividido, integrativo, localizado) como casos especiales bajo estructuras de simetría específicas.
2. Eficiencia Total de Datos: El marco proporciona una estrategia de diseño principista para utilizar todos los datos disponibles ($D_0, D_1, D_u$) para la construcción de la puntuación mientras se retiene todo el conjunto nulo para la calibración. Esto se demuestra que mejora la potencia estadística al mejorar la calidad de la puntuación y maximizar el tamaño del conjunto de calibración.
3. Selección Adaptativa con Control de FDR: Los autores desarrollan una estrategia basada en datos para seleccionar automáticamente el mejor enfoque de pruebas conformales de un conjunto de candidatos. Al integrar la selección en la construcción de la puntuación basada en permutaciones, logran el control de la FDR en muestras finitas sin requerir divisiones adicionales de datos.
4. Garantías Teóricas: El artículo demuestra que, bajo supuestos estándar de intercambiabilidad de datos, el procedimiento ECOT controla la FDR al nivel deseado $\alpha$ en muestras finitas, independientemente de la complejidad de las funciones de puntuación utilizadas.

4. Resultados Experimentales

Se realizaron extensos experimentos numéricos en datos sintéticos y conjuntos de datos reales de detección de valores atípicos (Tarjeta de Crédito, Satélite, Transbordador, CovType, Mamografía).

• Mejora de la Potencia: En escenarios donde la clasificación binaria es óptima, ECOT-bi y ECOT-as superaron consistentemente a las líneas base existentes (por ejemplo, AdaDetect, CP-bi, Integ) logrando una mayor potencia mientras mantenían el control de la FDR. Esto se atribuyó al uso completo de $D_1$ y a la evitación de la división de datos.
• Robustez ante Escenarios: En configuraciones donde la clasificación de una clase es superior (por ejemplo, desplazamientos de varianza), ECOT-oc superó significativamente a los métodos integrativos al utilizar $D_u$ en la construcción de la puntuación.
• Selección Adaptativa: ECOT-as rastreó con éxito el método de mejor rendimiento en diversos escenarios, logrando una potencia cercana a la del oráculo teórico en muchos casos.
• Rendimiento en Datos Reales: En conjuntos de datos reales, los métodos ECOT (particularmente ECOT-bi y ECOT-as) demostraron una potencia superior en comparación con las líneas base, que a menudo sufrían de baja potencia debido a datos etiquetados limitados o construcciones de puntuación inadecuadas.
• Costo Computacional: Aunque el enfoque de permutación completa es computacionalmente más pesado que los métodos divididos, la selección adaptativa ajustada (Algoritmo 3) y las reducciones de simetría mantienen los tiempos de ejecución dentro de límites prácticos (aproximadamente 1 minuto para tamaños de muestra moderados), significativamente más rápido que las implementaciones conformales completas de marcos competidores como OptCS.

5. Significado y Afirmaciones

El artículo afirma que ECOT representa un avance significativo al unificar el panorama fragmentado de las pruebas múltiples conformalizadas. Su significado principal radica en:

• Diseño Sistemático: Proporcionar un camino claro y principista para diseñar nuevos procedimientos conformales que maximicen la eficiencia de los datos.
• Adaptación Automática: Resolver el problema de seleccionar la estrategia de prueba óptima sin comprometer el control de la FDR, una trampa común en la inferencia post-selección.
• Eficiencia Práctica: Demostrar que el uso completo de datos conduce a ganancias tangibles en la potencia en diversos escenarios reales y sintéticos, haciendo que las pruebas conformales sean más efectivas para aplicaciones como la detección de valores atípicos y la selección de muestras.

Los autores reconocen que el marco depende de la intercambiabilidad de los datos y que la permutación completa puede ser intensiva computacionalmente, sugiriendo trabajo futuro en la relajación de supuestos (por ejemplo, datos no intercambiables) y la aceleración de la inferencia basada en permutaciones.