Resumen Técnico: Detección y Enumeración de Outliers Colectivos con Pruebas Cerradas Conformalizadas

1. Enunciado del Problema

El artículo aborda el desafío de la detección y enumeración de outliers colectivos en escenarios donde los outliers individuales son difíciles de identificar debido a la escasez, señales débiles o su naturaleza elusiva. Mientras que la inferencia conformal tradicional se ha centrado en la identificación de outliers a nivel individual (controlando la Tasa de Falsos Descubrimientos para puntos de datos específicos), este enfoque a menudo carece de potencia cuando los outliers no exhiben desviaciones significativas de forma aislada.

Los autores definen dos tareas principales para un conjunto de prueba $Z_{m+1}, \dots, Z_{m+n}$ frente a un conjunto de referencia de inliers $Z_1, \dots, Z_m$:

1. Detección de Outliers: Probar la hipótesis nula global de que un subconjunto de los datos de prueba no contiene outliers.
2. Enumeración de Outliers: Estimar el número de outliers dentro de un subconjunto proporcionando un límite inferior de confianza simultáneo, sin necesariamente identificar la identidad exacta de cada outlier.

La dificultad central radica en el hecho de que las pruebas individuales estándar (por ejemplo, Benjamini-Hochberg aplicado a valores p conformales) pueden fallar en rechazar la hipótesis nula global o proporcionar límites informativos cuando las señales son débiles o escasas. Además, seleccionar a priori el clasificador de aprendizaje automático óptimo y el procedimiento de prueba estadística es difícil, y la "selección de cerezas" (cherry-picking) basada en los datos conduce a un sesgo de selección e inferencia inválida.

2. Metodología: ACODE

Los autores proponen ACODE (Detección y Enumeración de Outliers Conformales Automáticos), un marco flexible y libre de distribuciones que integra inferencia conformal, pruebas cerradas y pruebas de rango adaptativas.

2.1 Puntuación y División Conformal

El método comienza generando puntuaciones de conformidad utilizando clasificadores de aprendizaje automático entrenados para distinguir outliers de inliers.

• Clasificadores: El marco soporta tanto clasificadores de una sola clase (entrenados solo con inliers) como clasificadores binarios (entrenados mediante aprendizaje positivo-no etiquetado).
• Generación de Puntuaciones: Una función $\hat{s}$ mapea puntos de datos a puntuaciones escalares. Para garantizar validez, el método emplea división de muestras. Un conjunto de ajuste se utiliza para seleccionar el mejor clasificador y procedimiento de prueba, mientras que un conjunto de calibración separado se utiliza para generar valores p conformales para el conjunto de prueba. Esta separación preserva la intercambiabilidad de las puntuaciones de inliers condicionada al procedimiento seleccionado, evitando el sesgo de selección.

2.2 Procedimientos de Prueba Local

ACODE agrega puntuaciones de conformidad para probar hipótesis locales $H_S$ (que un subconjunto $S$ no contiene outliers). El artículo evalúa una "caja de herramientas" de pruebas locales, cada una adecuada para diferentes estructuras de señal:

• Prueba de Simes: Efectiva para señales raras y fuertes.
• Combinación de Fisher: Efectiva para señales densas y débiles.
• Wilcoxon-Mann-Whitney (WMW): Una prueba de rango demostrada como la Prueba de Rango Más Poderosa Localmente (LMPR) bajo alternativas de Lehmann específicas (donde los outliers siguen la distribución del máximo de dos inliers).
• Prueba LMPR de Shiraishi: Una generalización de WMW para distribuciones de outliers arbitrarias.
• Prueba de Rango Adaptativa: Una extensión impulsada por datos de la prueba de Shiraishi que estima la densidad de outliers desconocida $g$ de forma no paramétrica. Los resultados teóricos (Teorema 2) muestran que esta prueba adaptativa alcanza la misma potencia asintótica local que una prueba oráculo con $g$ conocida.

2.3 Pruebas Cerradas para Enumeración

Para pasar de pruebas locales a la enumeración global, ACODE emplea el principio de pruebas cerradas (Marcus et al., 1976).

• Mecanismo: El método prueba todas las hipótesis de intersección posibles $H_J$ para subconjuntos $J \subseteq [n]$. Un límite inferior de confianza $d(S)$ para el número de outliers en cualquier subconjunto $S$ se deriva encontrando el subconjunto más grande $K \subseteq S$ para el cual la hipótesis nula no puede ser rechazada después del ajuste por multiplicidad.
• Validez: La Proposición 1 garantiza que si las pruebas locales son válidas, los límites inferiores resultantes satisfacen la cobertura simultánea: $P(d(S) \le |I_1 \cap S| \text{ para todo } S) \ge 1-\alpha$.
• Eficiencia Computacional: Aunque las pruebas cerradas son generalmente exponenciales, el artículo utiliza atajos de tiempo polinomial (Goeman et al., 2019; Tian et al., 2023) para las pruebas de Simes, WMW y Fisher, haciendo que el método sea escalable a grandes conjuntos de datos.

2.4 Adaptabilidad Impulsada por Datos

Una innovación clave es el Algoritmo 3, que automatiza la selección del clasificador y la prueba local.

• Proceso: El algoritmo evalúa múltiples combinaciones de clasificadores y pruebas en un conjunto de ajuste para maximizar el límite inferior (para enumeración) o minimizar el valor p (para detección).
• Control del Sesgo: Al utilizar un conjunto de ajuste separado y luego reevaluar la combinación seleccionada en la división completa de calibración/prueba, el método evita las tasas infladas de error Tipo I asociadas con la "selección de cerezas" (cherry-picking) ingenua.

3. Contribuciones Clave

El artículo hace tres contribuciones metodológicas principales:

1. Marco ACODE: Introduce un método principado e impulsado por datos para la enumeración de outliers que selecciona automáticamente el clasificador de aprendizaje automático óptimo y el procedimiento de prueba de dos muestras. Integra pruebas cerradas con inferencia conformal para proporcionar límites inferiores rigurosos y simultáneos sobre el número de outliers.
2. Extensiones Teóricas: Proporciona aproximaciones asintóticas para las distribuciones nulas de la prueba de rango más poderosa localmente de Shiraishi y su versión adaptativa bajo puntuaciones de conformidad intercambiables (en lugar de estrictamente i.i.d.). Esta extensión es crucial para la validez en el contexto de división-conformal.
3. Prueba de Rango Adaptativa: Demuestra que una prueba de rango adaptativa, que estima la distribución de outliers de forma no paramétrica, alcanza la misma potencia asintótica local que una prueba oráculo con conocimiento completo de la distribución de outliers (Teorema 2).

4. Resultados Empíricos

El método fue evaluado en datos sintéticos y datos reales de física de altas energías (LHCO 2020).

• Datos Sintéticos:

  • ACODE superó consistentemente a los métodos de identificación a nivel individual (como Benjamini-Hochberg aplicado a valores p conformales) en términos de potencia para detectar la hipótesis nula global y proporcionar límites inferiores informativos.
  • El mecanismo de selección adaptativa identificó con éxito el mejor clasificador (una sola clase vs. binario) y la mejor prueba (WMW vs. Fisher vs. Simes) para regímenes de datos específicos, aproximando el rendimiento de un oráculo que conoce la combinación óptima.
  • En escenarios con outliers "adversarios" (donde las puntuaciones individuales están subdispersas y son difíciles de detectar), la aproximación impulsada por datos de la prueba de Shiraishi superó significativamente a los métodos estándar.

• Datos de Física de Altas Energías LHCO:

  • Aplicado a 1,1 millones de eventos de colisión de partículas, ACODE detectó y enumeró con éxito eventos de "señal" (outliers) frente a un fondo de eventos simulados.
  • El método proporcionó límites inferiores de confianza del 90% ajustados sobre el número de outliers, superando significativamente al procedimiento BH en términos de informatividad.
  • Crucialmente, la versión adaptativa de ACODE alcanzó un rendimiento cercano al oráculo sin incurrir en sesgo de selección, mientras que un enfoque de "selección de cerezas" (cherry-picking) ingenuo condujo a errores Tipo I inflados.

5. Significado y Afirmaciones

El artículo afirma que ACODE ofrece una solución robusta para la detección de anomalías colectivas donde la detección individual falla. Su significado radica en:

• Cerrar la Brecha: Conecta la inferencia conformal con la prueba múltiple clásica y la teoría de pruebas de rango para manejar señales débiles y escasas.
• Adaptabilidad Principada: Resuelve el problema del "sesgo de selección" inherente a la elección de modelos de aprendizaje automático y pruebas estadísticas, proporcionando inferencia válida incluso cuando el mejor procedimiento se elige basándose en los datos.
• Informatividad: A diferencia de los métodos que solo identifican outliers específicos, ACODE proporciona un límite inferior estadísticamente garantizado sobre el número de outliers, ofreciendo una visión más completa de la estructura de anomalías de los datos.

Los autores señalan que, aunque el método es potente, depende de la disponibilidad de un conjunto de referencia limpio de inliers y asume intercambiabilidad. El trabajo futuro podría explorar marcos de validación cruzada, el manejo de datos de calibración contaminados y el desarrollo de atajos computacionales más rápidos para la prueba adaptativa de Shiraishi.