Resumen Técnico: Medix – Detección de Fuera de Distribución a partir de Datos No Etiquetados en Entornos Reales mediante Estadísticas de Gradiente Robustas

Planteamiento del Problema

El despliegue de modelos de aprendizaje automático en entornos del mundo real expone a estos a entradas Fuera de Distribución (OOD, por sus siglas en inglés)—datos de categorías desconocidas que el modelo no fue entrenado para reconocer. Si bien las redes neuronales son inherentemente vulnerables a tales entradas, la detección de estas durante la inferencia es un desafío porque los modelos no son expuestos a distribuciones desconocidas durante el entrenamiento.

Enfoques recientes han intentado utilizar datos no etiquetados "en el mundo real" (in-the-wild) para mejorar la detección de OOD. Sin embargo, persiste un obstáculo significativo: los datos del mundo real son una mezcla compleja de muestras de la Distribución Interna (InD) y muestras OOD. A diferencia de los métodos que asumen el acceso a un conjunto auxiliar limpio de OOD (por ejemplo, Exposición de Valores Atípicos o Outlier Exposure), los datos del mundo real carecen de etiquetas distintivas. La ausencia de un conjunto limpio de muestras OOD complica el entrenamiento de un clasificador OOD óptimo, ya que el modelo debe distinguir entre muestras InD y OOD dentro de una distribución contaminada sin supervisión explícita.

Metodología: El Marco de Trabajo Medix

Los autores proponen Medix, un nuevo marco diseñado para identificar posibles valores atípicos a partir de datos no etiquetados del mundo real utilizando estadísticas de gradiente robustas de la mediana elemento a elemento (EWM). El marco opera en dos etapas principales:

1. Extracción de Valores Atípicos (Filtrado)

La innovación central de Medix radica en su capacidad para filtrar muestras candidatas OOD de un conjunto de datos mixtos del mundo real ($S_{wild}$) sin conocimiento previo de sus etiquetas.

• Estimación del Gradiente de Referencia: Primero, se entrena un clasificador InD ($f_\phi$) únicamente con datos InD etiquetados ($S_{in}$). Se computa el gradiente medio ($\bar{\nabla}_{in}$) de la función de pérdida con respecto a los parámetros del modelo sobre $S_{in}$. Esto sirve como el gradiente de referencia.
• Filtrado Robusto mediante EWM: El método plantea la hipótesis de que la presencia de muestras OOD en los datos del mundo real causa una desviación entre el gradiente medio InD y la tendencia central de los gradientes de los datos del mundo real. Para identificar esta tendencia central de manera robusta, Medix emplea la mediana elemento a elemento de los gradientes en lugar de la media. La mediana se elige por su estabilidad frente al ruido y a los valores atípicos.
• Eliminación Greedy Iterativa: El marco formula un problema de optimización para encontrar un subconjunto de los datos del mundo real que minimice la distancia entre su EWM y el $\bar{\nabla}_{in}$ de referencia. Dado que resolver esto de forma exacta es intratable, Medix utiliza un enfoque "dejar uno fuera" (leave-one-out) codicioso e iterativo (Algoritmo 1):
  1. Computar el EWM del conjunto actual del mundo real.
  2. Identificar las muestras cuya eliminación resulte en la mayor reducción en la distancia L2 entre el nuevo EWM y el $\bar{\nabla}_{in}$.
  3. Eliminar las $k$ mejores muestras de este tipo como candidatas a valores atípicos.
  4. Repetir hasta que la reducción en la distancia caiga por debajo de un umbral $\epsilon$.
• Resultado: Este proceso aísla un conjunto de valores atípicos candidatos ($\hat{S}_{out}$) y retiene un conjunto más limpio de muestras similares a InD.

2. Entrenamiento del Detector

Una vez extraídos los valores atípicos candidatos, el marco entrena un detector binario de OOD ($g_\theta$).

• El detector se entrena utilizando los datos InD originales etiquetados ($S_{in}$) como ejemplos positivos y los valores atípicos extraídos ($\hat{S}_{out}$) como ejemplos negativos.
• El objetivo es maximizar la separabilidad entre estos dos grupos, imponiendo un límite de decisión donde las muestras InD produzcan salidas positivas y los valores atípicos produzcan salidas negativas.

Análisis Teórico

El artículo proporciona garantías teóricas formales para la etapa de filtrado bajo el modelo de contaminación de Huber, donde los datos del mundo real son una mezcla de distribuciones InD y OOD con una razón de contaminación $\pi$.

• Límite de Clasificación Errónea de Inliers: Los autores derivan un límite superior para la fracción de muestras InD verdaderas descartadas incorrectamente como valores atípicos. Este límite depende de la razón de contaminación y de la concentración de los gradientes InD (asumida como sub-Gaussiana).
• Límite de Clasificación Errónea de Outliers: Inversamente, limitan la fracción de muestras OOD verdaderas retenidas incorrectamente como InD. Este límite depende de la separación entre el gradiente medio OOD y el gradiente de referencia InD, así como de la naturaleza sub-Gaussiana de los gradientes OOD.
• Perspectiva Clave: El análisis demuestra que el filtrado basado en la mediana logra una separación robusta incluso cuando las muestras OOD constituyen una parte significativa de la mezcla (hasta el 50%), siempre que las distribuciones estén suficientemente separadas.

Resultados Experimentales

Medix fue evaluado en once pares de conjuntos de datos InD-OOD, utilizando principalmente CIFAR-10 y CIFAR-100 como conjuntos de datos InD y varios conjuntos de datos (SVHN, PLACES365, LSUN, TEXTURES) como fuentes OOD. El método fue comparado contra 20 líneas base competitivas, incluyendo:

• Métodos de solo InD: MSP, ODIN, Mahalanobis, Energy, ReAct, DICE, KNN, ASH, CSI, KNN+.
• Métodos de datos del mundo real (wild-data): Outlier Exposure (OE), Energy-regularization, WOODS, CONJ, DRL.

Hallazgos Clave:

• Desempeño Superior: Medix superó a todas las líneas base en todos los ámbitos. En CIFAR-100, redujo la Tasa de Falsos Positivos promedio en una Tasa de Verdaderos Positivos del 95% (FPR95) en un 40.98% en comparación con la fuerte línea base KNN+ y en un 1.32% en comparación con el método anterior de estado del arte para datos del mundo real, WOODS.
• Robustez a la Contaminación: El método mantuvo un alto desempeño incluso cuando los datos del mundo real contenían una mezcla del 50% de muestras OOD.
• Escalabilidad: Experimentos en arquitecturas más grandes (ResNet-50) y conjuntos de datos a gran escala (ImageNet-1k) confirmaron que la señal de filtrado basada en L2 sigue siendo robusta en espacios de gradiente de alta dimensión.
• Estudios de Ablación: Los autores demostraron que las ganancias de rendimiento provienen específicamente de la precisión del filtrado basado en la mediana, y no solo del proceso de dos etapas. Reemplazar el filtro de la mediana con un filtro ingenuo de Máxima Probabilidad de Softmax (MSP) resultó en un colapso significativo del desempeño.

Significación y Reivindicaciones

El artículo afirma que Medix aborda una brecha crítica en la detección de OOD: la capacidad de aprovechar datos no etiquetados y mixtos del mundo real sin requerir conjuntos auxiliares de OOD limpios o supuestos distributivos fuertes.

• Mecanismo Novedoso: Al aprovechar la robustez de la mediana elemento a elemento, Medix proporciona un mecanismo teóricamente fundamentado para filtrar valores atípicos de datos mixtos, una tarea previamente considerada difícil debido a la falta de etiquetas OOD distintas.
• Fundamento Teórico: El trabajo establece límites de error demostrables tanto para la clasificación errónea de inliers como de outliers, ofreciendo un fundamento teórico formal para el entorno de "datos del mundo real", un área donde tales fundamentos eran escasos anteriormente.
• Impacto Práctico: El método ofrece mayor flexibilidad para el despliegue en el mundo real, donde los modelos deben operar en entornos dinámicos con distribuciones de datos desconocidas. Los resultados empíricos sugieren que Medix puede mejorar significativamente la seguridad y confiabilidad de los sistemas de aprendizaje automático al identificar y manejar eficazmente las entradas OOD utilizando datos no etiquetados fácilmente disponibles.

Los autores concluyen que Medix representa un paso significativo hacia adelante en el aprendizaje de mundo abierto, demostrando que las estadísticas de gradiente robustas pueden convertir efectivamente los datos no etiquetados del mundo real en una supervisión útil para la detección de OOD.