Resumen Técnico: GEODE - Detección OOD Adaptativa a Ángulos con Compatibilidad Universal de Puntuadores

1. Declaración del Problema

La detección de datos fuera de distribución (OOD) tiene como objetivo identificar entradas sobre las cuales un clasificador desplegado no fue entrenado. Los enfoques actuales enfrentan una tensión fundamental entre la puntuación post-hoc (aplicada a modelos congelados) y los métodos basados en entrenamiento (que remodelan características o logits).

• La Compensación: Los métodos de entrenamiento que mejoran los puntuadores basados en logits (por ejemplo, MSP, Energy) a menudo degradan los puntuadores basados en el espacio de características (por ejemplo, KNN), y viceversa. Ningún método existente logra una detección robusta en todos los puntuadores estándar y en ambos regímenes, OOD cercano y OOD lejano, simultáneamente.
• Limitaciones de la Exposición a Valores Atípicos (OE): Aunque OE es un enfoque dominante basado en entrenamiento que utiliza datos OOD auxiliares reales, adolece de dos problemas:
  1. Dependencia del Puntuador: Muestra compensaciones donde es fuerte en algunos puntuadores pero débil en otros.
  2. Dependencia de los Datos: Requiere datos auxiliares curados que deben coincidir con la distribución OOD real en tiempo de prueba, un requisito que es laborioso y frágil.
• El Fallo del Espacio Nulo: Métodos recientes como PFS intentan empujar las características OOD hacia el espacio nulo del clasificador para aumentar las puntuaciones de logits. Sin embargo, esto destruye catastróficamente la geometría del espacio de características, provocando que la detección basada en KNN falle (rendimiento peor que el aleatorio).

La pregunta central abordada es: ¿Qué propiedad geométrica hace que OE sea efectivo, y puede esto replicarse sintéticamente sin datos OOD reales para lograr compatibilidad universal con puntuadores?

2. Metodología: GEODE

Los autores proponen GEODE (DEtection que preserva la GEOmetría), un método basado en entrenamiento que sintetiza señales OOD para calibrar el límite de decisión mientras preserva la geometría de las características.

2.1 Análisis Geométrico de OE

Mediante un análisis geométrico en la capa penúltima de una red base entrenada (ResNet-18), los autores encontraron que:

• OE es Calibración de Límite, no Cobertura: Las características de OE son geométricamente indistinguibles de los datos OOD cercanos reales. Específicamente, coinciden en la relación de norma, la similitud coseno máxima con las medias de clase y la proyección al subespacio.
• El Efecto del Cuartil: El "cuartil adyacente al límite" de los datos de OE (muestras con alta similitud coseno con las medias de clase ID, $>0.85$) impulsa casi toda la ganancia de rendimiento de OE. Las ejemplos lejanos al límite contribuyen poco.
• Conclusión: El mecanismo efectivo es calibrar la región del límite, no cubrir todo el espacio OOD.

2.2 El Mecanismo GEODE

GEODE replica esta calibración sintéticamente utilizando mezcla de características (permutando dimensiones a través de un lote) y una pérdida de norma adaptativa al ángulo.

1. Generación Sintética de OOD: En lugar de usar datos auxiliares, GEODE crea características OOD sintéticas ($h_{ood}$) permutando independientemente las dimensiones de las características a través de un lote de características ID. Esto rompe las correlaciones inter-dimensionales mientras preserva las estadísticas marginales.
2. Objetivo Adaptativo al Ángulo: La innovación central es una norma objetivo $t$ que escala por muestra basándose en la similitud coseno ($s$) de la característica sintética con la media de clase más cercana ($\mu_c$):
   $$s = \max_c \cos(h_{ood}, \mu_c)$$
   $$t = s^2 \cdot \alpha \cdot r_{id}$$
   Donde $r_{id}$ es la norma promedio de las características ID y $\alpha$ es un parámetro de relajación.
   • Cerca de las Medias de Clase ($s \approx 1$): La norma objetivo es grande ($t \approx \alpha \cdot r_{id}$). Esto preserva la geometría local de características requerida por puntuadores basados en distancia como KNN.
   • Lejos de las Clases ($s \approx 0$): La norma objetivo es pequeña ($t \approx 0$). Esto empuja las características hacia el origen, agudizando la separación para puntuadores basados en logits como MSP y Energy.
3. Margen Contrastivo ID: Para ampliar el margen desde ambos lados, un término contrastivo fomenta que las características ID tengan normas ligeramente mayores que $r_{id}$ (penalizando las características ID solo cuando $\|h\| < r_{id}$).
4. Función de Pérdida: La pérdida total combina la Entropía Cruzada, la penalización de norma OOD adaptativa y el margen contrastivo ID.

2.2 Justificación Teórica

El diseño se basa en la teoría del Colapso Neuronal (NC), donde las medias de clase convergen a un Marco Apretado Equiangular Simplex (ETF).

• Teorema 1: Las características mezcladas se concentran en la media global, justificando la necesidad de un objetivo adaptativo basado en los ángulos de las muestras individuales.
• Teorema 2 y 3: El objetivo adaptativo preserva mejor las distancias pareadas locales cerca de los límites de clase (crucial para KNN) que una penalización de norma uniforme.
• Teorema 4: Empujar las características OOD al espacio nulo (como hace PFS) elimina la variación de distancia condicional a la clase, causando que KNN falle. GEODE evita esto manteniendo las características OOD dentro del subespacio del clasificador.

3. Contribuciones Clave

1. Enmarcado Geométrico: El artículo proporciona la primera caracterización geométrica de por qué funciona OE (calibración de límite) y diagnostica el fallo catastrófico de los métodos de espacio nulo (PFS) en KNN.
2. Diseño de Método: GEODE introduce una pérdida de norma adaptativa al ángulo que sintetiza señales OOD sin datos auxiliares, preservando la geometría requerida tanto para puntuadores basados en logits como para los basados en espacio de características.
3. Universalidad Empírica: GEODE logra un AUROC competitivo en los siete puntuadores estándar (MSP, Energy, ODIN, ReAct, Scale, ASH, KNN) en CIFAR-10 y CIFAR-100 sin fallo catastrófico en ningún puntuador individual.
4. Componibilidad: GEODE es ortogonal a OE. Combinarlos produce resultados de vanguardia (por ejemplo, 95.0 MSP / 94.8 KNN en CIFAR-10), superando a OE solo en cada puntuador.

4. Resultados Experimentales

Evaluado en los benchmarks OpenOOD v1.5 (CIFAR-10, CIFAR-100, ImageNet-200) utilizando ResNet-18 y WRN-28-10:

• CIFAR-10 (OOD Cercano): GEODE logra 92.30 AUROC (EBO) y oscila entre 89.0 y 92.3 en los siete puntuadores. Evita el "fallo catastrófico" visto en otros métodos (por ejemplo, PFS reduce KNN a 14.38; GEODE mantiene 89.04, una compensación deliberada de 1.6 puntos para ganancias masivas en logits).
• CIFAR-100: GEODE supera a la CE estándar en conteos de épocas coincidentes y supera a OE en los tres puntuadores (MSP, Energy, KNN) cuando se combina.
• ImageNet-200: GEODE no muestra fallos catastróficos en los puntuadores (rango 77.93–83.48), mientras que LogitNorm falla catastróficamente en Energy (29.67) y ReAct (26.53).
• Dinámicas de Entrenamiento: GEODE supera a la CE estándar a medida que avanza el entrenamiento (hasta 400 épocas), beneficiándose de la convergencia del Colapso Neuronal. Por el contrario, LogitNorm se degrada con entrenamientos más largos porque interfiere con la convergencia del NC.

5. Significado y Afirmaciones

El artículo afirma que GEODE resuelve la compensación de larga data entre la detección OOD basada en logits y la basada en espacio de características. Al reconocer que la detección OOD efectiva depende de la calibración de límites en lugar de la cobertura total OOD, GEODE sintetiza una señal de entrenamiento que respeta el lugar geométrico del límite de decisión.

• Compatibilidad Universal: A diferencia de métodos anteriores que optimizan para una familia específica de puntuadores a expensas de otros, GEODE funciona en todos los puntuadores estándar sin fallo catastrófico.
• Eficiencia de Datos: Logra estos resultados sin requerir conjuntos de datos OOD auxiliares curados, confiando en su lugar en la mezcla sintética de características.
• Alineación Teórica: El método está diseñado para ser compatible con la convergencia natural del Colapso Neuronal, a diferencia de los métodos que modifican logits y alteran esta convergencia.

Los autores notan modestamente las limitaciones: el componente de margen contrastivo no se generaliza bien a CIFAR-100 (debido a la geometría ETF frágil de 100 clases), y GEODE no mejora sobre ViT-B/16 estándar en conjuntos de datos pequeños (probablemente debido a que LayerNorm borra las variaciones de norma y el modelo no alcanza el régimen de NC). Se sugiere trabajo futuro para variantes compatibles con Transformers y benchmarks a mayor escala.