Don't Collapse Your Features: Why CenterLoss Hurts OOD Detection and Multi-Scale Mahalanobis Wins

Resumen Técnico: No Colapses Tus Características: Por qué CenterLoss Perjudica la Detección de OOD y la Mahalanobis Multiescala Triunfa

Enunciado del Problema
El despliegue seguro de sistemas de aprendizaje automático en entornos de mundo abierto requiere una detección robusta de datos fuera de distribución (OOD). Los métodos actuales a menudo dependen de representaciones de características optimizadas únicamente para la precisión de clasificación, descuidando los requisitos distintos de la incertidumbre epistémica. Una suposición predominante en el campo es que mejorar la geometría de clasificación (por ejemplo, haciendo que los grupos de características sean más compactos) conduce automáticamente a una mejor estimación de la incertidumbre. Este artículo desafía esa suposición, investigando por qué regularizadores populares como CenterLoss, que imponen la compacidad de las características, pueden en realidad degradar el rendimiento de la detección de OOD.

Metodología: La Pipeline GOEN
Los autores introducen la Red Epistémica Optimizada Geométricamente (GOEN), una pipeline de tres etapas diseñada para optimizar la geometría de características específicamente para la detección de OOD y no solo para la clasificación. La pipeline consta de:

1. Extracción de Características Multiescala: Una base ResNet-18 se entrena utilizando la pérdida estándar de entropía cruzada. Crucialmente, el modelo extrae características de dos capas intermedias: Capa 2 (de 128 dimensiones, capturando texturas de bajo nivel y desplazamientos de dominio) y Capa 4 (de 512 dimensiones, capturando contenido semántico de alto nivel). Estas se concatenan para formar un vector de 640 dimensiones.
2. Normalización L2 y Ajuste Mahalanobis: Las características extraídas se normalizan L2 para situarse en una esfera unitaria. Este paso mitiga el "colapso de características", donde un único componente principal domina la varianza, asegurando una matriz de covarianza bien condicionada. Se ajustan las medias condicionales a la clase ($\mu_c$) y una matriz de covarianza vinculada ($\Sigma$) sobre los datos de entrenamiento. La puntuación OOD se deriva de la distancia Mahalanobis de un punto de prueba al centroide de la clase más cercana.
3. Cabeza de Calibración: Se entrena una Perceptrón Multicapa (MLP) ligera para mapear tres señales de incertidumbre a una probabilidad calibrada:
   • Distancia Log-Mahalanobis.
   • Máxima similitud del coseno con las medias de clase.
   • Entropía predictiva desde la cabeza de clasificación.
   • Datos de Entrenamiento: La cabeza se entrena con una mezcla de datos Dentro de Distribución (ID) y ejemplos OOD "difíciles" (un subconjunto de SVHN) junto con ruido gaussiano sintético.

Hallazgos Clave y Contribuciones
La contribución principal del artículo es un hallazgo contra intuitivo revelado mediante una ablación sistemática: CenterLoss perjudica significativamente la detección de OOD.

• La Paradoja de CenterLoss: Mientras que CenterLoss mejora la precisión de clasificación al forzar las características hacia grupos más ajustados, reduce el AUROC promedio de OOD de 0.9483 (sin CenterLoss) a 0.9366 (con CenterLoss). Los autores hipotetizan que la sobre-compresión de los grupos de características comprime los márgenes interclase, dificultando distinguir puntos OOD que se encuentran entre los grupos. Además, los grupos ajustados pueden conducir a matrices de covarianza mal condicionadas, degradando la efectividad de la distancia Mahalanobis.
• Necesidad Multiescala: Los estudios de ablación muestran que usar solo características semánticas (Capa 4) reduce el rendimiento significativamente (AUROC promedio 0.9270 vs. 0.9483). Combinar características de textura (Capa 2) y semánticas es esencial para detectar tanto desplazamientos de dominio (por ejemplo, SVHN) como desplazamientos semánticos (por ejemplo, CIFAR-100).
• Calibración Real de OOD Difícil: Entrenar la cabeza de calibración con ejemplos reales de desplazamiento de dominio (SVHN) en lugar de solo ruido sintético es crítico. Eliminar SVHN de la mezcla de calibración redujo el rendimiento en el conjunto de prueba SVHN en casi un 2.5% de AUROC, demostrando que el ruido sintético por sí solo no puede enseñar al modelo a reconocer desplazamientos de dominio complejos.

Resultados Experimentales
Evaluado en CIFAR-10 (ID) frente a SVHN, CIFAR-100 filtrado y ruido gaussiano sintético (OOD), la mejor variante de GOEN (GOEN-SinCenterLoss) logró:

• AUROC Promedio de OOD: 0.9483, superando a todos los puntos de referencia.
• Comparación: Superó a Deep Ensembles (0.8827), KNN (0.8967), ODIN (0.8870) y Mahalanobis estándar (0.6790).
• Eficiencia: Toda la pipeline se entrena en menos de 20 minutos en una sola GPU.
• Estabilidad: Los experimentos de semilla confirmaron la estabilidad del método, con baja varianza en la precisión ID (0.9344 ± 0.0013) y AUROC de OOD a través de cinco semillas aleatorias.

Significado y Afirmaciones
El artículo argumenta que la geometría de clasificación y la geometría epistémica no están alineadas. Optimizar para la precisión de clasificación (mediante regularizadores de compacidad) puede perjudicar activamente la capacidad de un modelo para reconocer cuándo está encontrando datos novedosos.

Los autores posicionan a GOEN como un plano práctico para construir sistemas de IA que "reconozcan confiablemente sus propias limitaciones". Al desacoplar los objetivos de clasificación e incertidumbre epistémica, y al aprovechar características multiescala con distancia Mahalanobis normalizada L2, GOEN proporciona una solución simple, eficiente y de última generación para la detección de OOD sin la sobrecarga computacional de ensambles profundos o inferencia variacional compleja. La obra sirve como una historia de advertencia contra la suposición automática de que las técnicas que mejoran la clasificación mejorarán inherentemente la estimación de la incertidumbre.