MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

Resumen Técnico: MahaVar: Detección OOD mediante la Varianza de la Distancia de Mahalanobis por Clase bajo Colapso Neuronal

Enunciado del Problema
Desplegar redes neuronales profundas en entornos del mundo real presenta un desafío crítico: los modelos entrenados bajo una suposición de mundo cerrado a menudo encuentran muestras de prueba que caen fuera de su distribución de entrenamiento (Fuera de Distribución o OOD). Estas muestras pueden conducir a predicciones excesivamente seguras y potencialmente catastróficas. Si bien la detección de muestras Fuera de Distribución (OOD) es esencial para dominios críticos para la seguridad como la conducción autónoma y la imagen médica, los métodos post-hoc existentes (que no requieren reentrenamiento ni acceso a datos OOD) a menudo dependen de señales limitadas. Específicamente, los detectores basados en la distancia de Mahalanobis, una línea base sólida, típicamente se enfocan únicamente en la distancia mínima a la distribución gaussiana condicional por clase más cercana, ignorando potencialmente la geometría estructural de las distancias a través de todas las clases.

Metodología: MahaVar
Los autores proponen MahaVar, un detector OOD post-hoc simple pero efectivo que aumenta la distancia de Mahalanobis estándar con un término de varianza de distancia por clase. El método se fundamenta en la siguiente lógica:

1. Observación Empírica: Los autores observan que para las muestras Dentro de Distribución (ID), las distancias de Mahalanobis por clase ordenadas exhiben una "estructura de mínimo agudo pronunciado". La distancia a la clase más cercana es significativamente menor que las distancias a todas las demás clases, las cuales permanecen grandes y relativamente uniformes. En contraste, las muestras OOD exhiben un mínimo menos pronunciado, con distancias a todas las clases siendo comparativamente grandes y menos variables. Esta asimetría estructural implica que las muestras ID tienen una mayor varianza en las distancias por clase en comparación con las muestras OOD.
2. Fundamentación Teórica (Colapso Neuronal): El artículo proporciona un análisis teórico basado en el Colapso Neuronal, un fenómeno geométrico donde las características penúltimas de cada clase colapsan hacia su media de clase, y las medias de clase se organizan en un Marco Apretado Equiangular Simplex (ETF). Bajo suposiciones relajadas de Colapso Neuronal (específicamente compacidad intraclase y separación interclase), los autores demuestran que las muestras ID exhiben estructuralmente una varianza de distancia por clase estrictamente mayor que las muestras OOD. El Teorema 4.3 y el Corolario 4.4 establecen condiciones suficientes bajo las cuales esta separación de varianza está garantizada, particularmente cuando las muestras OOD mantienen una separación angular suficiente de las medias de clase o no se encuentran dentro del subespacio generado por las medias de clase.
3. Función de Puntuación: La puntuación OOD propuesta $S(x)$ combina la distancia de Mahalanobis mínima negativa con la varianza por clase de estas distancias:
   $$S(x) = -\min_{c} d_{Maha,c}(\hat{\phi}(x)) + \alpha \cdot \text{Var}_c[d_{Maha,c}(\hat{\phi}(x))]$$
   Donde $\hat{\phi}(x)$ representa las características penúltimas normalizadas en L2, y $\alpha$ es un hiperparámetro que controla el peso del término de varianza.

Contribuciones Clave
El artículo hace tres contribuciones principales:

1. Descubrimiento Empírico: Identificación de una asimetría estructural previamente no explotada: las muestras ID exhiben un mínimo agudo en las distancias de Mahalanobis por clase (alta varianza), mientras que las muestras OOD exhiben una distribución más plana (baja varianza).
2. Justificación Teórica: Un análisis principista que vincula esta observación con la geometría del Colapso Neuronal, demostrando que bajo condiciones geométricas específicas, las muestras ID dominan estrictamente a las muestras OOD en términos de varianza de distancia por clase.
3. Propuesta Algorítmica: La introducción de MahaVar, un detector post-hoc que integra este término de varianza en el marco Mahalanobis++.

Resultados Experimentales
Los autores evaluaron MahaVar siguiendo el protocolo del estándar OpenOOD v1.5 a través de tres configuraciones Dentro de Distribución (ID): CIFAR-10, CIFAR-100 e ImageNet, utilizando ambos escenarios de evaluación Near-OOD y Far-OOD.

• Rendimiento: MahaVar logra un rendimiento de Estado del Arte (SOTA) en CIFAR-100 e ImageNet entre todos los métodos evaluados.
• Comparación con Líneas Base: Supera consistentemente a todas las líneas base basadas en Mahalanobis (incluyendo Mahalanobis y Mahalanobis++) en los tres estándares en términos de AUROC y FPR@95.
• Robustez: En el estándar a gran escala ImageNet, promediado sobre tres arquitecturas de backbone (ResNet-50, Swin-B y ViT-B), MahaVar logra el mejor AUROC promedio y FPR@95. Cabe destacar que, mientras otros métodos de conformación de activación (como ASH-S y SCALE) se degradan significativamente en backbones basados en Transformers (Swin-B, ViT-B), MahaVar mantiene un rendimiento estable y superior.
• Estudios de Ablación: Los experimentos confirman que el término de varianza proporciona información complementaria significativa incluso sin normalización L2, aunque la combinación de normalización L2 y varianza produce los mejores resultados. El método también es robusto ante la elección de la métrica de distancia (L1, L2, Mahalanobis), siendo Mahalanobis el que mejor funciona debido a su manejo de la estructura de covarianza.

Significado y Afirmaciones
El artículo afirma que la estructura completa de la distancia por clase contiene información discriminativa más rica que la distancia a la clase más cercana por sí sola. Al aprovechar las propiedades geométricas del Colapso Neuronal, MahaVar ofrece un método fundamentado teóricamente y empíricamente robusto para la detección OOD. Los autores enfatizan que este enfoque es particularmente valioso para el despliegue en el mundo real donde el reentrenamiento de modelos es poco práctico.

Sin embargo, los autores mantienen un tono modesto respecto a las limitaciones:

• En CIFAR-10, los métodos basados en KNN aún logran un AUROC ligeramente superior, lo que sugiere que los enfoques no paramétricos pueden ser superiores en configuraciones con bajo recuento de clases.
• El marco teórico depende de suposiciones de Colapso Neuronal, que asumen redes bien entrenadas cerca de la fase terminal del entrenamiento. Los autores señalan que relajar estas suposiciones para cubrir geometrías de características más generales es una dirección para trabajos futuros.
• La implementación práctica omite el paso de centrado de la media global utilizado en las pruebas teóricas, ya que se encontró que el centrado degrada el rendimiento en ResNet-50 debido a la geometría de características no negativa inducida por las activaciones ReLU.