Resumen Técnico: MM++ (Multilayer Mahalanobis++)

Planteamiento del Problema

Las redes neuronales profundas (DNN) suelen exhibir predicciones excesivamente confiadas en entradas fuera de la distribución (OOD), un comportamiento atribuido al colapso neuronal (neural collapse), donde las representaciones dentro de la distribución (ID) se comprimen en centroides de clase de baja dimensión. Si bien esto mejora la precisión de la clasificación, reduce la diversidad representacional, causando que las muestras OOD se proyecten cerca de las estructuras ID.

Los métodos existentes de detección de OOD post-hoc enfrentan un compromiso entre invarianza de escala y expresividad jerárquica:

1. Métodos de una sola capa (p. ej., Mahalanobis++, ReAct) operan en la capa terminal (penúltima). Aunque los enfoques invariantes de escala como Mahalanobis++ proyectan las características sobre una hiperesfera unitaria para mitigar las variaciones de magnitud, descartan pistas estructurales de nivel medio que son críticas para detectar muestras near-OOD.
2. Métodos multicapa (p. ej., X-Mahalanobis) agregan puntuaciones de capas intermedias, pero típicamente tratan las representaciones por capa como marginales independientes. Dependen de la fusión aditiva de puntuaciones individuales, lo que a menudo requiere ponderación basada en la varianza o el ajuste fino (fine-tuning) del clasificador. Este enfoque ignora las dependencias condicionales entre capas y puede propagar ruido de alta varianza desde las capas tempranas, fallando en la detección de inconsistencias jerárquicas donde una anomalía imita características ID en capas individuales pero viola la trayectoria evolutiva esperada entre ellas.
3. Limitaciones estrictamente post-hoc: Muchos métodos avanzados requieren conjuntos de validación OOD auxiliares o ajuste fino, lo que viola el supuesto estrictamente post-hoc y sesga el detector hacia geometrías auxiliares específicas.

Metodología: Marco de Trabajo MM++

Los autores proponen MM++ (Multilayer Mahalanobis++), un marco de trabajo completamente no supervisado, estrictamente post-hoc e invariante de escala. En lugar de la fusión aditiva de puntuaciones, MM++ construye un espacio de características conjunto principista fusionando capas intermedias seleccionadas con la representación terminal.

1. Selección de Capas mediante Caídas de Densidad de Entropía

MM++ identifica capas intermedias discriminativas sin datos auxiliares mediante la medición de caídas de densidad de entropía:

• Entropía de Covarianza: Para cada capa $l$, se computa la entropía de Shannon $H_l$ del espectro de valores propios de la matriz de covarianza normalizada con contracción de Ledoit–Wolf. Esto cuantifica la riqueza representacional.
• Densidad de Entropía: Definida como $\rho_l = H_l / D_l$ (entropía por dimensión de característica), proporcionando una métrica invariante de escala.
• Caída de Densidad de Entropía ($\Delta_l$): La diferencia entre capas consecutivas, $\Delta_l = \rho_{l-1} - \rho_l$. Una $\Delta_l$ positiva grande indica una caída brusca en la dimensionalidad intrínseca relativa, marcando un límite de compresión semántica.
• Estrategia de Selección: La capa penúltima $L$ siempre se incluye como ancla. Se seleccionan las $K-1$ capas intermedias con las mayores $\Delta_l$ positivas. Esto enfoca el modelo en las representaciones que experimentan las transiciones estructurales más significativas mientras se suprime el ruido de las capas tempranas.

2. Fusión de Características y Modelado Conjunto

Las capas seleccionadas se normalizan $\ell_2$ y se concatenan en una representación unificada $\phi(x)$.

• Concatenación sin Pérdida: A diferencia de la fusión aditiva, esto preserva la información completa de cada capa seleccionada sin un peso explícito.
• Matriz de Precisión Conjunta: Se computa una única distancia de Mahalanobis condicional de clase en este espacio unificado. La matriz de covariania vinculada $\hat{\Sigma}_K$ se estima a partir de las características concatenadas.
• Contracción de Ledoit–Wolf: Para manejar la alta dimensionalidad del espacio fusionado (donde la dimensión de característica $D_K$ a menudo supera el número de muestras $N_c$), MM++ aplica la contracción de Ledoit–Wolf a la matriz de covarianza. Esto asegura una matriz de precisión $\hat{\Sigma}_K^{-1}$ bien condicionada y definida positiva.
• Dependencias entre Capas: Los bloques fuera de la diagonal de la matriz de precisión conjunta modelan explícitamente la covarianza entre capas. Esto permite al detector penalizar muestras que son plausibles bajo las distribuciones de capas individuales pero que exhiben configuraciones conjuntas anómalas (violando la trayectoria evolutiva aprendida de las características).

3. Puntuación OOD

La puntuación OOD final es la negativa de la distancia de Mahalanobis++ mínima sobre todas las clases en el espacio conjunto:
$$S_{MM++}(x) = -\min_{c} (\phi(x) - \hat{\mu}_c^K)^\top \hat{\Sigma}_K^{-1} (\phi(x) - \hat{\mu}_c^K)$$
Puntuaciones más altas indican proximidad a los grupos ID. El método no requiere ajuste fino, no requiere datos OOD proxy e introduce un único hiperparámetro $K$ (número de capas fusionadas).

Principales Contribuciones

1. Marco Multicapa Unificado: Cambia el paradigma de la agregación de puntuaciones aditivas al modelado de un espacio de características conjunto, capturando correlaciones latentes entre capas.
2. Selección de Capas Principista: Introduce un mecanismo de selección de capas basado en caídas de densidad de entropía para identificar límites de compresión semántica brusca, evitando el pesaje heurístico.
3. Estrictamente Post-Hoc e Invariante de Escala: Extiende la normalización $\ell_2$ (de Mahalanobis++) a un entorno multicapa con regularización de Ledoit–Wolf, sin requerir datos auxiliares ni modificaciones arquitectónicas.
4. Independencia de la Arquitectura: El marco opera sobre características intermedias normalizadas, lo que lo hace aplicable a arquitecturas heterogéneas (Transformers, CNNs, modelos jerárquicos) sin adaptaciones específicas de dimensión.

Resultados Empíricos

El artículo evalúa MM++ a través de diversos backbones (ViT-B/16, Swin-T, ConvNeXt-T, EVA02) y conjuntos de datos (ImageNet-1K, ImageNet-LT).

• Régimen Balanceado (ImageNet-1K): MM++ logra un rendimiento competitivo con los métodos de estado del arte (SOTA). Mientras que X-Mahalanobis (que requiere ajuste fino) alcanza el mayor rendimiento general en benchmarks de far-OOD, MM++ supera a este en datasets específicos de near-OOD (Texture, SUN) sin ningún ajuste fino.
• Régimen de Cola Larga (ImageNet-LT): MM++ demuestra una robustez superior, logrando el promedio de AUROC más alto (83.91%). Supera significativamente a los baselines en cambios desafiantes de near-OOD (ImageNet-ES, -R, -V2), donde los métodos de una sola capa y las fusiones multicapa aditivas luchan con desviaciones semánticas sutiles en regímenes desbalanceados.
• Consistencia Cross-Arquitectura: MM++ supera consistentemente a los baselines en benchmarks de near-OOD a través de Vision Transformers, modelos de atención jerárquica (Swin) y convoluciones modernizadas (ConvNeXt). Notablemente, X-Mahalanobis es a menudo inaplicable a arquitecturas no homogéneas (como Swin o ConvNeXt) debido a su dependencia de dimensiones de características uniformes y ajuste fino.
• Estudios de Ablación:
  • Selección de Capas: Forzar el anclaje de la capa penúltima y seleccionar capas mediante caídas de entropía es crítico; eliminar el anclaje o usar estimación de pseudo-inversa degrada el rendimiento significativamente.
  • Contracción (Shrinkage): La contracción de Ledoit–Wolf proporciona ganancias sustanciales (p. ej., +8.26% AUROC) sobre la estimación de pseudo-inversa en espacios fusionados de alta dimensión.
  • Hiperparámetro $K$: El rendimiento alcanza su punto máximo con un $K$ pequeño (típicamente $K=2$), equilibrando la complementariedad de la información intermedia con el ruido estadístico de la expansión de la dimensionalidad.

Significado y Reivindicaciones

El artículo afirma que MM++ aborda la dicotomía fundamental entre la estabilidad de las capas terminales y la profundidad de las arquitecturas multicapa. Al modelar la trayectoria jerárquica de la evolución de las características a través de una distribución conjunta unificada, MM++ detecta muestras OOD que violan las dinámicas evolutivas entre capas, un modo de falla indetectable para los métodos de una sola capa o aditivos.

Los autores enfatizan que MM++ ofrece un camino riguroso y generalizable hacia sistemas de aprendizaje profundo confiables. Logra una detección robusta de near- y far-OOD a través de arquitecturas heterogéneas y regímenes de cola larga sin el costo computacional del ajuste fino y sin los requisitos de datos de conjuntos de datos OOD auxiliares. El trabajo sugiere que la detección de OOD robusta puede lograrse mediante principios generalizables (selección de capas basada en información y modelado geomético conjunto) en lugar de un ajuste específico de la arquitectura.