MaRS: Robust Out-of-Distribution Detection via Mahalanobis Residual Scoring

Resumen Técnico: MaRS – Detección de Fuera de Distribución Robusta mediante el Puntuaje de Residuos de Mahalanobis

Planteamiento del Problema
Los modelos fundacionales proporcionan representaciones altamente descriptivas para imágenes médicas, sin embargo, su fiabilidad se degrada bajo cambios de distribución causados por variaciones en las poblaciones de pacientes, dispositivos de imagen o condiciones de adquisición. Si bien la detección de Fuera de Distribución (OOD, por sus siglas en inglés) es esencial para un despliegue clínico seguro, los métodos existentes enfrentan limitaciones específicas. Los métodos basados en la confianza suelen sufrir de fragilidad debido al desequilibrio de clases y la descalibración. Los métodos basados en la distancia (por ejemplo, Deep kNN, Mahalanobis) pueden degradarse en embeddings de alta dimensión donde las distancias de los vecinos más cercanos se vuelven menos informativas y las estimaciones de covarianza son difíciles de regularizar. Los métodos basados en la reconstrucción, que aprenden un manifold de distribución interna (ID) y señalan las muestras con grandes errores de reconstrucción, han tenido una adopción limitada debido a su desempeño inconsistente. Los autores postulan que esta inconsistencia no proviene de una mala calidad de reconstrucción, sino de cómo se puntúan los errores de reconstrucción. Los enfoques estándar utilizan normas $L_2$ uniformes, lo que colapsa la estructura anisotrópica de los residuos, suprimiendo así desviaciones informativas que ocurren en direcciones de baja varianza.

Metodología: MaRS
Los autores introducen MaRS (Mahalanobis Residual Scoring), un detector de OOD sin etiquetas y totalmente post-hoc diseñado para operar sobre características de un backbone congelado. El método consta de tres componentes primarios:

1. Proyección de Manifold vía Autoencoder: Dado un backbone congelado $\Phi$ que produce características $z$, se entrena un autoencoder ligero $(E, D)$ sobre características ID para minimizar la pérdida de reconstrucción $\|z - \hat{z}\|_2^2$. Geométricamente, esto implementa una proyección $\Pi_{M_{ID}}(z)$ sobre el manifold ID. El residuo de reconstrucción se define como $r(x) = z - \hat{z}$.
2. Análisis del Espacio de Residuos: Los autores observan que, mientras que los residuos ID son pequeños y reflejan imperfecciones de la reconstrucción, los residuos OOD contienen componentes sistemáticos que reflejan la desviación del manifold aprendido. Crucialmente, la distribución de estos residuos es altamente anisotrópica.
3. Puntuación de Mahalanobis: En lugar de una norma $L_2$ uniforme, MaRS calcula la puntuación OOD utilizando la distancia de Mahalanobis en el espacio de residuos:
   $$S_{MaRS}(x) = r(x)^\top \Sigma^{-1} r(x)$$
   donde $\Sigma$ es la matriz de covarianza de los residuos ID. A través de la descomposición de autovalores $\Sigma = U\Lambda U^\top$, la puntuación se expresa como una suma ponderada de las sumas de los cuadrados de las proyecciones sobre los componentes principales:
   $$S_{MaRS}(x) = \sum_{i=1}^{D} \frac{(u_i^\top r(x))^2}{\lambda_i}$$
   Esta formulación amplifica las desviaciones a lo largo de las direcciones de baja varianza (estables) (donde $\lambda_i$ es pequeño) y reduce el peso de las direcciones de alta varianza (donde $\lambda_i$ es grande). A diferencia de los métodos de Mahalanobis en el espacio de embedding que dependen de medias condicionales de clase, MaRS no requiere etiquetas y depende de una única covarianza global de los residuos, aislando efectivamente la variación semántica de clase para aislar el drift distributivo.

Contribuciones Clave

• Marco de Trabajo MaRS: Un detector de OOD plug-and-play y sin etiquetas que aplica la distancia de Mahalanobis a los residuos de reconstrucción de un autoencoder. Opera directamente sobre las características de un backbone congelado, asegurando eficiencia computacional y adaptabilidad a través de diversas modalidades sin requerir el ajuste fino (fine-tuning) del backbone.
• Identificación de la Anisotropía de Residuos: El artículo identifica la anisotropía de los residuos como una señal crítica, previamente pasada por alto, para la detección de OOD. Demuestra que la puntuación de Mahalanobis consciente de la varianza en el espacio de residuos supera sustancialmente la agregación $L_2$ uniforme.
• Robustez a la Arquitectura y Escala: Los autores muestran que MaRS permanece robusto a través de diferentes arquitectes de backbone (ViT supervisado y DINOv3 autosupervisado) y escalas de modelo (Small y Base). Además, el método se beneficia de operar sobre características de pre-normalización, donde la estructura de varianza anisotrópica intrínseca se preserva, a diferencia de las líneas base del espacio latente que requieren normalización.

Resultados Experimentales
Se realizaron experimentos extensos a través de tres modalidades de imagen (histopatología, radiografía de tórax, dermatoscopia), múltiples tipos de cambios de distribución (covariable, near-OOD, far-OOD, semántico) y diferentes familias de modelos.

• Desempeño: MaRS superó consistentemente a las líneas base establecidas de confianza (MSP, ODIN, ViM), de distancia (Deep kNN, OCSVM, Mahalanobis++) y de reconstrucción (Residual, AE).
• Significancia Estadística: MaRS superó significativamente a Mahalanobis++ (la línea base más fuerte en el espacio latente) a través de 3 ejecuciones y 5 divisiones de conjuntos de datos en términos de AUROC y FPR@95 (prueba de rango firmado de Wilcoxon pareada, $p < 0.05$).
• Hallazgos de Ablación: El análisis espectral de la covarianza de los residuos reveló que más del 90% de la varianza se concentra en menos de un tercio de los componentes principales. Se encontró que las desviaciones OOD se concentran en las direcciones restantes de baja varianza. La relación entre la energía del residuo OOD y la ID fue 1.64$\times$ mayor en el subespacio de baja varianza, confirmando que la puntuación de Mahalanobis aísla eficazmente estas señales informativas.
• Sensibilidad a la Normalización: Mientras que la normalización mejora el desempeño para las líneas base estándar de espacio latente, degrada a MaRS al aplanar el espectro de varianza y suprimir las direcciones de baja variancia donde las señales de OOD son más pronunciadas.

Significado
El artículo afirma que una limitación central de los detectores de OOD basados en la reconstrucción existentes es la suposición implícita de errores de reconstrucción isotrópicos. Al reemplazar la agregación $L_2$ uniforme con la puntuación de Mahalanobis consciente de la covarianza, MaRS aborda esta limitación. Los autores sostienen que este enfoque proporciona un principio simple pero poderoso para la detección de OOD post-hoc en representaciones congeladas, ofreciendo una solución robusta y sin etiquetas que se generaliza bien a través de modalidades de imagen médica y escalas de modelos sin depender de etiquetas de clase o suposiciones de subespacios predefinidos. El trabajo sugiere que las mejoras futuras en la detección de OOD médica pueden depender de un mejor modelado de la anisotropía del espacio de residuos en lugar de centrarse únicamente en mejorar la calidad de la reconstrucción o las representaciones del backbone.