MARVEL: Margin-Aware Robust von Mises-Fischer Expert Learning for Long-Tailed Out-of-Distribution Detection

Resumen Técnico: MARVEL – Aprendizaje de Expertos de von Mises-Fischer Robusto y Consciente del Margen para la Detección de Distribución Fuera de Rango de Cola Larga

Planteamiento del Problema
Las redes neuronales profundas (DNN) han logrado un alto rendimiento en el diagnóstico por imágenes médicas, pero enfrentan desafíos significativos de fiabilidad en su despliegue en el mundo real. Dos problemas principales exacerban esto:

1. Fallo en la Detección de Distribución Fuera de Rango (OOD): Las DNN suelen producir predicciones erróneas y excesivamente confiadas en entradas OOD (por ejemplo, diferentes regiones anatómicas, modalidades o imágenes no radiográficas), lo que plantea riesgos de seguridad.
2. Desequilibrio de Clases de Cola Larga: Los conjuntos de datos médicos siguen frecuentemente una distribución de cola larga donde unas pocas clases "cabeza" dominan y numerosas clases "cola" son escasas. Este sesgo provoca que los modelos se sobreajusten a las clases cabeza, resultando en un aprendizaje de representación deficiente para las clases cola. En consecuencia, las muestras de la cola suelen clasificarse erróneamente como OOD, o las muestras verdaderamente OOD se confunden con las clases de la cola debido al solapamiento de los cúmulos de características cerca de las fronteras de decisión.

La literatura existente suele asumir conjuntos de datos equilibrados, evalúa la detección de OOD en benchmarks de imágenes naturales de baja complejidad o no aborda la interacción entre el desequilibrio de clases y la incertidumbre de la distribución.

Metodología: Marco de Trabajo MARVEL
Los autores proponen MARVEL (Aprendizaje de Expertos de von Mises-Fischer Robusto y Consciente del Margen), un marco diseñado para la clasificación de ID (Identidad/In-Distribution) en imágenes médicas con detección de OOD bajo distribuciones de cola larga. La arquitectura consiste en un extractor de características compartido y un conjunto de expertos especializados.

1. Clasificador de von Mises-Fisher No Lineal (NvMF):

   • Motivación: Los clasificadores convencionales basados en vMF se reducen a similitudes de coseno escaladas, lo que genera fronteras de decisión lineales en el espacio hiperesférico. Esto limita la flexibilidad para modelar geometrías de clase complejas y heterogéneas presentes en datos desequilibrados.
   • Innovación: Los autores reinterpretan la distribución vMF a través de su estructura de familia exponencial. En lugar de tratarla únicamente como un modelo de verosimilitud, definen los logits mediante cambios en la función de partición logarítmica ($\ell_c = -\Delta A(x)$).
   • Garantía Teórica: El artículo demuestra (Teorema 1) que a medida que el parámetro de concentración $\kappa \to \infty$, los logits NvMF propuestos convergen a la similitud de coseno estándar, estableciéndolo como una generalización fundamentada de los clasificadores hiperesféricos existentes. Para un $\kappa$ finito, induce fronteras de decisión no lineales, lo que permite una mejor separación de cúmulos complejos.

2. Conjunto de Multi-Expertos Consciente del Margen:
   Para abordar el desequilibrio de cola larga, el marco emplea tres expertos NvMF, cada uno entrenado con un parámetro de fuerza de margen distinto $\tau \in \{0, 1, 2\}$:
   * Sesgado hacia la Cabeza ($\tau=0$): Clasificador estándar para clases mayoritarias.
   * Equilibrado ($\tau=1$): Reequilibrio moderado.
   * Sesgado hacia la Cola ($\tau=2$): Protección agresiva para clases minoritarias.

   • Mecanismo: El término de margen $\Delta_{yc} = \tau \log(\pi_c / \pi_y)$ se introduce en la función de pérdida, donde $\pi$ representa los priors de clase empíricos. Esto desplaza asimétricamente las fronteras de decisión lejos de las clases de la cola, evitando que sean abrumadas por las clases de la cabeza.

3. Experto en Valores Atípicos Dedicado:

   • Una capa totalmente conectada simple y separada ($g_{out}$) se entrena explícitamente para la clasificación binaria (ID vs. OOD).
   • Utiliza un conjunto de datos OOD auxiliar (ImageNet-100) durante el entrenamiento. A diferencia de los expertos NvMF que modelan clases ID finas, este experto se centra únicamente en separar los elementos internos de los externos, proporcionando una señal de supervisión directa para la detección de OOD.

4. Estrategia de Inferencia:

   • Clasificación ID: Agrega las predicciones de los tres expertos NvMF (promediando las probabilidades softmax sobre las $K$ clases ID).
   • Detección de OOD: Combina dos señales: (i) la probabilidad de la $(K+1)$-ésima clase (OOD) de los expertos NvMF, y (ii) la probabilidad explícita de OOD del experto en valores atípicos. La puntuación final es el promedio de estas dos señales.

Protocolo de Evaluación
Los autores critican los benchmarks existentes por depender de imágenes naturales (ej. SVHN, LSUN) o de la simple exclusión de clases. Proponen un marco de evaluación de OOD clínicamente realista que abarca:

• Nuevas Clases: Clases semánticas no vistas durante el entrenamiento (Open-Set).
• Corrupciones: Degradaciones sintéticas (ruido, desenfoque, artefactos).
• NearOOD: Desplazamientos de dominio dentro de las imágenes médicas (por ejemplo, diferentes dispositivos de adquisición, técnicas de tinción o regiones anatómicas).
• FarOOD: Imágenes naturales (MS-COCO) visualmente distantes de los datos médicos.
• Datasets: Los experimentos se realizan en RFMiD (imágenes retinianas), ISIC2019 (dermatología) y NCTCRC (histopatología), todos remodelados para seguir una distribución de cola larga de 50:1.

Resultados Clave

• Detección de OOD: MARVEL supera consistentemente a los métodos de vanguardia (PASCL, COCL, EAT, PATT, OE) en todos los datasets y escenarios de OOD.
  • Logra reducciones de FPR95 de 8.45% (RFMiD), 13.02% (ISIC2019) y 36.90% (NCTCRC) en comparación con las bases de referencia.
  • Alcanza un AUROC casi saturado (>99%) en los escenarios FarOOD y NearOOD2, atribuido al experto en valores atípicos dedicado.
  • Mantiene el mejor rendimiento en el escenario de Open-Set más desafiante, aunque el AUROC permanece por debajo del 85% en este ajuste específico, resaltando la dificultad inherente de distinguir clases novedosas de las clases de la cola.
• Clasificación ID: MARVEL logra la mayor Exactitud (Accuracy) y Exactitud Balanceada (Balanced Accuracy). A diferencia de las bases de referencia que muestran una gran brecha entre el rendimiento de la cabeza y la cola, MARVEL mejora significativamente el reconocimiento de las clases de la cola (por ejemplo, la exactitud de la cola se acerca al 95% en NCTCRC) mientras mantiene el rendimiento de la cabeza.
• Estudios de Ablación:
  • Elección del Clasificador: NvMF supera significativamente a vMF lineal, coseno y clasificadores FC, validando el beneficio de las fronteras no lineales.
  • Cantidad de Expertos: Un conjunto de tres expertos proporciona el compromiso óptimo; añadir un cuarto experto no produce mejoras y a menudo degrada el rendimiento.
  • Calibración: MARVEL demuestra una calibración de confianza superior en comparación con las bases de referencia, que tienden a ser excesivamente confiadas (PASCL, PATT) o insuficientemente confiadas (OE, EAT).
  • Puntuación de OOD: La puntuación basada en logits (MSP) dentro del marco supera a los métodos basados en distancia (KNN, Mahalanobis), que tienen dificultades con la naturaleza dispersa y anisotrópica de las representaciones de las clases de la cola.

Significancia y Reivindicaciones
El artículo afirma que MARVEL aborda una brecha crítica en la IA médica al unificar el reconocimiento de cola larga y la detección de OOD. Su significancia radica en:

1. Novedad Metodológica: Introducción de un clasificador de von Mises-Fischer No Lineal teóricamente fundamentado que generaliza los clasificadores de coseno y una estrategia de multi-expertos consciente del margen para manejar el desequilibrio severo de clases.
2. Modelado Explícito de OOD: Desacoplamiento de la detección de OOD de la discriminación de clases ID multiclase mediante un experto en valores atípicos dedicado, evitando la confusión entre las clases raras de la cola y los valores atípicos reales.
3. Relevancia Clínica: Ir más allá de los benchmarks artificiales para evaluar los modelos en un espectro de desplazamientos de distribución clínicamente reflexivos (cambios de modalidad, variaciones de adquisición y de imágenes naturales).
4. Seguridad: Permitir la identificación fiable de casos desconocidos para su derivación a clínicos, apoyando así diagnósticos más seguros mediante IA en flujos de trabajo del mundo real donde los datos son inherentemente desequilibrados y los desplazamientos de distribución son comunes.

Los autores reconocen limitaciones, incluyendo la dependencia de datos OOD auxiliares para el entrenamiento y la suposición de un espacio de etiquetas fijo, señalando que trabajos futuros podrían explorar el aprendizaje continuo y las tareas de predicción densa.