Resumen Técnico: MoBE – Generalización de Modalidades en Tiempo de Prueba en Modelos de Visión-Lenguaje Médicos

1. Planteamiento del Problema

Los Modelos de Visión-Lenguaje Médicos (MVLM) demuestran una fuerte capacidad de generalización zero-shot, pero sufren un colapso de fiabilidad cuando se despliegan en modalidades, escáneres o protocolos de adquisición no vistos. Aunque las arquitecturas de Mezcla de Expertos (MoE) ofrecen un mecanismo para aprovechar el conocimiento específico de cada modalidad, su aplicación en el tiempo de prueba enfrenta un dilema de especialización-generalización:

• Agregación Ciega: El promedio uniforme de todos los expertos diluye el conocimiento específico de la modalidad.
• Dependencia de un Único Experto: Seleccionar un único experto "más confiable" conlleva el riesgo de un desajuste catastrófico si la confianza de dicho experto es errónea bajo un cambio de distribución.

Los métodos actuales de Adaptación en Tiempo de Prueba (TTA) suelen depender de la optimización basada en gradientes (p. ej., MoME, TNT) o de cachés de memoria de un solo modelo (p. ej., TDA), los cuales requieren una retropropagación computacionalmente costosa o no logran abordar el desafío específico de seleccionar entre múltiples expertos especializados en modalidades sin datos de origen. El desafío central es cómo enrutar y adaptar dinámicamente los expertos durante la inferencia sin realizar actualizaciones paramétricas ni acceder a los datos de entrenamiento.

2. Metodología: MoBE (Mezcla de Expertos Bayesianos)

Los autores proponen MoBE, un marco de trabajo totalmente libre de optimización que integra el enrutamiento dinámico de expertos con la adaptación bayesiana por experto. El sistema opera sobre un esqueleto de MVLM congelado (p. ej., BiomedCLIP) aumentado con expertos MLP paralelos especializados en modalidades.

A. Enrutamiento de Expertos Guiado por Entropía de k-Dinámico

Para resolver el dilema de especialización-generalización, MoBE emplea una estrategia de enrutamiento Dynamic-k basada en la incertidumbre predictiva en lugar de umbrales fijos o la selección de un único experto.

• Cálculo de Entropía: Para cada muestra de prueba, se calcula la entropía predictiva $H(p_e)$ a través de todos los $E$ expertos. Una entropía menor indica una mayor alineación con la modalidad.
• Umbralización Relativa: En lugar de seleccionar un top-$k$ fijo, el método ordena los expertos por entropía ascendente ($H_1 \le H_2 \le \dots \le H_E$) y selecciona un conjunto dinámico $E_k$ donde la brecha de entropía respecto al mejor experto está dentro de un umbral $\tau$ independiente de la modalidad:
  $$E_k = \{e_j \mid H_j - H_1 < \tau\}$$
  Esto asegura que la selección incluya a los expertos que son casi tan confiables como el mejor, mientras excluye a aquellos claramente desajustados.
• Ponderación por Entropía Inversa: Los expertos seleccionados se ponderan utilizando la entropía inversa ($w_e \propto 1/\exp(H(p_e))$) en lugar de softmax, lo que captura mejor las diferencias de confianza relativa.

B. Adaptación Bayesiana de Expertos (EBA)

Una vez enrutados los expertos, MoBE adapta sus predicciones en línea sin actualizar los pesos del esqueleto o de los expertos. Cada experto seleccionado mantiene dos variables de memoria persistentes actualizadas mediante medias móviles exponenciales (EMA) a través del flujo de prueba:

1. Prototipos de Clase ($\mu_{e,c}$): Representantes móviles de las características de clase, inicializados a partir de embeddings de texto preentrenados.
2. Priors de Clase ($\Pi_e$): Una distribución que captura la tendencia histórica del experto a predecir clases específicas.

Actualizaciones con Filtro de Confianza:

• Actualización de Prototipo: Se activa cuando la confianza posterior supera un umbral $\theta_1$. El prototipo de la clase predicha se actualiza promediándolo con la característica de la entrada actual.
• Actualización de Prior: Se activa con un umbral de confianza más alto $\theta_2$. El prior de la clase se actualiza utilizando la probabilidad posterior actual.
• Predicción Final: El sistema combina los logits enrutados por entropía con los logits adaptados por el método Bayesiano ($s_{final} = (1-\lambda)s + \lambda s_{EBA}$), permitiendo que el modelo se alinee con la distribución objetivo preservando la estructura semántica preentrenada.

3. Contribuciones Clave

1. Identificación del Dilema: El artículo revela el "dilema de especialización-generalización" que obstaculiza la adaptación de modalidades en el tiempo de prueba en los MVLM, donde la fusión estática o la dependencia de un solo experto fallan bajo cambios de distribución.
2. Marco de Trabajo MoBE: Introducción de un marco de inferencia totalmente libre de optimización que une el enrutamiento dinámico de expertos con la adaptación bayesiana por experto, permitiendo actualizaciones de confianza en línea y alineación de prototipos sin retropropagación.
3. Validación Empírica: Demostración de ganancias consistentes de estado del arte en benchmarks médicos estándar (MedMNIST, Med-VTAB) y heterogéneos, probando que la especialización de expertos sin entrenamiento permite una generalización de modalidad robusta.

4. Resultados Experimentales

Los autores evaluaron MoBE frente a métodos de TTA de última generación (TENT, EATA, TPT, TDA, MoME) y líneas base de aprendizaje de prompts (CoOp, CoCoOp) en 11 conjuntos de datos que abarcan 9 modalidades de imagen (Rayos X, TC, RM, Ultrasonido, Patología, etc.).

• Modalidades Vistas: En el benchmark combinado MedMNIST+Med-VTAB, MoBE alcanzó una precisión promedio del 43.41%, superando a la línea base BiomedCLIP (33.00%) y al método de optimización MoME (38.69%). Se observaron ganancias notables en BreastMNIST (73.08%).
• Modalidades No Vistas: En escenarios donde las modalidades de prueba no fueron vistas durante el preentrenamiento de los expertos, MoBE mejoró significativamente la precisión promedio a 38.16%, comparado con el 20.49% de BiomedCLIP y el 30.99% de MoME.
• Benchmarks Heterogéneos: En un conjunto diverso de 11 datasets que cubren 10 órganos y 9 modalidades, MoBE logró la mayor precisión promedio (46.49%), superando a TDA (42.19%).
• Eficiencia: A diferencia de los métodos basados en optimización (p. ej., MoME) que requieren retropropagación, MoBE es solo de inferencia. Aunque incurre en un costo computacional mayor que un modelo congelado simple debido a múltiples pasadas hacia adelante, evita la pesada carga de la adaptación basada en gradientes (p. ej., MoME toma ~13 minutos frente a los ~11 minutos de MoBE para el mismo dataset, pero MoBE logra una mayor precisión).

5. Significado y Reivindicaciones

El artículo sostiene que MoBE aborda eficazmente la brecha de fiabilidad en el despliegue clínico al permitir que los MVLM se adapten a los cambios de distribución sin requerir reentrenamiento o acceso a datos de origen. Al enmarcar el problema a través del enrutamiento de expertos y la adaptación bayesiana, los autores demuestran que:

• La adaptación sin entrenamiento es viable: Se puede lograr una generalización robusta sin actualizaciones de gradiente, lo que hace que el enfoque sea adecuado para entornos donde la retropropagación es inviable.
• El enrutamiento dinámico es superior a la selección estática: El enfoque dinámico guiado por entropía supera la selección de top-k fijo y la fusión uniforme, equilibrando eficazmente la compensación entre especialización y generalización.
• Las estadísticas en línea son importantes: Mantener y actualizar los prototipos de clase y los priors permite que los expertos se adapten a la evolución de la distribución de prueba, corrigiendo el desajuste de centroides y los cambios de prior.

Los autores reconocen que MoBE incurre en una mayor latencia de inferencia que un modelo congelado único debido a la necesidad de múltiples pasadas hacia adelante de los expertos. Sugieren que el trabajo futuro debería centrarse en reducir esta carga mediante técnicas de enrutamiento de salida temprana, poda o destilación, y en mejorar la robustez cuando el banco de expertos disponible no cubre totalmente la distribución de prueba.