Resumen Técnico: TIER-MoE

Planteamiento del Problema

La clasificación biomédica multimodal tiene como objetivo mejorar el diagnóstico y el pronóstico de enfermedades combinando evidencia complementaria de diversas fuentes (por ejemplo, RM, DTI, metadatos clínicos). Sin embargo, los métodos de fusión existentes enfrentan un compromiso fundamental entre fiabilidad y complementariedad.

Los enfoques actuales suelen fallar al distinguir entre dos escenarios distintos:

1. Una modalidad que es genuinamente poco fiable para un sujeto específico.
2. Una modalidad que es débil de forma aislada, pero que proporciona información única y no redundante cuando se fusiona.

Las arquitecturas de fusión estándar (por ejemplo, modelos con compuertas o mecanismos de atención) tienden a depender excesivamente de las modalidades globalmente dominantes, descartando potencialmente la evidencia más débil pero complementaria. Por el contrario, los métodos de fusión adaptativos que utilizan puntuaciones de incertidumbre, calidad o confianza no predicen directamente la pérdida de predicción esperada que una modalidad específica incurrirá en un dato dado. Además, los modelos de Mezcla de Expertos (MoE) existentes a menudo desacoplan la fiabilidad de la modalidad de la especialización del experto, fallando al no dirigir la evidencia hacia los expertos cuyos subespacios son más adecuados para procesarla.

Metodología: TIER-MoE

Los autores proponen TIER-MoE (Trust-Informed Expert Routing via Conditional Modality Risk), un marco jerárquico que integra la estimación del riesgo de la modalidad específica del sujeto con la afinidad del subespacio del experto para un enrutamiento disperso. La arquitectura consta de tres componentes principales:

1. Riesgo de Modalidad Condicional de Ajuste Cruzado

La innovación central es definir la fiabilidad de la modalidad específica de la muestra no como una puntuación de calidad estática, sino como la pérdida de predicción esperada condicional de un predictor unimodal para ese sujeto específico.

• Definición de Riesgo: $R_m(V_i) = E[L_{i,m} | V_i]$, donde $L_{i,m}$ es la pérdida del predictor unimodal para la modalidad $m$ en el sujeto $i$.
• Objetivos Honstos con las Etiquetas: Para evitar la fuga de datos, los objetivos de riesgo se derivan de predicciones Fuera de la Muestra (OOF). Los modelos se entrenan en todos los sujetos excepto en el sujeto objetivo, y sus predicciones calibradas generan la pérdida de Brier realizada que se utiliza como la verdad de terreno para la estimación del riesgo.
• Estimador: Una red neuronal compartida sensible a la máscara estima este riesgo basándose en la evidencia local (distribuciones calibradas, incertidumbre, indicadores de calidad) y el contexto agrupado de todas las modalidades disponibles.
• Recalibración: Se ajusta un mapa monotónico de baja capacidad en el conjunto de validación para corregir el desplazamiento entre las estimaciones OOF y las predicciones del modelo reajustado final.

2. Anclaje de Fiabilidad

Los riesgos estimados forman un "anclaje de fiabilidad" que genera una predicción unimodal ponderada por el riesgo ($p^{rel}_i$). Esta rama asegura que la evidencia unimodal dependiente se preserve y no se descarte, actuando como una base que evita que la fusión funcione peor que la mejor modalidad individual.

3. Enrutamiento de Expertos por Subespacio Guiado por Riesgo

Paralelamente al anclaje de fiabilidad, el modelo emplea un mecanismo de MoE disperso para capturar interacciones cross-modales:

• Camino Compartido: Se computa una representación compartida siempre activa ($h^{shared}_i$) mediante autoatención con máscara, manteniendo la interacción cross-modal independientemente de las decisiones de enrutamiento.
• Subespacios de Expertos: Un banco de $E$ expertos está asociado con subespacios de bajo rango ($B_e$).
• Puntuación de Compatibilidad: Una puntuación de compatibilidad ($\psi_{i,m,e}$) mide la afinidad entre un token de modalidad y el subespacio de un experto.
• Criterio de Enrutamiento Conjunto: La decisión de enrutamiento combina la compatibilidad con el riesgo condicional:
  $$G_{i,m,e} = \psi_{i,m,e} - \eta \hat{R}_{i,m}$$
  donde $\eta$ controla la penalización por riesgo. Las rutas se seleccionan solo si la puntuación es positiva, y se eligen las $K$ mejores rutas. Esto asegura que una modalidad moderadamente riesgosa aún pueda ser enrutada si se alinea fuertemente con un experto adecuado, mientras que las modalidades de bajo riesgo no se ven forzadas hacia expertos no aptos.
• Corrección Dispersa: Los expertos seleccionados procesan sus modalidades asignadas a través de transformaciones residuales de bajo rango. Estos residuales se añaden a la representación compartida para formar la predicción de interacción ($p^{int}_i$).

4. Predicción Final

La salida final es una combinación convexa del anclaje de fiabilidad y la rama de interacción:
$$p^{final}_i = (1-\gamma)p^{rel}_i + \gamma p^{int}_i$$
donde $\gamma$ es un coeficiente bloqueado en la validación.

Contribuciones Clave

1. Formulación de Fiabilidad Basada en la Tarea: Los autores formulan la fiabilidad de la modalidad como la pérdida de predicción esperada condicional de un predictor unimodal, aprendida directamente de las predicciones OOF a nivel de sujeto. Esto proporciona una medida de fiabilidad directa y evaluable frente a errores en datos no vistos.
2. Mecanismo de Enrutamiento Integrado: TIER-MoE introduce una estrategia de enrutamiento que acopla conjuntamente el riesgo de la modalidad condicional con la afinidad del subespacio del experto. Este diseño preserva la evidencia unimodal fiable mientras retiene el valor complementario de las modalidades más débiles a través de un camino compartido y residuales de expertos dispersos.
3. Evaluación Exhaustiva: El marco se evalúa en cuatro cohortes biomédicas (ADNI, OASIS-3, PAD-UFES-20, FPRM) que cubren la enfermedad de Alzheimer, malignidad de lesiones cutáneas y clasificación de retina.

Resultados

Los experimentos demuestran la superioridad de TIER-MoE sobre los estados del arte de referencia (incluyendo GMU, QMF, PDF, Flex-MoE e I2MoE) en múltiples métricas:

• Rendimiento In-Domain: TIER-MoE logró los mejores valores de Macro-F1 y puntuaciones de Brier en los tres conjuntos de datos in-domain. En ADNI, mejoró el Macro-F1 en 3.4 puntos porcentuales respecto al comparador publicado más fuerte.
• Calibración de Riesgo: El riesgo condicional estimado mostró una concordancia superior con las pérdidas de Brier unimodales realizadas (menor ERCE, mayor correlación de Spearman) y una mejor discriminación de casos de alta pérdida en comparación con las bases de incertidumbre o calidad.
• Robustez: Bajo condiciones de degradación de modalidad, ausencia de datos y conflicto cross-modal, TIER-MoE mantuvo una mayor retención de rendimiento y redujo significativamente la "Tasa de Daño" (la proporción de predicciones fusionadas incorrectas cuando al menos un predictor unimodal era correcto).
• Generalización Zero-Shot: Sin adaptación, TIER-MoE se transfirió eficazmente a la cohorte externa OASIS-3, logrando la mejor precisión balanceada y calibración de probabilidad. Crucialmente, la semántica de riesgo aprendida (calibración y discriminación) se mantuvo válida bajo este cambio de cohorte.
• Estudios de Ablación: Eliminar ya sea el enrutamiento guiado por riesgo o la supervisión OOF resultó en caídas de rendimiento mensurables, confirmando que tanto el enrutamiento condicionado por riesgo como la supervisión OOF honesta con las etiquetas son necesarios para el éxito del modelo.

Significado

El artículo argumenta que la fiabilidad de la modalidad, la complementariedad cross-modal y la compatibilidad del experto son factores distintos pero coordinados en la fusión multimodal. Al desacoplar estos factores y modelarlos explícitamente —usando el riesgo derivado de OOF para la fiabilidad, la afinidad de subespacio para la compatibilidad del experto y un camino compartido para la complementariedad— TIER-MoE aborda las limitaciones de los métodos de fusión existentes que confunden estos conceptos. Los resultados sugieren que definir la fiabilidad como la pérdida de predicción esperada, en lugar de la incertidumbre o la calidad, proporciona una base más robusta para la fusión adaptativa en datos biomédicos heterogéneos.