M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model

1. El Problema: Ambigüedad de Información en Modelos Fundacionales Médicos (MFMs)

Los Modelos Fundacionales Médicos (MFMs) actuales buscan aprender representaciones universales a partir de imágenes médicas multimodales (como radiografías, fondos de ojo, OCT, dermatoscopía y patología) para generalizar en diversas tareas clínicas. Sin embargo, el enfoque predominante utiliza Aprendizaje Contrastivo Unificado (CL), donde un solo modelo se optimiza sobre todas las modalidades simultáneamente maximizando la información mutua entre vistas aumentadas.

El artículo identifica un problema fundamental llamado ambigüedad de información:

• Falta de Especificidad Inter-modality: Al forzar todas las modalidades en un único espacio de incrustación bajo un objetivo uniforme, el modelo tiende a maximizar la información compartida (redundancia) entre modalidades, ignorando las características visuales únicas y específicas de cada una.
• Falta de Diversidad Intra-modality: La reducción uniforme de la incertidumbre predictiva a menudo elimina el ruido de aumento, pero también degrada la capacidad del modelo para discriminar matices semánticos finos dentro de una misma modalidad (por ejemplo, distinguir entre diferentes tipos de lesiones en dermatología).
• Consecuencia: Las representaciones resultantes son una mezcla difusa que no logra ni la separación clara entre modalidades ni la discriminación granular dentro de ellas, lo que limita el rendimiento en tareas de diagnóstico clínico de alta precisión.

2. Metodología: M-IDoL y Descomposición de Información

Para mitigar la ambigüedad, los autores proponen M-IDoL, un modelo auto-supervisado que introduce una estrategia de Descomposición de Información. En lugar de maximizar simplemente la información mutua entre vistas, M-IDoL descompone el objetivo de entrenamiento en dos metas basadas en la entropía, utilizando una arquitectura de Mezcla de Expertos (MoE).

A. Descomposición del Objetivo Teórico

El objetivo original de maximizar la información mutua $I(X; Y)$ se reformula para eliminar la redundancia compartida con otras modalidades ($Z$). Utilizando teoría de la información, el objetivo se descompone en:
$$\max I(X; Y) - I(X; Y; Z) \Rightarrow \max H(X|Z) - H(X|Y, Z)$$
Donde:

1. Maximizar la Entropía Inter-modality ($H(X|Z)$): Busca que la representación $X$ de una modalidad sea difícil de predecir a partir de las representaciones $Z$ de otras modalidades. Esto fuerza al modelo a aprender características específicas de cada modalidad.
2. Minimizar la Incertidumbre Intra-modality ($H(X|Y, Z)$): Busca reducir la incertidumbre entre vistas aumentadas de la misma imagen ($X$ e $Y$) condicionada a otras modalidades. Esto fuerza al modelo a aprender diversidad y discriminación semántica fina dentro de la misma modalidad, ignorando el ruido de aumento pero preservando la estructura específica.

B. Arquitectura y Mecanismos de Implementación

Para lograr esto sin etiquetas de modalidad explícitas, M-IDoL emplea un Proyector MoE (Mixture-of-Experts):

• Proyector MoE: Consta de un enrutador (router) y $N$ expertos (donde $N$ corresponde al número de modalidades). Cada experto está diseñado para especializarse en una modalidad latente.
• Pérdida de Consistencia de Enrutamiento ($L_{route}$): Para maximizar $H(X|Z)$, se introduce una pérdida que asegura que las vistas aumentadas de la misma imagen se asignen al mismo experto, mientras que imágenes de diferentes modalidades se asignen a expertos distintos. Esto empuja las representaciones a subespacios MoE separados, logrando la especificidad inter-modality. Se utiliza el algoritmo Sinkhorn-Knopp para equilibrar la asignación de expertos.
• Pérdida Contrastiva Intra-modality ($L_{cst}$): Para minimizar $H(X|Y, Z)$, se aplica una pérdida de contraste (InfoNCE) dentro de cada subespacio MoE. Esto acerca las representaciones de las vistas aumentadas de la misma imagen dentro de su subespacio asignado, reduciendo la incertidumbre causada por el ruido de aumento y mejorando la diversidad intra-modality.

El objetivo final es la suma de ambas pérdidas: $L_{M-IDoL} = L_{route} + L_{cst}$.

3. Contribuciones Clave

1. Propuesta de M-IDoL: Un nuevo modelo auto-supervisado que mitiga la ambigüedad de información en MFMs mediante la descomposición explícita de la redundancia multimodal.
2. Estrategia de Descomposición de Información: Un marco teórico que separa el aprendizaje en maximización de entropía inter-modality (especificidad) y minimización de incertidumbre intra-modality (diversidad), evitando la estimación inestable de información mutua multivariada.
3. Arquitectura MoE Adaptativa: Diseño de un proyector MoE que permite al codificador visual adaptarse y capturar la especificidad y diversidad de las modalidades sin necesidad de etiquetas previas de modalidad, superando las limitaciones de los enfoques unificados tradicionales.
4. Rendimiento Superior: Validación exhaustiva que demuestra que M-IDoL supera a los modelos de estado del arte (SOTA) tanto en modelos específicos por modalidad como en modelos fundacionales unificados.

4. Resultados Experimentales

El modelo fue pre-entrenado en 1.15 millones de imágenes médicas no etiquetadas cubriendo 5 modalidades: Retinología (Fondo de ojo), Radiología (Rayos X), Oftalmología (OCT), Histopatología y Dermatología.

• Evaluación en Tareas Descendentes: M-IDoL se evaluó en 21 conjuntos de datos de tareas clínicas diversas.
• Comparación con Modelos Específicos por Modalidad: En la mayoría de los casos, M-IDoL igualó o superó a modelos pre-entrenados exclusivamente en una sola modalidad (ej. RETFound para fondos de ojo, Virchow para patología), demostrando que la descomposición de información permite aprender características tan finas como los modelos especializados.
• Comparación con MFMs Unificados: Superó significativamente a otros modelos fundacionales unificados (como UniMed, LVM-Med, CoSMIC) en más del 6% en muchas tareas, y mostró mejoras estadísticamente significativas ($p < 0.05$) en la mayoría de los conjuntos de datos.
• Visualización (t-SNE): Las visualizaciones muestran que, a diferencia de los modelos unificados que mezclan las modalidades, M-IDoL logra una separación nítida de los clusters entre modalidades (especificidad) y una estructura de características más refinada dentro de cada cluster (diversidad).

5. Significado e Impacto

El trabajo de M-IDoL es significativo porque aborda una limitación fundamental en el aprendizaje de representaciones médicas multimodales: la tensión entre la generalización universal y la especificidad clínica.

• Paradigma de Entrenamiento: Demuestra que es posible entrenar un único modelo "generalista" que no sacrifique la precisión diagnóstica fina necesaria en medicina, eliminando la necesidad de entrenar múltiples modelos específicos o usar costosas estrategias de aprendizaje continuo.
• Eficiencia y Generalización: Al aprender representaciones que son simultáneamente específicas y diversas, M-IDoL ofrece una base más robusta para tareas clínicas críticas donde la distinción entre patologías similares es vital.
• Aporte Teórico: La introducción de la descomposición de información basada en entropía en el contexto de aprendizaje contrastivo ofrece una nueva dirección teórica para el manejo de datos heterogéneos en IA médica, yendo más allá de la simple fusión de características.

En resumen, M-IDoL establece un nuevo estado del arte en modelos fundacionales médicos al demostrar que la descomposición de la información es la clave para desbloquear tanto la especificidad de la modalidad como la diversidad semántica necesaria para aplicaciones clínicas de alto impacto.