M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model

1. Il Problema: Ambiguità Informativa nei Modelli Fondamentali Medici (MFMs)

I Modelli Fondamentali Medici (MFMs) attuali mirano a imparare rappresentazioni universali da immagini mediche multimodali per generalizzare su diversi compiti clinici. Tuttavia, la maggior parte di questi modelli soffre di un problema fondamentale chiamato ambiguità informativa.

• Spazio di Embedding Unificato: I modelli esistenti utilizzano spesso un approccio di Contrastive Learning (CL) unificato, dove tutte le modalità (es. raggi X, fundus oculare, dermatoscopia, patologia) vengono mappate in un singolo spazio di embedding.
• Perdita di Specificità e Diversità: Questo approccio forza il modello a massimizzare l'informazione reciproca (Mutual Information - MI) tra le immagini aumentate in modo uniforme. Di conseguenza, il modello tende a imparare solo le caratteristiche semantiche condivise (ridondanza inter-modale) tra le diverse modalità, trascurando le differenze specifiche di ciascuna modalità.
• Conseguenze:
  • Bassa Specificità Inter-modale: Le rappresentazioni di modalità diverse si sovrappongono, rendendo difficile distinguere le caratteristiche uniche di ogni tipo di immagine (es. le irregolarità dei pigmenti nella dermatoscopia vs. le opacità nei raggi X).
  • Bassa Diversità Intra-modale: La capacità di discriminare sottili variazioni semantiche all'interno della stessa modalità (es. diverse stadi di una malattia) viene compromessa perché il modello è distratto dalle variazioni semantiche tra le modalità.

2. Metodologia: M-IDoL e Decomposizione dell'Informazione

Per risolvere l'ambiguità informativa, gli autori propongono M-IDoL, un modello fondazionale auto-supervisionato che introduce una strategia di Decomposizione dell'Informazione. L'obiettivo è separare esplicitamente la ridondanza condivisa dalle informazioni specifiche di ciascuna modalità.

A. Formulazione Teorica

Invece di massimizzare direttamente l'informazione reciproca trivariata $I(X; Y; Z)$ (che è difficile da stimare), M-IDoL decompone l'obiettivo di apprendimento in due termini basati sull'entropia:

1. Massimizzazione dell'Entropia Inter-modale ($H(X|Z)$):
   • Obiettivo: Assicurare che la rappresentazione $X$ (di una modalità) contenga informazioni che non sono prevedibili dalle rappresentazioni $Z$ di altre modalità.
   • Effetto: Spinge il modello a disperdere le rappresentazioni in spazi separati, migliorando la specificità tra le modalità.
2. Minimizzazione dell'Incertezza Intra-modale ($H(X|Y, Z)$):
   • Obiettivo: Ridurre l'incertezza predittiva tra le viste aumentate ($X$ e $Y$) della stessa immagine, una volta controllato per le altre modalità ($Z$).
   • Effetto: Costringe il modello a concentrarsi sul ridurre il rumore dell'aumento dei dati e a preservare le caratteristiche semantiche fini all'interno della stessa modalità, migliorando la diversità intra-modale.

B. Architettura: Proiettore Mixture-of-Experts (MoE)

Per implementare questa decomposizione senza conoscere a priori l'etichetta della modalità (poiché i dati sono non etichettati), M-IDoL utilizza un proiettore MoE (Mixture-of-Experts) dopo il codificatore visivo.

• Router e Expert: Il proiettore contiene un router che assegna dinamicamente ogni immagine a uno specifico "expert" (specialista) tra $N$ disponibili. Ogni expert è progettato per specializzarsi in una specifica modalità latente.
• Loss di Coerenza di Routing ($L_{route}$): Per massimizzare $H(X|Z)$, viene introdotta una loss che forza le diverse viste aumentate della stessa immagine a essere instradate allo stesso expert, mentre le immagini di modalità diverse vengono instradate a expert diversi. Questo crea spazi di embedding separati per ogni modalità.
• Loss Contrastiva Intra-modale ($L_{cst}$): Per minimizzare $H(X|Y, Z)$, viene applicata una loss contrastiva (basata su InfoNCE) all'interno di ogni singolo spazio di expert. Questo "attira" le rappresentazioni della stessa modalità nello stesso sottospazio, riducendo l'incertezza causata dall'aumento dei dati e preservando i dettagli semantici fini.

La funzione di perdita totale è: $L_{M-IDoL} = L_{route} + L_{cst}$.

3. Contributi Chiave

1. Nuovo Paradigma di Decomposizione: Introduzione di un framework teorico che scompone l'apprendimento multimodale in entropia inter-modale e incertezza intra-modale, risolvendo il problema dell'ambiguità informativa nei CL unificati.
2. Architettura MoE Adattiva: Sviluppo di un proiettore MoE che apprende automaticamente a separare le modalità latenti senza bisogno di etichette di modalità durante il pre-addestramento, permettendo una specializzazione visiva adattiva.
3. Prestazioni Superiori: Il modello è stato pre-addestrato su 1,15 milioni di immagini mediche non etichettate, coprendo 5 modalità (Radiologia, Retinologia, Oftalmologia, Dermatologia, Istopatologia).

4. Risultati Sperimentali

M-IDoL è stato valutato su 21 dataset downstream attraverso 5 modalità di imaging.

• Confronto con Modelli Specifici per Modalità: M-IDoL ha ottenuto prestazioni superiori o competitive rispetto a modelli pre-addestrati specificamente per una singola modalità (es. RETFound per il fundus, Virchow per la patologia). Ad esempio, ha superato RETFound e MIRAGE nei task diagnostici di fundus e OCT, dimostrando che un modello unificato può apprendere rappresentazioni tanto specifiche quanto quelle specializzate.
• Confronto con MFMs Unificati: Ha superato significativamente (p < 0.05) altri modelli fondazionali unificati come UniMed, LVM-Med, CoSMIC e MedCoss sulla maggior parte dei dataset. In particolare, ha mostrato un miglioramento superiore al 6% rispetto a UniMiss+, LVM-Med e UniMed.
• Visualizzazione (t-SNE): Le visualizzazioni degli spazi di embedding mostrano che, a differenza dei modelli unificati tradizionali che mescolano le modalità, M-IDoL produce cluster nettamente separati per modalità (alta specificità inter-modale) e sottoclustri ben definiti all'interno di ogni modalità (alta diversità intra-modale).

5. Significato e Impatto

Il lavoro di M-IDoL rappresenta un passo avanti significativo nell'ambito dell'Intelligenza Artificiale in ambito medico:

• Superamento del Compromesso (Trade-off): Dimostra che non è necessario scegliere tra un modello unificato (che generalizza bene ma perde dettagli) e modelli specifici (che sono dettagliati ma non scalabili). M-IDoL ottiene il meglio di entrambi i mondi.
• Efficienza Computazionale: A differenza di approcci precedenti che richiedono pre-addestramento multi-stadio o apprendimento continuo costoso per gestire le modalità, M-IDoL risolve il problema in un'unica fase di pre-addestramento unificato grazie alla decomposizione dell'informazione.
• Generalizzazione Clinica: La capacità di apprendere rappresentazioni specifiche e diversificate rende il modello più robusto per compiti clinici reali che richiedono una diagnosi fine-granulare, migliorando potenzialmente l'affidabilità degli strumenti di supporto decisionale medico su diverse tipologie di esami.

In sintesi, M-IDoL risolve il problema della "confusione" tra modalità diverse nei modelli fondazionali, fornendo un framework scalabile ed efficace per l'analisi di immagini mediche eterogenee.