Adapting 2D Multi-Modal Large Language Model for 3D CT Image Analysis

Titolo

Adattamento di un Modello Linguistico Multimodale (MLLM) 2D per l'Analisi di Immagini Mediche 3D

1. Il Problema

L'analisi delle immagini mediche 3D (come TAC e risonanza magnetica) è cruciale per la diagnosi e il trattamento, ma presenta sfide significative nell'ambito dei Modelli Linguistici Multimodali (MLLM):

• Divario di Dominio e Scarsità di Dati: I modelli MLLM esistenti sono pre-addestrati su enormi dataset di immagini 2D naturali e testo. Adattarli alle immagini mediche 3D è difficile perché i dati medici 3D annotati sono estremamente scarsi (ordini di grandezza inferiori rispetto ai dati naturali), portando a encoder visivi pre-addestrati da zero con capacità percettive limitate.
• Incapacità di Adattamento 2D-3D: I modelli basati su immagini 2D non possono catturare efficacemente le informazioni spaziali volumetriche 3D. Le soluzioni attuali che selezionano solo "fette" chiave (slice) delle immagini 3D sacrificano il contesto volumetrico.
• Mancanza di Specificità per il Compito: Le immagini mediche richiedono caratteristiche diverse a seconda del compito: la Generazione di Referti Medici (MRG) necessita di una visione globale dell'immagine, mentre il Risposta a Domande Visive Mediche (MVQA) si concentra su regioni specifiche. I metodi attuali estraggono le stesse caratteristiche per entrambi i compiti, limitando le prestazioni.

2. Metodologia Proposta

Gli autori propongono un nuovo framework che adatta un MLLM 2D pre-addestrato (addestrato su immagini naturali) per gestire input volumetrici 3D, mantenendo i parametri pre-addestrati e migliorando l'estrazione delle caratteristiche.

A. Adattamento dell'Encoder Visivo da 2D a 3D

Invece di addestrare un encoder 3D da zero, il metodo riutilizza un encoder ViT (Vision Transformer) 2D pre-addestrato, modificandolo strategicamente:

• Patch Embedding: Un volume 3D viene trattato come una sequenza di fette 2D. Lo strato di embedding delle patch viene modificato per gestire l'input 3D (ridimensionando il volume in una sequenza di fette 3D).
• Posizionalità: Viene aggiunto il Rotary Positional Embedding (RoPE) agli strati di attenzione per distinguere le posizioni lungo la dimensione di profondità (D), oltre alle dimensioni H e W.
• Attenzione Ibrida: Gli strati inferiori dell'encoder (che catturano dettagli locali) mantengono l'attenzione 2D originale. Gli strati superiori (che catturano informazioni globali) vengono modificati in blocchi di attenzione 3D per estrarre informazioni volumetriche.
• Vantaggi: Questo approccio eredita la forte capacità percettiva del pre-addestramento su immagini naturali, non introduce nuovi parametri apprendibili e riduce i costi computazionali rispetto a un'attenzione 3D completa.

B. Framework TGH-MoE (Text-Guided Hierarchical Mixture of Experts)

Per risolvere il problema della variabilità dei compiti (MRG vs MVQA), viene introdotto un meccanismo di Mixture of Experts (MoE) gerarchico e guidato dal testo:

• Livello Task (Task-level MoE): Un router utilizza le caratteristiche del prompt di testo per determinare il tipo di compito (MRG o MVQA). In base a questo, instrada tutti i token dell'immagine verso un "esperto" specifico dedicato a quel compito.
• Livello Token (Token-level MoE): All'interno di ogni esperto specifico per il compito, un secondo livello di MoE instrada i singoli token dell'immagine verso diversi sottoreti (esperti) per creare un percorso sparso e più potente.
• Router Rigido (Hard Router): Viene utilizzato un router "rigido" (binario) per assegnare compiti specifici a esperti specifici, evitando interferenze di ottimizzazione durante l'addestramento multi-task.

C. Strategia di Addestramento in Due Fasi

Per garantire che il modello impari sia caratteristiche condivise che specifiche, viene proposta una strategia di addestramento in due stadi:

1. Fase 1 (Caratteristiche Condivise): Si addestra il modello utilizzando solo il MoE a livello di token (senza il routing per task). Questo forza MRG e MVQA a condividere le stesse caratteristiche visive di base, permettendo all'encoder di apprendere rappresentazioni comuni robuste.
2. Fase 2 (Caratteristiche Specifiche): Si inizializzano gli esperti specifici per il task copiando il MoE della Fase 1. Si attiva il Task-level MoE e si addestra il router per distinguere i compiti. In questa fase, l'LLM viene congelato e si ottimizza solo l'encoder visivo e il connettore per apprendere le caratteristiche discriminative specifiche per ogni compito.

3. Risultati Sperimentali

Il metodo è stato valutato sul dataset M3D-Data, contenente oltre 100.000 campioni di referti e 430.000 domande VQA su immagini TAC 3D.

• Performance Superiori: Il metodo proposto supera gli stati dell'arte (SOTA) come M3D, Med3DVLM e RadFM in entrambi i compiti.
  • MVQA (Risposta a Domande): Raggiunge un'accuratezza del 81,06% sulle domande a scelta multipla, superando M3D (79,35%) di 1,71 punti percentuali. Migliora anche i punteggi BLEU e ROUGE per le domande aperte.
  • MRG (Generazione Referti): Ottiene i migliori punteggi in ROUGE-1, METEOR e BERT-Score, indicando una maggiore completezza clinica e qualità testuale rispetto ai modelli concorrenti, pur utilizzando un numero di parametri inferiore (4B contro 14B di RadFM).
• Studi di Ablazione:
  • L'adattamento 2D-3D è fondamentale: l'uso di un encoder puramente 2D o 3D non adattato porta a prestazioni inferiori.
  • La strategia a due stadi è cruciale: saltare la fase di apprendimento delle caratteristiche condivise degrada le prestazioni, specialmente nella generazione di referti.
  • Il router rigido nel TGH-MoE è superiore al router morbido, poiché previene l'interferenza tra i compiti.

4. Contributi Chiave

1. Adattamento Efficiente 2D-3D: Dimostrazione che un encoder ViT 2D pre-addestrato su immagini naturali, se adattato strategicamente, possiede una capacità percettiva superiore rispetto a un encoder 3D addestrato da zero su dati medici scarsi.
2. TGH-MoE: Introduzione di un meccanismo di esperti gerarchico guidato dal testo che distingue dinamicamente tra compiti di descrizione globale (MRG) e interrogazione locale (MVQA).
3. Strategia di Addestramento Ibrida: Sviluppo di una strategia in due fasi che risolve il conflitto tra l'apprendimento di rappresentazioni condivise e specializzate, ottimizzando l'uso dei dati medici limitati.
4. Riduzione dei Costi: Il metodo riutilizza parametri pre-addestrati e non richiede l'aggiunta di nuovi parametri apprendibili nell'encoder, rendendo l'addestramento più efficiente.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'intelligenza artificiale per la sanità. Dimostra che non è necessario addestrare modelli 3D da zero per ottenere prestazioni eccellenti; piuttosto, l'adattamento intelligente di modelli 2D maturi, combinato con meccanismi di routing dinamico per i compiti, può superare gli approcci attuali.
La capacità di generare referti accurati e rispondere a domande specifiche su volumi 3D con un unico modello apre la strada a strumenti di supporto decisionale più potenti per i radiologi, riducendo il carico di lavoro e migliorando l'efficienza diagnostica. Inoltre, la metodologia proposta offre una soluzione scalabile per l'integrazione di dati medici 3D in grandi modelli linguistici, superando la barriera della scarsità di dati annotati.