Merlin: A Computed Tomography Vision-Language Foundation Model and Dataset

Il paper presenta Merlin, un modello fondazionale visione-linguaggio 3D addestrato su un vasto dataset clinico di scansioni TC addominali e dati sanitari, che supera i modelli esistenti nel comprendere volumi medici complessi e nel svolgere compiti diagnostici, prognostici e di generazione di report senza necessità di annotazioni manuali aggiuntive.

L'essenziale

🧙‍♂️ Merlin: Il "Mago" che legge le TAC come un Radiologo

Immagina di entrare in un ospedale dove i radiologi (i dottori che leggono le immagini mediche) sono stanchi, sovraccarichi di lavoro e in numero insufficiente. Ogni anno negli Stati Uniti vengono eseguite oltre 85 milioni di TAC (Tomografie Computerizzate), e quasi un quarto di queste riguarda l'addome. È come se dovessimo leggere milioni di libri di 300 pagine l'uno, ogni giorno, senza mai fermarci.

Per aiutare questi medici, gli scienziati di Stanford hanno creato Merlin. Non è un mago vero e proprio, ma un'intelligenza artificiale molto speciale, un "modello fondazionale" che può guardare un'intera TAC tridimensionale (3D) e capirla quasi come un umano.

Ecco come funziona, spiegato con delle analogie semplici:

1. Il Problema: Le TAC sono "Libri" Tridimensionali

Fino a poco tempo fa, le intelligenze artificiali mediche erano come persone che guardavano solo una pagina alla volta di un libro. Le TAC, però, sono come libri tridimensionali fatti di centinaia di "fette" (immagini 2D) impilate l'una sull'altra.

• I vecchi modelli: Guardavano una fetta alla volta, facevano una previsione, poi passavano alla successiva. Era come cercare di capire un film guardando solo fotogrammi isolati: si perdeva il contesto e la storia completa.
• Merlin: Guarda l'intero "libro" (l'intero volume 3D) tutto insieme, in un solo colpo d'occhio. Capisce la profondità e la relazione tra gli organi, proprio come un radiologo esperto.

2. L'Addestramento: Imparare senza "Imparare a memoria"

Di solito, per insegnare a un computer a riconoscere una malattia, serve un umano che etichetti manualmente migliaia di immagini (es: "qui c'è un tumore"). È costoso e lento.
Merlin ha imparato in modo diverso, usando un metodo chiamato Vision-Language (Visione-Linguaggio).

• L'analogia della biblioteca: Immagina che Merlin abbia letto milioni di TAC insieme ai loro rapporti scritti dai radiologi. Non ha bisogno che qualcuno gli dica "questo è un tumore". Ha imparato collegando automaticamente l'immagine (la TAC) con le parole del rapporto (il testo).
• Il segreto: Ha usato anche i dati strutturati dell'ospedale (i codici di diagnosi, come quelli che si usano per il fatturato). È come se avesse letto sia il libro illustrato (la TAC) che il diario del paziente (i dati clinici) per capire la storia completa.

3. Cosa sa fare Merlin? (I suoi superpoteri)

Merlin non è specializzato in una sola cosa, è un "tuttofare" (un modello fondazionale). Ecco cosa può fare:

• Il Detective Zero-Shot (Senza addestramento specifico): Se gli chiedi "C'è dell'acqua nei polmoni?" (versamento pleurico), Merlin lo sa dire subito, anche se non è stato addestrato specificamente per quella domanda. È come se avesse imparato il concetto di "acqua" e "polmoni" e potesse applicarlo a qualsiasi nuova domanda.
• Il Previsionista: Può guardare una TAC di un paziente sano oggi e dire: "Tra 5 anni, c'è un'alta probabilità che questa persona sviluppi il diabete o problemi cardiaci". È come vedere i primi segni di una tempesta prima che arrivi.
• Il Segretario: Può scrivere la bozza del rapporto medico per il radiologo, descrivendo cosa vede negli organi.
• Il Cartografo: Può disegnare i contorni precisi di 20 organi diversi (fegato, reni, ecc.) direttamente sull'immagine 3D, come se stesse colorando una mappa.

4. Perché è così speciale?

La maggior parte delle intelligenze artificiali mediche attuali sono come specialisti monodimensionali: bravi a fare una cosa sola (es. solo trovare noduli al polmone). Se vuoi farne fare un'altra, devi ricominciare da zero.
Merlin è come un polimata: un genio che sa fare tutto.

• Risparmia energia: È stato addestrato su un singolo computer potente (una GPU), il che significa che anche ospedali più piccoli potrebbero, in teoria, creare i propri modelli simili senza spendere milioni di dollari.
• È robusto: È stato testato su dati provenienti da ospedali diversi, con macchine diverse e pazienti diversi. Funziona bene anche quando le condizioni cambiano (come un viaggiatore che sa adattarsi a nuovi climi).

5. Il Risultato

Il team ha dimostrato che Merlin è migliore di tutti i modelli precedenti, sia che si tratti di riconoscere malattie, prevedere rischi futuri o segmentare organi.
In pratica, Merlin non vuole sostituire i radiologi, ma togliere loro il peso delle montagne di lavoro noioso, permettendo loro di concentrarsi sui casi più complessi e sulla cura del paziente.

In sintesi

Merlin è come un assistente magico che ha letto milioni di libri di medicina e guardato milioni di TAC. Ora, invece di farti aspettare ore per un referto, può darti un'analisi rapida, precisa e completa, aiutando i medici a salvare più vite e a lavorare meglio. E la cosa più bella? Hanno reso tutto gratuito: il codice, i dati e il modello sono disponibili per chiunque voglia usarli per migliorare la medicina.

Sommario tecnico

Titolo

Merlin: Un Modello Fondamentale Vision-Language per la Tomografia Computerizzata (CT) e il Dataset Correlato

1. Il Problema

La Tomografia Computerizzata (CT) è uno strumento diagnostico cruciale, con oltre 85 milioni di esami eseguiti annualmente negli Stati Uniti (circa un quarto dei quali focalizzati sull'addome). Tuttavia, l'interpretazione di queste scansioni 3D è complessa e richiede tempo (fino a 20 minuti per esame), aggravando la carenza globale di radiologi.
Le attuali soluzioni di Intelligenza Artificiale (AI) presentano diverse limitazioni:

• Limitazione 2D: La maggior parte dei modelli Vision-Language (VLM) esistenti opera su immagini 2D o aggrega fette 2D in modo inefficiente, fallendo nel catturare le correlazioni volumetriche 3D essenziali per l'anatomia medica.
• Dipendenza da annotazioni manuali: I modelli tradizionali richiedono etichette cliniche costose e laboriose.
• Sfruttamento limitato dei dati: I modelli attuali non sfruttano appieno le fonti di supervisione disponibili negli ospedali, come i codici diagnostici strutturati delle Cartelle Cliniche Elettroniche (EHR) e i rapporti radiologici non strutturati.
• Mancanza di benchmark: Esiste una carenza di valutazioni sistematiche per i modelli 3D su una vasta gamma di compiti clinici.

2. Metodologia

Il team ha sviluppato Merlin, un modello fondamentale (foundation model) Vision-Language progettato specificamente per le scansioni CT addominali 3D.

Dataset

Il modello è stato addestrato su un dataset clinico di alta qualità, privo di informazioni personali (de-identificato), comprendente:

• Immagini: 6,38 milioni di immagini 2D estratte da 15.331 scansioni CT addominali.
• Testo: 6+ milioni di token provenienti dai rapporti radiologici (sezione "Findings").
• Dati Strutturati: 1,8+ milioni di codici diagnostici ICD (EHR) associati ai pazienti.
• Preprocessing: Le scansioni CT sono state riorientate, ricampionate (1.5mm in piano, 3mm fuori piano) e normalizzate. I rapporti sono stati suddivisi in sezioni anatomiche per un apprendimento contrastivo più fine.

Architettura e Addestramento

• Encoder Visivo: Utilizza una ResNet152 3D "inflata" (I3D), che riutilizza i pesi pre-addestrati su ImageNet estendendoli alla terza dimensione. Questo permette di processare l'intero volume 3D in un'unica passata, a differenza dei metodi slice-by-slice.
• Encoder Testuale: Utilizza Clinical Longformer, scelto per la sua capacità di gestire sequenze lunghe (fino a 4096 token), necessarie per i rapporti radiologici completi.
• Strategia di Addestramento:
  • Apprendimento Multi-Task: Il modello viene addestrato simultaneamente su due compiti di supervisione:
    1. Classificazione Fenotipica (EHR): Utilizzo dei codici ICD come etichette binarie (presenza/assenza di una condizione) tramite Binary Cross-Entropy Loss.
    2. Apprendimento Contrastivo (Rapporti): Allineamento tra le rappresentazioni visive e testuali tramite InfoNCE Loss.
  • Efficienza Computazionale: Il modello è stato addestrato su una singola GPU NVIDIA A6000, dimostrando che è possibile sviluppare modelli fondazionali anche con risorse computazionali limitate.

3. Contributi Chiave

1. Primo VLM 3D per CT Addominali: Merlin è in grado di elaborare interi volumi 3D, superando le limitazioni dei modelli 2D o 2D-to-3D "lifted".
2. Sfruttamento dei Dati Clinici Esistenti: Integra supervisione sia da dati strutturati (EHR) che non strutturati (rapporti), eliminando la necessità di annotazioni manuali aggiuntive.
3. Valutazione Completa: Il modello è stato valutato su 6 tipi di compiti e 752 task individuali, coprendo scenari "zero-shot" (senza adattamento) e compiti adattati (fine-tuning).
4. Dataset e Codice Open Source: Il team ha rilasciato il modello, il codice e il dataset "Merlin Abdominal CT", revisionato manualmente per garantire la privacy.
5. Leggi di Scalabilità dei Dati: Derivazione di leggi empiriche che guidano la quantità di dati necessaria per raggiungere specifici livelli di performance.

4. Risultati

Merlin è stato valutato su un set di test interno (5.137 CT) e su dataset esterni (44.098 CT da 3 siti diversi e dataset pubblici come VerSe e TotalSegmentator).

• Classificazione Zero-Shot (31 findings): Merlin ha ottenuto un punteggio F1 medio di 0.741 (interno) e 0.647 (esterno), superando significativamente i modelli 2D (OpenCLIP, BioMedCLIP) e i modelli 2D-to-3D.
• Classificazione dei Fenotipi (692 fenotipi): Ha raggiunto un AUROC medio di 0.812, con performance superiori al 0.85 per il 37% dei fenotipi.
• Recupero Cross-Modale: Nel recupero di rapporti basati su immagini (e viceversa), Merlin ha dimostrato prestazioni superiori di ordini di grandezza rispetto alle baseline, generalizzando anche a sezioni di testo non viste durante l'addestramento (es. "Impressions").
• Predizione di Malattie a 5 Anni: Nel prevedere l'insorgenza di 6 malattie croniche (es. diabete, CKD) in pazienti sani, Merlin ha superato i modelli basati solo su immagini (ImageNet) anche con solo il 10% dei dati etichettati.
• Generazione di Rapporti: Merlin genera rapporti radiologici con una struttura corretta, superando il modello di riferimento RadFM in metriche come RadGraph-F1 e BERT Score, sebbene tenda a sottostimare alcune findings positive.
• Segmentazione Semantica 3D: In scenari con pochi dati (10% di etichette), Merlin ha superato nnUNet (lo standard per la segmentazione) con un miglioramento del 4.7% nel punteggio Dice medio, dimostrando l'efficacia del pre-addestramento fondazionale.
• Generalizzazione Esterna: Merlin ha mantenuto performance robuste su dati esterni con distribuzioni diverse (diversi scanner, spessori di slice, demografia), superando i modelli specifici per CT toracici anche quando testato su CT toracici, pur essendo stato addestrato solo su CT addominali.

5. Significato e Impatto

Il lavoro di Merlin rappresenta un passo avanti significativo nell'AI medica:

• Democratizzazione dell'AI: Dimostra che ospedali e istituzioni di ricerca con risorse computazionali limitate possono addestrare propri modelli fondazionali di alta qualità.
• Superamento dei Limiti 2D: Conferma che l'elaborazione nativa 3D combinata con la supervisione linguistica è superiore ai metodi che aggregano fette 2D.
• Versatilità Clinica: Il modello non è limitato a un singolo compito, ma offre un'infrastruttura flessibile per diagnosi, prognosi, generazione di report e segmentazione.
• Scoperta di Biomarcatori: La capacità di estrarre insight da dati esistenti apre la strada alla scoperta di nuovi biomarcatori e alla stratificazione del rischio di malattie future.
• Riduzione del Carico di Lavoro: Merlin ha il potenziale per assistere i radiologi automatizzando la stesura di bozze di report, il recupero di casi simili e la codifica ICD, mitigando la carenza di personale.

In sintesi, Merlin stabilisce un nuovo stato dell'arte per l'interpretazione delle CT addominali, combinando efficacemente visione computerizzata 3D e comprensione del linguaggio naturale su larga scala clinica.