Cross-Scanner Reliability of Brain MRI Foundation Model Embeddings: A Travelling-Heads Study

Questo studio dimostra che l'affidabilità cross-scanner degli embedding di modelli fondazionali per la risonanza magnetica cerebrale dipende principalmente dalla strategia di preaddestramento, in quanto l'integrazione di metadati biologici negli obiettivi contrastivi produce rappresentazioni robuste, mentre i modelli puramente auto-supervisionati mostrano una scarsa riproducibilità dovuta a variazioni legate all'hardware.

L'essenziale

🧠 L'Esperimento: "Il Viaggio dei Cervelli"

Immagina di avere 20 persone con cervelli sani. Ora, immagina di far viaggiare ognuna di queste persone su otto diversi scanner per risonanza magnetica (come se fossero otto macchine fotografiche diverse, di marche diverse: Siemens, Philips, GE).

L'obiettivo dello studio è stato vedere cosa succede quando un'Intelligenza Artificiale (IA) guarda lo stesso cervello scattato da macchine diverse.

🤖 Cosa sono i "Foundation Models"?

Pensa ai Foundation Models come a dei super-cuochi che hanno imparato a cucinare guardando milioni di piatti diversi (milioni di scansioni cerebrali). Una volta addestrati, possono riconoscere ingredienti o stili culinari in nuovi piatti senza dover ricominciare da zero.

Nel nostro caso, questi "cuochi" non cucinano, ma analizzano il cervello. Quando guardano una risonanza, creano una "carta d'identità digitale" (chiamata embedding) che descrive il cervello in numeri.

🚨 Il Problema: L'Effetto "Firma della Macchina"

Il grande dubbio degli scienziati era questo:

"Quando l'IA guarda un cervello, vede davvero la biologia della persona (la sua età, la sua salute), o vede invece la 'firma' della macchina che ha fatto la foto?"

È come se un critico d'arte, guardando un quadro, dicesse: "Questo è un capolavoro!" solo perché il quadro è appeso su una parete blu, e non perché l'arte è bella. Se l'IA è "predisposta" a vedere la macchina invece della persona, le sue diagnosi potrebbero essere sbagliate.

🔍 Cosa hanno scoperto? (La Classifica)

Gli scienziati hanno testato 5 diversi "super-cuochi" (modelli di IA) e hanno confrontato i loro risultati con un metodo classico e collaudato (FreeSurfer, che è come un metro di misura tradizionale).

Ecco cosa è emerso, usando una metafora:

1. I "Viaggiatori Esperti" (I Modelli Migliori) 🏆

• Chi sono: AnatCL e y-Aware.
• La loro magia: Questi modelli sono stati addestrati non solo guardando le immagini, ma leggendone anche le "etichette biologiche" (come l'età della persona o le misure precise della corteccia cerebrale).
• Il risultato: Sono stati incredibilmente affidabili. Se guardavano lo stesso cervello su macchine diverse, riconoscevano che era lo stesso cervello al 97% di sicurezza.
• Analogia: Sono come un detective che riconosce un amico anche se lo vede sotto la pioggia, con un ombrello rosso o con un cappello blu. Riconosce la persona, non l'abbigliamento.

2. I "Principianti Ingenui" (I Modelli Peggiori) 📉

• Chi sono: BrainIAC, BrainSegFounder, 3D-Neuro-SimCLR.
• La loro magia: Questi modelli sono stati addestrati solo guardando le immagini, senza sapere nulla dell'età o della biologia (si chiamano "auto-supervisionati").
• Il risultato: Sono stati disastrosi. Quando cambiava macchina, l'IA pensava di vedere una persona diversa! La loro "carta d'identità digitale" cambiava completamente.
• Analogia: Sono come un turista che, se vede un amico con un cappello rosso, pensa che sia un amico diverso da quello che ha visto con un cappello blu. Non riconosce la persona, ma solo l'accessorio (o in questo caso, la macchina fotografica).

📊 La Scoperta Chiave: Non è la "Macchina", è il "Metodo di Studio"

Lo studio ha scoperto una cosa fondamentale: non importa quanto è potente il modello o quanto è grande il suo cervello digitale.

• Non conta se il modello è vecchio o nuovo.
• Non conta se è stato addestrato su 10.000 o 40.000 scansioni.
• Conta solo COME è stato addestrato.

Se l'IA viene "insegnata" a cercare la biologia (età, forma del cervello), diventa robusta e affidabile. Se viene lasciata a "indovinare" da sola guardando solo le immagini, impara a riconoscere le macchine invece delle persone.

💡 Perché è importante per te?

Immagina che in futuro, la tua risonanza magnetica venga analizzata da un'IA per prevedere malattie o l'invecchiamento del cervello.

• Se usi un modello "ingenuo" (come i peggiori della lista), potresti ricevere una diagnosi diversa solo perché sei andato in un ospedale con una macchina Siemens invece che con una Philips.
• Se usi un modello "esperto" (come AnatCL), la diagnosi sarà basata sul tuo cervello reale, indipendentemente da dove ti trovi.

🎯 Conclusione in una frase

Per far sì che l'Intelligenza Artificiale sia un vero medico digitale, non basta farle vedere milioni di foto; bisogna insegnarle a guardare la biologia umana e non la macchina fotografica, altrimenti rischia di confondere il paziente con il suo ospedale.

Sommario tecnico

1. Il Problema

I modelli fondazione (Foundation Models - FMs) per la risonanza magnetica cerebrale (MRI) stanno diventando sempre più utilizzati come backbones pre-addestrati per compiti clinici come la previsione dell'età cerebrale, la classificazione delle malattie e il rilevamento di anomalie. Tuttavia, sorge una preoccupazione critica: se le rappresentazioni interne (embedding) di questi modelli si spostano sistematicamente a seconda dello scanner MRI utilizzato, le analisi downstream potrebbero riflettere l'hardware di acquisizione piuttosto che la biologia del paziente.
Finora, non esisteva uno studio che quantificasse sistematicamente la riproducibilità cross-scanner degli embedding dei FMs per la MRI cerebrale. La mancanza di tale valutazione rischia di introdurre bias nei risultati clinici e di ricerca, specialmente in studi multicentrici.

2. Metodologia

Lo studio ha adottato un approccio rigoroso basato su un disegno "Travelling-Heads" (testa viaggiante), in cui gli stessi individui vengono scansionati su più sistemi diversi.

• Dataset: È stato utilizzato il dataset ON-Harmony, che include 20 partecipanti sani (13 maschi, 7 femmine) scansionati su 8 scanner diversi (3 vendor: Siemens, Philips, GE) in 5 siti diversi nel Regno Unito. Il dataset comprende 165 sessioni di scansione T1w.
• Modelli Valutati: Sono stati valutati 5 modelli fondazione eterogenei per architettura e strategia di pre-addestramento, più un baseline convenzionale:
  1. BrainIAC: ViT-B, pre-addestrato con SimCLR (auto-supervisione pura) su ~32k scansioni.
  2. 3D-Neuro-SimCLR: ResNet-18, pre-addestrato con SimCLR su ~45k scansioni.
  3. y-Aware: DenseNet-121, pre-addestrato con una loss InfoNCE guidata dall'età (biologia).
  4. AnatCL: ResNet-18, pre-addestrato con una loss contrastiva combinata guidata dall'anatomia (morfometria corticale) e dall'età.
  5. BrainSegFounder: Swin Transformer, pre-addestrato con obiettivi di ricostruzione e contrasto su UK Biobank.
  6. FreeSurfer: Baseline morfometrica convenzionale (spessore corticale, volumi, superficie).
• Metriche di Affidabilità:
  • ICC (Coefficiente di Correlazione Intraclassa): Calcolato sia per la affidabilità tra scanner (ICC(2,1)) che entro lo stesso scanner (test-retest, ICC(3,1)).
  • Decomposizione della Varianza: Analisi ANOVA per quantificare la proporzione di varianza attribuibile al soggetto (biologia), allo scanner (tecnico) e al residuo.
  • Fingerprinting dello Scanner: Addestramento di un SVM per prevedere l'identità dello scanner dagli embedding.
  • Identificazione del Soggetto: Verifica della capacità di associare correttamente lo stesso soggetto tra scanner diversi tramite similarità coseno.
• Preprocessing: Sono state utilizzate pipeline specifiche per ciascun modello per garantire la fedeltà alla distribuzione di input originale durante l'inferenza (modelli "frozen", senza fine-tuning).

3. Risultati Chiave

I risultati hanno rivelato un ampio spettro di affidabilità, da eccellente a quasi nullo, dipendente principalmente dalla strategia di pre-addestramento.

• Affidabilità Cross-Scanner (ICC tra scanner):
  • Modelli Guidati dalla Biologia (AnatCL, y-Aware): Hanno mostrato un'eccellente affidabilità. AnatCL ha raggiunto un ICC mediano di 0.97 (superiore al baseline FreeSurfer con 0.93), con il 100% delle dimensioni dell'embedding che raggiungono un'affidabilità "buona" o "eccellente". y-Aware ha ottenuto un ICC di 0.81.
  • Modelli Auto-Supervisionati Puri (BrainIAC, BrainSegFounder, 3D-Neuro-SimCLR): Hanno mostrato un'affidabilità scarsa (ICC < 0.50). BrainIAC (0.45), BrainSegFounder (0.31) e 3D-Neuro-SimCLR (0.25) hanno fallito nel mantenere la coerenza tra scanner. In particolare, per 3D-Neuro-SimCLR e BrainSegFounder, la varianza attribuibile all'identità dello scanner (32% e 58% rispettivamente) superava quella attribuibile al soggetto.
• Fingerprinting e Identificazione:
  • I modelli affidabili (AnatCL, y-Aware, FreeSurfer) hanno permesso un'identificazione perfetta del soggetto (100%) tra scanner diversi, anche se presentavano ancora una certa capacità di fingerprinting dello scanner.
  • I modelli inaffidabili (BrainSegFounder, 3D-Neuro-SimCLR) hanno mostrato un'identificazione del soggetto molto bassa (62% e 49%) e un'altissima capacità di fingerprinting dello scanner (fino al 90%), indicando che gli embedding sono dominati dal rumore tecnico.
• Fattori Determinanti:
  • La strategia di pre-addestramento è il fattore più correlato all'affidabilità. L'inclusione di metadati biologici (età, morfometria) nell'obiettivo contrastivo ha prodotto embedding robusti.
  • Architettura (CNN vs Transformer), dimensionalità e scala del dataset di pre-addestramento non hanno predetto l'affidabilità. Ad esempio, AnatCL (3.984 scansioni) ha superato BrainIAC (32.015 scansioni) nonostante la scala molto inferiore.

4. Contributi Principali

1. Prima Valutazione Sistematica: Questo è il primo studio che utilizza un disegno "travelling-heads" per quantificare la riproducibilità cross-scanner degli embedding dei FMs per la MRI cerebrale.
2. Dimostrazione del Ruolo della Supervisione Biologica: Dimostra che l'auto-supervisione pura non è sufficiente per garantire l'invarianza allo scanner; l'ancoraggio a segnali biologici (età, morfometria) durante il pre-addestramento è cruciale per la robustezza.
3. Benchmark di Affidabilità: Fornisce valori di riferimento (ICC) per modelli specifici, mostrando che alcuni FMs attuali sono meno affidabili di misure morfometriche convenzionali o di stime dell'età cerebrale scalari.
4. Analisi della Varianza: Svela che per alcuni modelli (es. BrainSegFounder), la maggior parte della varianza nell'embedding è dovuta allo scanner, rendendo le rappresentazioni inutilizzabili per studi multicentrici senza correzioni.

5. Significato e Implicazioni

• Avvertenza per l'Uso Clinico: L'adozione di modelli fondazione "fuori dallo scaffale" (off-the-shelf) per compiti clinici multicentrici senza verifica della loro invarianza allo scanner può portare a conclusioni errate, dove i risultati riflettono l'hardware piuttosto che la patologia.
• Scelta del Modello: La selezione del modello di pre-addestramento è la decisione di design più critica per l'affidabilità multi-sito. Modelli come AnatCL e y-Aware sono candidati promettenti, mentre modelli puramente auto-supervisionati richiedono cautela.
• Necessità di Armonizzazione: Anche i modelli migliori (AnatCL) non sono completamente invarianti allo scanner (rimane una varianza dello scanner del ~12%). Pertanto, tecniche di armonizzazione post-hoc (es. ComBat) o obiettivi contrastivi consapevoli dello scanner rimangono necessari per l'implementazione clinica robusta.
• Limiti: Lo studio si basa su soggetti sani e su embedding "frozen". Il fine-tuning potrebbe alterare il profilo di affidabilità, ma i risultati sugli embedding pre-addestrati fungono da audit fondamentale per identificare bias intrinseci prima dell'adattamento.

In sintesi, il paper avverte che la semplice scalabilità dei modelli fondazione non garantisce la robustezza scientifica; la guida biologica durante l'addestramento è essenziale per garantire che le rappresentazioni apprese catturino la biologia cerebrale e non le firme degli scanner.