Cross-Scanner Reliability of Brain MRI Foundation Model Embeddings: A Travelling-Heads Study

Deze studie toont aan dat de cross-scanner betrouwbaarheid van embeddings van foundation modellen voor hersen-MRI sterk afhangt van de voortrainingsstrategie, waarbij modellen die biologische metadata integreren robuustere representaties opleveren dan puur zelftoezichtende modellen.

De kern

Stel je voor dat je een groep vrienden wilt vergelijken door hun stemmen op te nemen. Je gebruikt echter verschillende microfoons: één is een dure studio-microfoon, één is een oude telefoon, en één is een goedkope radio. Als je de opnames direct vergelijkt, klinkt het alsof je vrienden allemaal anders zijn, terwijl het eigenlijk alleen de microfoons zijn die verschillen.

Dit is precies het probleem dat deze studie onderzoekt, maar dan met hersenen en MRI-scanners.

Hier is een eenvoudige uitleg van wat de onderzoekers hebben gedaan en wat ze vonden, zonder moeilijke vaktermen:

Het Grote Probleem: De "Microfoon"-Effect

Vandaag de dag gebruiken artsen en wetenschappers slimme computerprogramma's (zogenaamde "Foundation Models") om MRI-schermen van hersenen te analyseren. Deze programma's proberen patronen te vinden die ziektes of ouderdom aangeven.

Maar er is een valkuil:

• Als je dezelfde persoon scannt op een Siemens-scanner en vervolgens op een GE-scanner, ziet de computer het beeld er anders uit.
• De vraag was: Ziet het slimme programma het verschil tussen de scanners, of ziet het alleen het verschil tussen de mensen?

Als het programma vooral het verschil tussen de scanners ziet, zijn de resultaten vals. Het is alsof je denkt dat je vriend ouder is geworden, terwijl hij eigenlijk alleen op een andere camera is gefotografeerd.

De Experimenten: De "Reizende Hoofden"

Om dit te testen, gebruikten de onderzoekers een heel slimme methode: de "Reizende Hoofden" (Travelling Heads).
Ze namen 20 gezonde mensen en lieten ze op 8 verschillende MRI-scanners in heel Engeland scannen.

• Hetzelfde hoofd, 8 keer, op 8 verschillende machines.
• Dit is als dezelfde zanger die 8 keer zingt in 8 verschillende zalen met 8 verschillende geluidssystemen.

Ze keken vervolgens of de slimme computerprogramma's de mens herkenden, of de zaal (de scanner).

De Resultaten: Wie deed het goed?

De onderzoekers testten 5 verschillende slimme programma's. De resultaten waren verrassend en verdeeld in twee kampen:

🏆 De Winnaars: De "Biologisch Getrainde" Programma's

Twee programma's (genaamd AnatCL en y-Aware) deden het fantastisch.

• Hoe werkt het? Deze programma's werden getraind met een speciale "biologische kompasnaald". Ze kregen tijdens hun training niet alleen plaatjes van hersenen, maar ook informatie over de mensen: "Deze hersenen horen bij iemand van 30 jaar" of "Deze hersenen hebben deze specifieke dikte".
• Het resultaat: Ze keken dwars door de verschillende scanners heen. Ze zagen de mens, niet de machine.
• Vergelijking: Ze waren zelfs beter dan de oude, standaard meetmethode (FreeSurfer). Het was alsof ze een bril droegen die alle ruis van de microfoon weghaalde en alleen de zanger hoorde.

📉 De Verliezers: De "Zelflerende" Programma's

De andere drie programma's (zoals BrainIAC en BrainSegFounder) deden het slecht.

• Hoe werkt het? Deze programma's leerden alleen door naar plaatjes te kijken zonder extra informatie (geen leeftijd, geen anatomie). Ze probeerden zelf patronen te vinden.
• Het resultaat: Ze werden "geobsedeerd" door de scanner. Ze leerden dat "Siemens" een bepaald soort ruis had en "GE" een andere. Als je ze een hersenbeeld gaf, konden ze vaak beter zeggen welke scanner het was dan wie de persoon was.
• Vergelijking: Het was alsof deze programma's luisterden naar de ruis van de microfoon in plaats van naar de zanger. Ze dachten dat de ruis van de Siemens-microfoon een ander persoon was dan de ruis van de GE-microfoon.

De Grote Les: Hoe je leert, is belangrijker dan wat je bent

De onderzoekers ontdekten iets heel belangrijks:
Het maakt niet uit of het programma een "Transformer" is of een "ResNet" (dat zijn de architectuur-achtige namen van de software). Het maakt ook niet uit hoeveel data ze hebben gebruikt.

Het enige dat telt, is hoe ze zijn getraind.

• Als je een programma leert met biologische informatie (leeftijd, vorm van de hersenen), wordt het robuust en betrouwbaar.
• Als je het alleen laat "gokken" op basis van plaatjes (zelflerend), leert het de verkeerde dingen (zoals de scanner-ruis).

Waarom is dit belangrijk voor jou?

Stel je voor dat deze programma's in de toekomst worden gebruikt om ziektes zoals Alzheimer te voorspellen.

• Als je een arts gebruikt die een "verliezer"-programma heeft, kan het zijn dat de arts denkt dat je ziek bent, alleen omdat je op een andere scanner hebt gezeten dan de patiënt in de database.
• Dit kan leiden tot verkeerde diagnoses of onnodige zorgen.

Conclusie

De boodschap van dit onderzoek is simpel: Slimme computerprogramma's voor hersenen zijn geweldig, maar ze moeten "biologisch getraind" zijn.

Als we ze niet de juiste "biologische kompasnaald" geven tijdens hun training, zullen ze blijven hangen in de technische details van de apparatuur in plaats van de echte menselijke biologie te begrijpen. Voor een betrouwbare diagnose in de toekomst, moeten we kiezen voor de programma's die leren wat echt belangrijk is: de mens, niet de machine.

Technische samenvatting

Probleemstelling

Foundation Models (FM's) voor hersen-MRI worden steeds vaker gebruikt als voorgeöordeelde backbones voor klinische taken zoals het voorspellen van hersenleeftijd, ziekteclassificatie en anomaliedetectie. Een kritiek punt dat echter onderbelicht blijft, is de herhaalbaarheid (reliability) van deze embeddings over verschillende MRI-scanners.

Als de interne representaties (embeddings) van een FM systematisch verschuiven afhankelijk van de gebruikte scanner (hardware, fabrikant), dan kunnen downstream analyses eerder de acquisitie-hardware weerspiegelen dan de onderliggende biologie. Hoewel er studies zijn die de stabiliteit van FM's onder synthetische verstoringen hebben getest, ontbreekt er een systematische benchmarking met een "reist-hoofden" (travelling-heads) ontwerp. Bij dit ontwerp worden dezelfde individuen op meerdere scanners gescand, wat essentieel is om biologische variatie te scheiden van technische variatie.

Methodologie

1. Dataset: ON-Harmony
De studie maakt gebruik van het ON-Harmony dataset, een openbare "reist-hoofden" resource voor 3T hersen-MRI.

• Deelnemers: 20 gezonde volwassenen (13 man, 7 vrouw; leeftijd 19-50).
• Setup: Elke deelnemer werd gescand op 6 verschillende 3T-scanners (uit een pool van 8) van drie grote fabrikanten (Siemens, Philips, GE) in Oxford en Nottingham.
• Data: Totaal 165 T1-gewogen (T1w) sessies. Dit omvat 120 tussen-scanner sessies en 45 binnen-scanner test-hertest sessies.

2. Geëvalueerde Modellen
Er werden vijf architectonisch diverse Foundation Models (FM's) getest in "frozen" modus (zonder fine-tuning), vergeleken met een conventionele FreeSurfer-morfometrische baseline:

• AnatCL: 3D ResNet-18, voorgetraind met een combinatie van anatomie-bewuste contrastieve learning (gebruikmakend van corticale morfometrie) en leeftijdsgebaseerde supervision.
• y-Aware: 3D DenseNet-121, voorgetraind met een leeftijdsgebaseerde InfoNCE-verliesfunctie.
• BrainIAC: 3D Vision Transformer (ViT-B), voorgetraind met SimCLR (pure self-supervision) op een groot, multimodaal dataset.
• 3D-Neuro-SimCLR: 3D ResNet-18, voorgetraind met SimCLR (pure self-supervision).
• BrainSegFounder: 3D Swin Transformer, voorgetraind met reconstructie-, rotatie- en contrastieve doelen op UK Biobank data.
• Baseline: FreeSurfer morfometrie (corticale dikte, oppervlakte, volume).

3. Evaluatiemetrics

• Intraclass Correlation Coefficient (ICC): Om de betrouwbaarheid te kwantificeren.
  • Tussen-scanner: ICC(2,1) om te meten hoe goed embeddings overeenkomen over verschillende scanners.
  • Binnen-scanner: ICC(3,1) voor test-hertest betrouwbaarheid.
• Variantie-decompositie: ANOVA-gebaseerde methode om de variantie in de embeddings te splitsen in: biologische (onderwerp), technische (scanner) en residu.
• Scanner Fingerprinting: Een SVM-classificator om te testen of de scanner-identiteit uit de embedding voorspelbaar is (hoge nauwkeurigheid = slechte invariance).
• Subject Identification: Kruis-scanner nearest-neighbor analyse om te zien of dezelfde persoon correct geïdentificeerd wordt ondanks scanner-wisseling.

Belangrijkste Resultaten

De resultaten tonen een duidelijk spectrum aan betrouwbaarheid, sterk afhankelijk van de pretraining-strategie en niet van de architectuur of datasetgrootte.

1. Betrouwbaarheidsspectrum (ICC tussen-scanner)

• Uitstekend: AnatCL behaalde de hoogste betrouwbaarheid (ICC = 0,97), zelfs hoger dan de FreeSurfer-baseline (ICC = 0,93). 100% van de dimensies was "goed" tot "uitstekend".
• Goed: y-Aware (ICC = 0,81) presteerde ook goed, maar lager dan AnatCL.
• Slecht: De pure self-supervised modellen presteerden slecht:
  • BrainIAC: ICC = 0,45 (64% van de dimensies slecht).
  • BrainSegFounder: ICC = 0,31 (93% slecht).
  • 3D-Neuro-SimCLR: ICC = 0,25 (91% slecht).

2. Variantie-decompositie

• AnatCL en FreeSurfer: De overgrote meerderheid van de variantie (>84%) is toe te schrijven aan biologische verschillen tussen onderwerpen. Scanner-variantie was laag (~12%).
• BrainSegFounder: De variantie werd gedomineerd door de scanner-identiteit (57,9%), wat betekent dat de embedding meer over de scanner vertelt dan over de patiënt.
• 3D-Neuro-SimCLR: Gedomineerd door residu-variantie (40,9%), met scanner-variantie (32%) die hoger was dan de subject-variantie (27%).

3. Fingerprinting en Identificatie

• Scanner Fingerprinting: Pure self-supervised modellen hadden een zeer hoge nauwkeurigheid in het voorspellen van de scanner (tot 90,9%), wat aangeeft dat ze sterke "scanner-kenmerken" hebben geleerd. AnatCL had de laagste nauwkeurigheid (45,5%), maar nog steeds boven het toevalsniveau.
• Subject Identificatie: AnatCL, y-Aware en FreeSurfer bereikten 100% nauwkeurigheid in het herkennen van dezelfde persoon over scanners heen. BrainIAC en 3D-Neuro-SimCLR presteerden hierin slecht (<65%).

4. Architectuur vs. Strategie

• Het verschil in betrouwbaarheid kon niet worden toegeschreven aan het modeltype (CNN vs. Transformer), de embedding-dimensie of de grootte van de pretraining-dataset.
• Bijvoorbeeld: AnatCL (ResNet-18, 3.984 scans) presteerde veel beter dan 3D-Neuro-SimCLR (ResNet-18, 44.958 scans).
• Conclusie: De pretraining-strategie (biologisch geleid vs. pure self-supervision) is de belangrijkste factor.

Bijdragen en Betekenis

1. Eerste systematische benchmark
Dit is de eerste studie die de cross-scanner betrouwbaarheid van FM-embeddings kwantificeert met een strikt "reist-hoofden" ontwerp. Het onthult dat veel populaire, pure self-supervised modellen ongeschikt zijn voor multi-site studies zonder aanpassing.

2. Het belang van biologische supervisie
De studie toont aan dat het integreren van biologische metadata (zoals leeftijd en corticale morfometrie) in de contrastieve loss-functie (zoals bij AnatCL) leidt tot embeddings die robuust zijn voor scanner-variatie. Pure self-supervised learning lijkt "shortcuts" te leren die afhankelijk zijn van de acquisitie-hardware.

3. Praktische implicaties

• Modelselectie: Voor multi-site studies is de keuze van het pre-trained model cruciaal. Het gebruik van een model met lage cross-scanner betrouwbaarheid kan leiden tot valse conclusies in downstream taken.
• Harmonisatie: Hoewel post-hoc harmonisatie (zoals ComBat) scanner-effecten kan verminderen, is het beter om te starten met een representatie die deze effecten niet bevat.
• Klinische toepassing: Voordat FM's in klinische pipelines worden ingezet, moeten ze worden getest op cross-scanner betrouwbaarheid. Embeddings die sterk scanner-afhankelijk zijn, vormen een risico voor reproduceerbaarheid.

4. Beperkingen
De studie is beperkt tot T1-gewogen beelden en "frozen" embeddings. Het effect van fine-tuning op de betrouwbaarheid is nog niet volledig onderzocht, hoewel de auteurs suggereren dat voorgetrainde bias moeilijk te verwijderen is zonder specifieke invariance-doelen.

Samenvattend: De studie waarschuwt dat niet alle Foundation Models voor hersen-MRI gelijk zijn. Alleen modellen die expliciet biologische supervisie gebruiken tijdens het pretraining, genereren betrouwbare, scanner-invariante embeddings die geschikt zijn voor robuuste multi-site klinische en onderzoekstoepassingen.