Merlin: A Computed Tomography Vision-Language Foundation Model and Dataset

Dit paper introduceert Merlin, een 3D vision-language foundation model en dataset die is getraind op meer dan 15.000 abdominale CT-scans en klinische data om geautomatiseerde medische beeldanalyse te verbeteren en superieure prestaties te leveren bij diverse diagnostische en prognostische taken vergeleken met bestaande modellen.

De kern

Merlin: De Slimme, Allesziende Radioloog uit de Toekomst

Stel je voor dat je een enorme bibliotheek hebt, maar dan niet met boeken, maar met duizenden 3D-foto's van menselijke binnenkanten. Dit zijn CT-scanbeelden van de buikholte. Elk jaar worden er in de VS alleen al 85 miljoen van gemaakt. Het probleem? Er zijn niet genoeg radiologen (de artsen die deze foto's bekijken) om ze allemaal te lezen. Het is als proberen een oceaan water uit te scheppen met een theelepel.

De auteurs van dit paper hebben Merlin bedacht. Merlin is geen gewone computer, maar een "foundation model" – een soort super-intelligente basis voor kunstmatige intelligentie die speciaal is getraind om medische beelden te begrijpen.

Hier is hoe Merlin werkt, vertaald naar alledaagse taal:

1. De Leermeester: Niet alleen kijken, maar ook lezen

Vroeger leerden computers om medische beelden te herkennen door alleen naar de foto's te kijken (zoals een kind dat alleen naar plaatjes kijkt). Merlin doet iets slimmers. Hij leert door twee dingen tegelijk te doen:

• Kijken: Hij bekijkt de volledige 3D-CT-scan (alle lagen van de foto, niet alleen één plakje).
• Lezen: Hij leest tegelijkertijd het medisch verslag dat de radioloog erbij schreef én de medische gegevens uit het patiëntendossier.

De Analogie: Stel je voor dat je een kind leert wat een "hond" is.

• De oude manier: Je wijst naar een foto van een hond en zegt "hond".
• De Merlin-methode: Je wijst naar de hond, leest de naam "hond" voor, en vertelt ook dat de hond "blaft" en "een staart heeft". Zo leert het kind niet alleen hoe het eruitziet, maar ook wat het is en hoe het zich gedraagt.

2. De Training: Een marathon in plaats van een sprint

Merlin is getraind op een gigantische dataset: meer dan 15.000 CT-scans, met miljoenen woorden aan verslagen en diagnoses.

• Het unieke: De meeste AI-modellen moeten handmatig worden gelabeld (een mens moet elke foto controleren en zeggen: "ja, hier is een tumor"). Merlin heeft dit niet nodig. Hij gebruikt de bestaande verslagen die artsen al hebben geschreven als "antwoorden".
• De kracht: Hij kan de hele 3D-ruimte in één keer zien. Andere modellen kijken vaak naar één laagje per keer, alsof je een boek leest door één letter per keer te bekijken. Merlin leest de hele pagina in één oogopslag.

3. Wat kan Merlin? (Zijn superkrachten)

Merlin is getest op 752 verschillende taken. Hier zijn de belangrijkste:

• De "Zero-Shot" Detective: Je kunt Merlin vragen: "Is er een breuk in de rib?" zonder dat hij dit specifiek heeft geoefend. Hij gebruikt zijn algemene kennis om het antwoord te vinden, net als een detective die een nieuw type misdaad herkent omdat hij de patronen van andere misdaden kent.
• De Voorspeller: Hij kan voorspellen of een patiënt over 5 jaar een chronische ziekte (zoals diabetes of hartziekten) zal krijgen, zelfs als de patiënt op dit moment gezond lijkt. Hij ziet subtiele signalen in de scan die mensen missen.
• De Schrijver: Hij kan een verslag voor de radioloog schrijven. Hij beschrijft wat hij ziet in de lever, nieren en maag, zodat de arts alleen nog maar hoeft te controleren.
• De Kaartmaker: Hij kan precies de contouren van organen (zoals de nieren of de milt) tekenen op de scan, wat helpt bij het plannen van operaties.

4. Waarom is dit zo belangrijk?

• Tijdswinst: Radiologen moeten vaak 20 minuten per scan besteden. Merlin kan dit proces versnellen door een eerste verslag te maken of belangrijke bevindingen direct aan te wijzen.
• Betere zorg: Omdat Merlin zo goed is in het zien van subtiele details, kan hij ziektes eerder opsporen dan menselijke ogen. Dit kan levens redden.
• Toegankelijkheid: Het is getraind op slechts één grafische kaart (een GPU). Dit betekent dat ook kleinere ziekenhuizen, zonder een supercomputer, hun eigen versie van Merlin kunnen bouwen.

5. De "Gouden Regel" van Merlin

De onderzoekers ontdekten iets fascinerends: meer data is beter, maar de kwaliteit van de data is cruciaal.
Ze probeerden de beelden te vervormen (zoals draaien of kleuren aanpassen) om de AI robuuster te maken, zoals je dat bij gewone foto's doet. Maar bij medische scans werkte dit averechts! Het was alsof je een chirurg vraagt om te opereren terwijl je hem een bril opzet die de wereld vervormt. Merlin werkt het beste met de originele, scherpe beelden en de bijbehorende tekst.

Conclusie

Merlin is geen robot die de radioloog vervangt. Het is meer als een ultra-slimme assistent die nooit moe wordt, nooit een detail over het hoofd ziet en razendsnel door duizenden pagina's verslagen kan bladeren om de juiste informatie te vinden.

Door Merlin te maken, hopen de onderzoekers dat artsen minder tijd kwijt zijn aan het "kijken" en meer tijd hebben om te "genezen". Het is een stap in de richting van een toekomst waarin AI de last van de menselijke hersenen wegneemt, zodat we betere zorg kunnen bieden aan meer mensen.

Technische samenvatting

Probleemstelling

Er worden jaarlijks meer dan 85 miljoen CT-scans uitgevoerd in de VS, waarvan ongeveer een kwart gericht is op de buikholte (abdomen). Deze scans zijn complex, bevatten vaak honderden slices per serie en vereisen veel tijd voor interpretatie (gemiddeld 20 minuten per onderzoek). Er is sprake van een ernstig tekort aan radiologen, terwijl het gebruik van medische beeldvorming jaarlijks met 6% toeneemt.

Bestaande kunstmatige intelligentie (AI) oplossingen voor medische beeldvorming hebben twee grote beperkingen:

1. Beperking tot 2D: De meeste Vision-Language Models (VLMs) zijn getraind op 2D beelden (zoals röntgenfoto's) of proberen 3D-data te analyseren door slices individueel te verwerken. Dit is inefficiënt en mist de ruimtelijke correlaties die essentieel zijn voor volumetrische anatomie.
2. Data-labeling en supervisie: Bestaande modellen vereisen vaak handmatig gelabelde data of zijn beperkt tot korte rapporten. Ze maken geen optimaal gebruik van de rijke, ongestructureerde radiologieverslagen en gestructureerde EHR-data (zoals ICD-codes) die al in ziekenhuizen beschikbaar zijn zonder extra labelkosten.

Er is dus behoefte aan een 3D Vision-Language Foundation Model dat in staat is om de volledige 3D-voxeldata van een CT-scan tegelijkertijd te verwerken, gebruikmaakt van diverse klinische databronnen voor training, en generaliseert naar een breed scala aan diagnostische en prognostische taken.

Methodologie: Merlin

De auteurs introduceren Merlin, een 3D VLM dat is ontworpen voor abdominale CT-scans. Het model combineert visuele data met tekstuele supervisie uit zowel gestructureerde (EHR) als ongestructureerde (radiologieverslagen) bronnen.

1. Dataset en Training:

• Data: Het model is getraind op een hoogwaardig klinisch dataset bestaande uit 15.331 CT-scans (in totaal 6,3 miljoen 2D-slices), 1,8 miljoen EHR-diagnosecodes (ICD-9 en ICD-10) en meer dan 6 miljoen tokens uit radiologieverslagen.
• Preprocessing: CT-scans worden herschaald naar 1,5mm in-plane en 3mm slice-thickness. Radiologieverslagen worden opgesplitst in anatomische secties (bijv. lever, nieren) om contrastief leren te verbeteren, hoewel volledige rapporten ook worden gebruikt.
• Architectuur:
  • Beeldencoder: Een geïnfundeerde 3D ResNet152 (I3D), waarbij 2D ImageNet-vooraf getrainde gewichten worden hergebruikt en uitgebreid naar de 3e dimensie.
  • Tekstencoder: Clinical Longformer, gekozen vanwege het vermogen om lange contexten (tot 4096 tokens) te verwerken, wat nodig is voor uitgebreide radiologieverslagen.
• Training Strategie:
  • Multi-task learning: Het model wordt simultaan getraind op twee taken:
    1. Contrastief leren (InfoNCE Loss): Het aligneren van CT-beelden met de bijbehorende radiologieverslagen (onstructuurde data).
    2. Supervisie via EHR (Binary Cross Entropy Loss): Het voorspellen van ICD-codes/phenotypes uit de scan (gestructureerde data).
  • Efficiëntie: Het model is getraind op één enkele NVIDIA A6000 GPU (ongeveer 160 uur), wat aantoont dat foundation models ook met beperkte rekenkracht kunnen worden ontwikkeld.

2. Evaluatie:
Merlin wordt geëvalueerd op 6 soorten taken en 752 individuele taken, verdeeld in:

• Non-adapted (Zero-shot): Taken die zonder aanpassing van de modelgewichten kunnen worden uitgevoerd.
  • Zero-shot classificatie van bevindingen (31 types).
  • Phenotype classificatie (692 phenotypes gebaseerd op PheWAS).
  • Zero-shot cross-modale retrieval (beeld naar verslag en vice versa).
• Adapted (Fine-tuning): Taken waarbij het model wordt aangepast.
  • Voorspelling van chronische ziekten binnen 5 jaar (6 ziektes).
  • Generatie van radiologieverslagen.
  • 3D semantische segmentatie van 20 organen.

Belangrijkste Bijdragen

1. Eerste 3D VLM voor Abdominale CT: Merlin is een van de eerste foundation modellen dat de volledige 3D-ruimtelijke informatie van een CT-scan verwerkt in plaats van slices te aggregeren.
2. Gebruik van Multi-modale Supervisie: Het model leert effectief van zowel ongestructureerde verslagen als gestructureerde EHR-codes, wat de representatieruimte verrijkt zonder extra handmatige annotatie.
3. Resource-vriendelijke Training: Het bewijs dat een krachtig foundation model getraind kan worden op één GPU, waardoor het toegankelijk wordt voor ziekenhuizen en academische instellingen zonder enorme cloud-budgetten.
4. Uitgebreide Validatie: Evaluatie op interne en externe datasets (44.098 externe scans van drie verschillende locaties) en publieke datasets (VerSe, TotalSegmentator), wat de robuustheid tegen distributieshifts aantoont.
5. Open Source: Het vrijgeven van het getrainde model, de code en het dataset (Merlin Abdominal CT dataset).

Resultaten

Merlin presteert consequent beter dan bestaande baselines (2D VLMs, 2D-naar-3D "lifted" modellen, en 3D vision-only modellen) in zowel data-schaarse als volledig gesuperviseerde settings.

• Zero-shot Classificatie: Merlin bereikte een gemiddelde F1-score van 0,741 op de interne dataset en 0,647 op externe datasets. Dit is significant beter dan state-of-the-art 2D modellen (zoals BioMedCLIP en OpenCLIP), die vaak onder de 0,30 blijven zonder fine-tuning.
• Phenotype Classificatie: Het model bereikte een macro-averaged AUROC van 0,812 over 692 phenotypes.
• Cross-Modal Retrieval: Merlin presteerde aanzienlijk beter in het terugvinden van de juiste radiologieverslagen bij een scan (Recall@1 van ~0,78) vergeleken met baselines (<0,05).
• 5-Jaar Ziekte Voorspelling: Zelfs met slechts 10% van de labels presteerde Merlin beter dan een ImageNet-geinitialiseerd model, met een AUROC van 0,708.
• 3D Segmentatie: In data-schaarse scenario's (10% training data) overtrof Merlin de nnUNet-baseline met een 4,7% hogere Dice-score.
• Generalisatie: Merlin behield sterke prestaties op externe datasets met verschillende scanners, slice-diktes en populaties, zelfs op borst-CT's (waar het model alleen op buik-CT's is getraind), wat de generaliseerbaarheid van de 3D-features aantoont.

Significantie en Toekomstperspectief

Dit werk markeert een belangrijke stap in de evolutie van medische AI:

• Van 2D naar 3D: Het bewijst dat 3D VLMs superieur zijn aan 2D-benaderingen voor volumetrische beeldvorming, omdat ze de anatomische samenhang beter begrijpen.
• Efficiëntie en Toegankelijkheid: Door te laten zien dat training op één GPU mogelijk is, democratiseert het onderzoek naar foundation models voor medische toepassingen.
• Klinische Impact: Merlin kan radiologen ondersteunen bij het genereren van voorlopige verslagen, het opsporen van gemiste bevindingen, het voorspellen van toekomstige ziektes (opportunistic screening) en het minimaliseren van facturatiefouten door automatische ICD-codering.
• Schalingswetten: De auteurs hebben data-scaling wetten afgeleid, wat aangeeft dat verdere prestatieverbeteringen mogelijk zijn door simpelweg meer data toe te voegen, wat een blauwdruk biedt voor toekomstige grootschalige trainingen.

Samenvattend biedt Merlin een robuust, veelzijdig en efficiënt fundament voor de volgende generatie AI-toepassingen in de radiologie, met name voor complexe 3D-abdominale beeldvorming.