LUMEN: Longitudinal Multi-Modal Radiology Model for Prognosis and Diagnosis

Dit paper introduceert LUMEN, een nieuw trainingsframework voor vision-language modellen dat middels multi-image en multi-task instructie-finetuning is geoptimaliseerd voor de prognostische en diagnostische interpretatie van longitudinale thoraxfoto's, met aanzienlijke verbeteringen ten opzichte van bestaande basismodellen.

De kern

Wat is LUMEN?

Stel je voor dat een radioloog (een arts die röntgenfoto's bekijkt) niet alleen naar één foto kijkt, maar naar een film van een patiënt. Vaak moet een arts de huidige foto vergelijken met foto's van maanden of jaren geleden om te zien of een ziekte erger wordt, beter wordt of hetzelfde blijft.

Tot nu toe waren slimme computerprogramma's (AI) geweldig in het bekijken van één foto op een moment. Ze konden zeggen: "Hier zie ik een longontsteking." Maar ze waren vaak slecht in het begrijpen van de tijdlijn: "Hoe heeft deze longontsteking zich ontwikkeld sinds de vorige keer?" en "Wat gaat er waarschijnlijk over een maand gebeuren?"

LUMEN is een nieuw, slim computerprogramma dat dit probleem oplost. Het is als een super-radioloog die niet alleen naar de foto's kijkt, maar ook de "geschiedenis" van de patiënt begrijpt en zelfs een voorspelling doet voor de toekomst.

Hoe werkt het? (De Vergelijkingen)

1. Van "Snapshot" naar "Filmstrip"
Stel je voor dat je een boek leest.

• Oude AI-modellen keken alleen naar één losse bladzijde en probeerden te raden wat er op de vorige bladzijde stond.
• LUMEN leest het hele hoofdstuk. Het kijkt naar de huidige foto én de vorige foto's tegelijk. Het ziet de veranderingen als een filmstrip in plaats van losse foto's. Hierdoor kan het zeggen: "Aha, de vlek op de long is kleiner geworden, dus de medicijnen werken!"

2. De "Tijdmachine" voor Voorspellingen
Radiologen doen vaak meer dan alleen diagnosticeren; ze proberen ook te voorspellen (prognose). Ze denken: "Als de patiënt deze behandeling blijft volgen, ziet de long er over 30 dagen er waarschijnlijk zo uit."

• Dit is heel moeilijk voor computers, omdat er geen "antwoordenboekje" bestaat voor de toekomst. Je kunt niet zeker weten wat er gaat gebeuren.
• LUMEN heeft een speciale tijdmachine gekregen. De onderzoekers hebben het programma getraind met duizenden voorbeelden van "wat er in het verleden is gebeurd" om zo patronen te leren voor "wat er in de toekomst zou kunnen gebeuren". Het is alsof je een student laat oefenen met geschiedenisboeken om beter te kunnen voorspellen hoe de toekomst eruit zal zien.

3. De "Vertaler" voor de Arts
Vroeger gaven AI-modellen vaak korte, droge antwoorden zoals "Ja, er is een afwijking." of "Nee."

• LUMEN is getraind om te praten als een menselijke arts. Het geeft uitgebreide uitleg: "Ja, er is een afwijking. Het lijkt op een longontsteking die zich bevindt in de onderste delen van de long, en het ziet eruit alsof het iets erger is geworden dan op de foto van vorige maand."
• Dit maakt het veel makkelijker voor een echte arts om de conclusies van de computer te begrijpen en te gebruiken.

Wat hebben ze gedaan?

De onderzoekers hebben een enorm archief van longfoto's (de MIMIC-CXR database) gebruikt. Ze hebben een nieuw soort "opdrachten" (instructies) bedacht voor de computer:

1. Diagnose: "Wat zie je op deze foto?"
2. Vergelijking: "Wat is er veranderd tussen deze foto en die van twee maanden geleden?"
3. Voorspelling: "Wat denk je dat er over een maand te zien zal zijn?"

Ze hebben de computer (die gebaseerd is op een bestaand slim model genaamd NVILA) laten oefenen met deze taken totdat het heel goed werd in het verbinden van de foto's met de tijd.

Wat zijn de resultaten?

• Bij het vergelijken: LUMEN is veel beter geworden in het zien van veranderingen tussen foto's dan eerdere modellen. Het kan beter vertellen of een ziekte vooruitgang maakt of achteruit.
• Bij het voorspellen: Dit is nog steeds de moeilijkste taak. Het is voor een computer net zo lastig als voor een mens om de toekomst te voorspellen. Maar LUMEN laat wel laten zien dat het kan leren om patronen te herkennen. Het is niet perfect, maar het is een enorme stap vooruit.
• Geen verlies van kwaliteit: Het mooie is dat LUMEN niet slechter werd in het gewoon diagnosticeren van één foto. Het kan dus zowel de "film" bekijken als de "losse foto", zonder dat het vergeten is hoe het werkt.

Waarom is dit belangrijk?

In de echte wereld is tijd alles. Een ziekte is geen statisch plaatje; het is een verhaal dat zich afspeelt. LUMEN helpt artsen om dat verhaal sneller en accurater te lezen. Het neemt de zware, tijdrovende taak van het vergelijken van tientallen oude foto's uit handen, zodat de arts meer tijd heeft om na te denken over de beste behandeling voor de patiënt.

Kortom: LUMEN is de eerste AI-radioloog die echt "in de tijd" denkt, van verleden naar heden en toekomst, en dat doet hij in een taal die we allemaal begrijpen.

Technische samenvatting

Probleemstelling

Radiologische afdelingen zien een toenemende werkdruk. Hoewel grote visueel-taalmodellen (VLMs) zoals LLaVA en VILA veelbelovend zijn voor medische taken, hebben bestaande modellen in de radiologie twee belangrijke beperkingen:

1. Gebrek aan longitudinale redenering: De meeste modellen zijn getraind op enkele afbeeldingen en kunnen geen temporale veranderingen analyseren. In de praktijk vergelijken radiologen echter huidige en eerdere studies om ziekteprogressie of behandelingseffecten te beoordelen.
2. Afwezigheid van prognostische capaciteiten: Bestaande VLMs richten zich voornamelijk op diagnose en beschrijving. Het voorspellen van patiëntuitkomsten (prognose) op basis van beeldvorming vereist het leren van longitudinale data en het redeneren over tijdreeksen, wat tot nu toe niet systematisch in VLMs is geïmplementeerd.

Bestaande datasets zoals MIMIC-CXR en Medical-Diff-VQA bieden weliswaar data voor diagnostische vragen, maar missen gestructureerde instructies voor toekomstvoorspellingen en longitudinale redenering.

Methodologie

De auteurs introduceren LUMEN, een unificerend visueel-taalmodel dat is geoptimaliseerd voor longitudinale interpretatie van borstfoto's (CXR). De aanpak omvat de volgende stappen:

1. Basisarchitectuur: Het model is gebaseerd op NVILA-8B (een open-source multi-modale model). De projectielaag, de taalmodelcomponent en de visuele encoder worden allemaal bijgewerkt tijdens het fine-tuning-proces.
2. Dataverrijking en Instructie-ontwerp:
   • Dataset: Er wordt gebruikgemaakt van de MIMIC-CXR dataset en de afgeleide Medical-Diff-VQA dataset.
   • Instructie-verbetering: Originele, vaak korte antwoorden in de dataset zijn uitgebreid tot volledige zinnen met behulp van Llama-3.2-11B-Vision-Instruct om de leesbaarheid en natuurlijkheid te vergroten.
   • Expert-predicties: Om de interpretatie te verbeteren, zijn voorspellingen van state-of-the-art expertmodellen (TorchXRayVision) toegevoegd. Deze bevatten diagnoses (18 aandoeningen), leeftijd, etniciteit en beeldoriëntatie, vertaald naar tekstuele zekerheidsniveaus (bijv. "misschien ja", "ja").
   • Longitudinale en Prognostische Data: Een nieuw instructie-dataset is gegenereerd voor prognose. Door feitelijke informatie uit "verschil-vragen" (verschil tussen twee tijdstippen) te gebruiken, zijn nieuwe vragen gegenereerd over toekomstige veranderingen (bijv. "Welke veranderingen worden verwacht in dagen?").
3. Training: Het model is getraind op twee taken:
   • Diagnostische VQA: Verwerking van enkele afbeeldingen.
   • Prognostische VQA: Verwerking van sequentiële afbeeldingen (huidige vs. referentie) om ziekteprogressie te voorspellen.
   • Training vond plaats op 4 NVIDIA H100 GPU's met een learning rate van 1.5e-5 gedurende één epoch.

Belangrijkste Bijdragen

1. Verbeterde Interactie: Uitbreiding van de Medical-Diff-VQA dataset met langere, door LLM gegenereerde antwoorden voor meer informatieve interacties, in plaats van alleen korte feitelijke antwoorden.
2. Prognostische Instructie-dataset: Creatie van een nieuw instructie-dataset dat specifiek is ontworpen voor prognose, inclusief diverse vragen over uitkomsten en bijbehorende voorspelde antwoorden.
3. Unificerend Model (LUMEN): Ontwikkeling van een enkel VLM dat zowel diagnostische interpretatie als prognostische voorspelling kan uitvoeren door het verwerken van meerdere afbeeldingen (longitudinale data) in één framework.

Resultaten

De prestaties zijn geëvalueerd op de MIMIC-CXR en Medical-Diff-VQA datasets met behulp van BLEU-4, ROUGE-L, token recall, nauwkeurigheid en een nieuwe Llama Score (een door LLM gegenereerde score voor klinische juistheid).

• Prognostische taken: LUMEN toonde aanzienlijke verbeteringen ten opzichte van basismodellen (NVILA-8B) bij het beantwoorden van vragen over tijdsverschillen en toekomstige voorspellingen.
  • Bij verschil-vragen (difference questions) steeg de Llama Score van 2.486 (NVILA-8B) naar 4.611 (LUMEN).
  • Bij voorspellende vragen steeg de Llama Score van 2.242 naar 4.866.
  • Dit bevestigt dat het expliciet trainen met temporale afbeeldingsparen het model helpt ziekteprogressiepatronen te vangen.
• Diagnostische taken: Fine-tuning verbeterde de prestaties aanzienlijk ten opzichte van niet-getrainde modellen. LUMEN behaalde vergelijkbare resultaten als gespecialiseerde modellen (zoals NVILA-8B†) op diagnostische vragen, wat aantoont dat het toevoegen van prognostische taken de diagnostische nauwkeurigheid niet verslechtert.
• Kwalitatieve evaluatie: LUMEN kon complexere redeneringen uitvoeren, zoals het identificeren van specifieke veranderingen tussen een baseline en follow-up afbeelding, en het voorspellen van mogelijke resolutie of verslechtering van aandoeningen.

Betekenis en Conclusie

LUMEN vertegenwoordigt een belangrijke stap voorwaarts in de toepassing van AI in de radiologie door de kloof tussen enkelvoudige beeldanalyse en longitudinale, prognostische redenering te dichten.

• Klinische relevantie: Het model ondersteunt radiologen niet alleen bij het stellen van een diagnose, maar ook bij het voorspellen van het beloop van een ziekte, wat essentieel is voor behandelplanning.
• Methodologische doorbraak: Het paper demonstreert dat het integreren van longitudinale data en expert-predicties in instructie-fine-tuning de prestaties van VLMs in complexe medische taken significant verbetert.
• Beperkingen en Toekomst: Hoewel er vooruitgang is geboekt, blijft het voorspellen van patiëntuitkomsten een uitdaging vanwege de inherente onzekerheid in ziekteverlopen en het gebrek aan expliciete longitudinale grondwaarheid in datasets. Toekomstig werk moet gericht zijn op het integreren van meer dan twee tijdstippen en het toevoegen van uitgebreide klinische informatie (zoals behandelingsgeschiedenis) om de klinische validiteit verder te vergroten.