Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

Gaze2Report is een nieuw raamwerk dat oogbewegingsdata en scanpath-predictie integreert in de fine-tuning van grote taalmodellen om automatisch en zonder directe oogvolgingsinput tijdens inferentie kwalitatief betere radiologieverslagen te genereren.

De kern

Het Probleem: De "Blinde" Computer

Stel je voor dat een computer probeert een medisch verslag te schrijven over een röntgenfoto van een long. Normaal gesproken kijkt de computer alleen naar de foto en probeert hij woorden te raden die bij de afbeelding passen.

Het probleem is dat deze computers vaak niet weten waar een menselijke arts echt naar kijkt. Een arts bestudeert een foto niet willekeurig; hij of zij scant de longen met een specifieke volgorde en let op bepaalde plekken waar iets mis zou kunnen zijn. De computer mist deze "menselijke aanwijzingen". Hierdoor kunnen hun verslagen soms wel goed klinken, maar missen ze belangrijke medische details of zijn ze niet helemaal accuraat.

De Oplossing: Gaze2Report (Kijk-2-Verslag)

De onderzoekers van Stony Brook University hebben een slimme nieuwe methode bedacht, genaamd Gaze2Report. Ze willen de computer leren kijken zoals een arts kijkt.

Hier is hoe het werkt, stap voor stap, met een paar leuke vergelijkingen:

1. De "Oogvolger" (Eye Gaze)

Wanneer een arts een röntgenfoto bekijkt, laat hij of zij een spoor na van waar het oog naartoe beweegt. Dit noemen we een scanpath.

• Vergelijking: Stel je voor dat je een zoekplaatje doet in een krant. Je oog beweegt van de ene plek naar de andere. Dat spoor van je oogbewegingen is heel waardevol omdat het laat zien waar je je aandacht op richtte.
• Het probleem: In een echte kliniek hebben we die oogbewegingsdata niet altijd bij de hand als de computer het verslag moet schrijven.

2. De "Gokker" (Scanpath Prediction)

Omdat we tijdens het gebruik (in de praktijk) vaak geen oogdata hebben, heeft het systeem een slimme truc: het leert voorspellen waar een arts waarschijnlijk zou kijken.

• Vergelijking: Het is alsof je een meester-detective bent die een misdaadplek bekijkt. Zelfs als je niet ziet waar de politieagenten precies hebben gekeken, weet je als expert: "Ze zullen eerst naar de deur kijken, dan naar het raam, en dan naar de kast." Het systeem "gokt" dus de beste kijkvolgorde, gebaseerd op wat het heeft geleerd.

3. De "Sociale Club" (Graph Neural Network)

Nu heeft het systeem twee soorten informatie: de foto zelf en de voorspelde kijkplekken. Hoe combineer je die? Ze gebruiken een Graph Neural Network (GNN).

• Vergelijking: Stel je voor dat de röntgenfoto is opgedeeld in honderd kleine stukjes (zoals een puzzel). Elk stukje is een persoon op een feestje.
  • De foto vertelt je hoe het stukje eruitziet (bijv. "dit is een bot").
  • De oogdata vertelt je hoe belangrijk dat stukje is (bijv. "de arts keek hier lang naar").
  • Het GNN is de feestmeester die al deze mensen (stukjes) met elkaar laat praten. Hij zorgt dat de stukjes die de arts belangrijk vond, samenwerken met de andere stukjes om een compleet verhaal te vormen. Hierdoor begrijpt de computer niet alleen wat er op de foto staat, maar ook waarom het belangrijk is.

4. De "Slimme Schrijver" (LLM met LoRA)

Ten slotte geven ze al deze informatie (foto + kijkplekken + instructies) aan een zeer grote taalcomputer (een Large Language Model of LLM, in dit geval Llama2).

• Vergelijking: Dit is alsof je een zeer intelligente schrijver een briefje geeft met de foto, de "gok" over waar de arts keek, en de opdracht: "Schrijf een gedetailleerd verslag."
• In plaats van de hele schrijver opnieuw te leren (wat duur en traag is), hebben ze alleen een paar kleine "brilglazen" (LoRA-lagen) op de bril van de schrijver gezet. Hierdoor kan de schrijver zich snel aanpassen om medische verslagen te schrijven zonder dat hij zijn hele kennis moet vergeten.

Waarom is dit beter?

De onderzoekers hebben getest of dit werkt op drie grote databases met röntgenfoto's.

• Resultaat: De verslagen die door Gaze2Report werden geschreven, waren beter dan die van andere computers. Ze bevatten meer medisch correcte termen (zoals "kleine longvochtophoping" in plaats van gewoon "vocht").
• De grote winst: Zelfs als het systeem geen echte oogdata heeft (wat in de echte wereld vaak het geval is), werkt het nog steeds beter dan systemen die alleen naar de foto kijken. De "gok" over waar de arts zou kijken, helpt de computer om de juiste focus te leggen.

Samenvattend

GAZE2Report is als het geven van een "kijkwijzer" aan een computer. Het leert de computer niet alleen naar de foto te kijken, maar ook te begrijpen waar een menselijke arts naar zou kijken. Zelfs zonder een echte arts die meekijkt, kan de computer deze kijkwijzer voorspellen en zo veel betere, nauwkeurigere medische verslagen schrijven.

Technische samenvatting

Probleemstelling

Bestaande methoden voor het automatisch genereren van radiologieverslagen, die vaak gebaseerd zijn op deep learning en beeldbeschrijving (image captioning), hebben twee belangrijke tekortkomingen:

1. Gebrek aan medische priors: Ze negeren vaak de medische kennis en de visuele aandacht van radiologen. Dit leidt tot een suboptimale uitlijning tussen de gegenereerde verklaringen en de daadwerkelijke ziekteverschijnselen, wat de klinische nauwkeurigheid beïnvloedt.
2. Beperkingen van bestaande gaze-integratie: Hoogwaardige oogvolgingsdata (eye gaze) biedt cruciale inzichten in waar een radioloog naar kijkt, maar het integreren hiervan in AI-workflows is moeilijk vanwege de complexiteit van multimodale datafusie. Een groot praktisch probleem is dat oogvolgingsdata tijdens de inferentie (in de klinische praktijk) vaak niet beschikbaar is, omdat artsen geen eye-trackers dragen. Bestaande modellen die gaze gebruiken, kunnen hierdoor niet effectief worden ingezet zonder deze data.

Methodologie: Gaze2Report

Het paper introduceert Gaze2Report, een nieuw framework dat oogvolgingsdata integreert in de generatie van radiologieverslagen, maar dit op een manier dat het ook werkt zonder gaze-input tijdens de inferentie. De architectuur bestaat uit de volgende kerncomponenten:

1. Visuele en Gaze Token Generatie:

   • Beeld: Invoerbeelden (bijv. thoraxfoto's) worden opgedeeld in patches en verwerkt door een Vision Transformer (ViT) om visuele features te extraheren.
   • Gaze: Een scanpath-predictiemodel genaamd MedGaze simuleert een reeks fixatiepunten (waar een radioloog zou kijken) inclusief tijdsduur. De fixatieduur per patch wordt geaggregeerd om een gaze-embedding te creëren die de aandacht van de radioloog weergeeft.

2. Multimodale Interactie via Graph Neural Networks (GNN):

   • In plaats van eenvoudige concatenatie, wordt een graafstructuur opgebouwd waarbij elke knoop een beeldpatch vertegenwoordigt met bijbehorende visuele tokens, gaze-tokens en positionele encoding.
   • Een GNN (Graph Neural Network) verwerkt deze knopen iteratief. Dit stelt het model in staat om de ruimtelijke relaties en de interactie tussen visuele inhoud en gaze-aandacht te leren, wat resulteert in gefuseerde "visual-gaze tokens".

3. Prompt Tuning van Large Language Models (LLM):

   • De gegenereerde visual-gaze tokens worden gecombineerd met instructie-tokens (bijv. "Genereer een verslag") en de ground-truth rapport-tokens.
   • Deze multimodale prompt wordt gebruikt om de LoRA-lagen (Low-Rank Adaptation) van een voorgeprogrammeerd LLM (Llama2-7B) te fine-tunen. Dit is computatie-efficiënter dan het volledig hertrainen van het model.
   • Het model leert autoregressief het volgende token in het verslag te voorspellen op basis van de prompt.

4. Oplossing voor Inferentie zonder Gaze:

   • Om het probleem van het ontbreken van gaze-data tijdens de inferentie op te lossen, maakt het framework gebruik van de scanpath prediction module (MedGaze). Tijdens het trainen leert het model om realistische gaze-paden te voorspellen op basis van het beeld alleen. Tijdens de inferentie gebruikt het model deze voorspelde paden in plaats van echte gaze-data, waardoor het model ook in de echte wereld inzetbaar is.

Belangrijkste Bijdragen

1. GNN voor Visuele-Gaze Interactie: Het gebruik van een Graph Neural Network om visuele en gaze-tokens te fuseren, verbetert de interactie tussen de modaliteiten en helpt het LLM om de relevantie van verschillende beeldgebieden beter te beoordelen.
2. Superioriteit van Gaze + Beeld: Het bewijst dat het combineren van beeld en gaze (zelfs voorspelde gaze) leidt tot betere rapporten dan het gebruik van alleen beeld.
3. Onafhankelijkheid van Inferentie-Gaze: Door een auxiliary scanpath-predictiemodule in te bouwen, kan het model presteren zonder dat er daadwerkelijke eye-trackingdata nodig is tijdens het gebruik in de kliniek.
4. Uitgebreide Evaluatie: Het model is getest op meerdere datasets met zowel linguïstische (NLG) als klinische (CE) metrieken.

Resultaten

Het model is geëvalueerd op drie datasets: REFLACX, IU-XRAY en MIMIC-CXR.

• NLG-metrieken (Linguïstische Kwaliteit): Gaze2Report presteerde consistent beter dan state-of-the-art methoden (zoals R2GenGPT, MET, en EGGCA-Net) op de MIMIC-CXR en IU-XRAY datasets. Er werden verbeteringen geboekt op BLEU-, ROUGE- en METEOR-scores. Bijvoorbeeld, op MIMIC-CXR verbeterde de BLEU-4 score met 0,03 ten opzichte van de tweede beste methode.
• CE-metrieken (Klinische Effectiviteit): Het model toonde een hogere nauwkeurigheid in het beschrijven van klinische afwijkingen (zoals longontsteking of pleurale effusie). Het behaalde een F1-score van 0,444, wat hoger was dan R2GenGPT (0,389) en Base-1 (zonder gaze).
• Kwalitatieve Analyse: Voorbeelden tonen aan dat Gaze2Report kritieke medische termen correct genereert (bijv. "small bilateral pleural effusions") die in baseline-modellen ontbraken, en dat het klinisch preciezer is in terminologie.
• Corollarium Experiment: Zelfs zonder echte gaze-data tijdens de inferentie (alleen gebruikmakend van de voorspelde scanpaths), presteerde Gaze2Report beter dan baselines die wel toegang hadden tot gaze-data maar geen geavanceerde fusiemethode gebruikten.

Betekenis en Conclusie

Gaze2Report is een doorbraak in het veld van automatische radiologieverslaggeving omdat het de kloof overbrugt tussen de visuele aandacht van experts en AI-generatie. Door de complexiteit van multimodale fusie aan te pakken en een oplossing te bieden voor het ontbreken van gaze-data in de praktijk, maakt het model verslagen niet alleen taalkundig beter, maar ook klinisch nauwkeuriger en betrouwbaarder. Het benadrukt het belang van het integreren van menselijke cognitie (via gaze) in AI-systemen, zelfs als die data niet direct beschikbaar is, door gebruik te maken van geavanceerde voorspellende modellen.