GIIM: Graph-based Learning of Inter- and Intra-view Dependencies for Multi-view Medical Image Diagnosis

Dit paper introduceert GIIM, een nieuw grafgebaseerd leermodel dat inter- en intraview-afhankelijkheden in medische beelden modelleert om de diagnosenauwkeurigheid en robuustheid, zelfs bij ontbrekende data, te verbeteren.

De kern

Stel je voor dat een arts een patiënt moet diagnosticeren. In de echte wereld kijkt een expert niet naar één foto en zegt: "Oké, dit is een tumor." Nee, een expert kijkt naar alle beschikbare informatie: verschillende hoeken, verschillende momenten in de tijd, en hoe verschillende verdachte plekken in het lichaam met elkaar samenhangen.

Helaas werken de meeste huidige computerprogramma's voor medische diagnose (CADx) alsof ze een eenogige reus zijn. Ze kijken vaak naar één beeld op een moment en vergeten de complexe verbanden tussen de verschillende beelden.

Dit paper introduceert GIIM, een slim nieuw systeem dat dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Losse Puzzelelementen"

Stel je voor dat je een enorme puzzel probeert op te lossen, maar je hebt alleen losse stukjes die je niet bij elkaar kunt leggen.

• Intra-view (Binnen één beeld): Als je naar één foto kijkt, zie je misschien drie vlekken. Een oud systeem zegt: "Vlek A is groot, Vlek B is klein." Maar het ziet niet dat Vlek A en Vlek B waarschijnlijk samenwerken of van hetzelfde type zijn.
• Inter-view (Tussen verschillende beelden): Een patiënt heeft vaak scans van verschillende momenten (bijv. voor en na contrastvloeistof) of vanuit verschillende hoeken (links, rechts, boven, onder). Oude systemen kijken naar deze beelden als losse kaarten. Ze zien niet hoe een vlek op de "links" foto dezelfde is als op de "rechts" foto, of hoe een vlek groeit tussen twee scans.

2. De Oplossing: GIIM als een "Super-Verbindende Agent"

GIIM (Graph-based Learning of Inter- and Intra-view Dependencies) is als een super-intelligente detective die een groot netwerk (een graf) tekent van alle informatie.

In plaats van losse foto's te bekijken, bouwt GIIM een sociale kaart van de ziekte:

• De Personages (Knopen): Elke verdachte plek (tumor) is een persoon op deze kaart.
• De Vriendschappen (Lijnen):
  • Hoe ziet een tumor eruit op verschillende momenten? (Tijdlijn-vriendschap).
  • Zitten er andere tumoren in de buurt? (Buurschaps-vriendschap).
  • Hoe passen de verschillende hoeken bij elkaar? (Hoek-vriendschap).

Door deze "vriendschappen" te analyseren, kan het systeem veel beter begrijpen wat er echt aan de hand is. Het is alsof je niet alleen naar één getuige kijkt, maar een gesprek voert met alle getuigen tegelijk om het volledige verhaal te reconstrueren.

3. De "Verdwijntruc": Omgaan met Ontbrekende Beelden

In de echte wereld is het vaak zo dat niet alle scans beschikbaar zijn. Misschien is de patiënt te ziek voor een extra scan, of is er een technische storing. Voor oude systemen is dit een ramp: als één stukje van de puzzel ontbreekt, kunnen ze vaak niets meer zeggen.

GIIM is hier slim in. Het heeft vier manieren om met "lege plekken" om te gaan, alsof het een meester in improvisatie is:

1. De "Stilte" methode: Het zegt: "Oké, dit stukje ontbreekt, maar ik weet dat het er niet is, dus ik let extra goed op de andere stukjes."
2. De "Leerling" methode: Het leert tijdens het trainen een soort "standaard invulling" voor het ontbrekende stukje.
3. De "Zoektocht" methode (RAG): Het kijkt in zijn geheugen naar andere patiënten die wel een vergelijkbare situatie hadden, en kopieert slim de informatie van daar om het gat op te vullen.
4. De "Statistiek" methode: Het berekent op basis van patronen wat het ontbrekende stukje waarschijnlijk zou moeten zijn.

Dit zorgt ervoor dat GIIM ook werkt als de data niet perfect is, wat in de kliniek heel vaak voorkomt.

4. Wat hebben ze bewezen?

De onderzoekers hebben dit systeem getest op drie verschillende soorten medische beelden:

• Levertumoren (CT-scans): Verschillende fases van een scan.
• Borstkanker (Mammografie): Beelden van links, rechts, van boven en van opzij.
• Borstkanker (MRI): Beelden voor en na contrastvloeistof.

Het resultaat?
GIIM was overal beter dan de bestaande methoden. Het maakte minder fouten en kon zelfs betere diagnoses stellen als er beelden ontbraken. Het was alsof ze een nieuwe bril opzetten die scherpere details laat zien dan de oude brillen.

Samenvatting in één zin

GIIM is een slim computerprogramma dat medische diagnoses verbetert door niet naar losse beelden te kijken, maar naar het gehele netwerk van een ziekte, waarbij het zelfs slim kan "gissen" als er beelden ontbreken, net als een ervaren arts die zijn ervaring en intuïtie gebruikt om het volledige plaatje te zien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "GIIM: Graph-based Learning of Inter- and Intra-view Dependencies for Multi-view Medical Image Diagnosis" in het Nederlands.

Probleemstelling

Computer-aided diagnosis (CADx) systemen worstelen vaak met het nabootsen van het nuancevolle proces van klinische interpretatie. Expertdiagnoses vereisen een holistische analyse van hoe afwijkingen (zoals tumoren) met elkaar samenhangen over verschillende beeldvormingsmodi (views) en tijdstippen. Bestaande methoden voor multi-view medische beeldanalyse hebben echter twee belangrijke beperkingen:

1. Gebrek aan relatie-modellering: Ze analyseren laesies vaak onafhankelijk van elkaar en missen cruciale intra-view afhankelijkheden (relaties binnen één beeld) en inter-view dynamiek (veranderingen tussen verschillende views of fasen).
2. Gevoeligheid voor onvolledige data: Klinische data is vaak incompleet (bijvoorbeeld door ontbrekende fasen in een CT-scan of ontbrekende hoeken in een mammografie). Bestaande modellen presteren aanzienlijk slechter wanneer views ontbreken, wat de betrouwbaarheid in de praktijk vermindert.

Methodologie: GIIM

De auteurs stellen GIIM (Graph-based Learning of Inter- and Intra-view Dependencies) voor, een nieuw raamwerk gebaseerd op Multi-Heterogeneous Graphs (MHGs). Het doel is om zowel de structurele afhankelijkheden binnen een view als de dynamische relaties tussen views te modelleren.

Het proces verloopt in twee hoofdfasen (zoals beschreven in Algorithm 1):

1. Extractie van Single-View Features

• Er worden aparte modellen getraind voor elke specifieke view (bijv. arterieel, veneus, vertraagd in CT; of CC, MLO in mammografie).
• Als feature-extractor wordt ConvNeXt gebruikt. Dit wordt gekozen vanwege de vermogen om zowel grootschalige context als fijne details (cruciaal voor tumorgrenzen) te vangen door middel van grote convolutie-kernen (7x7).
• Deze getrainde modellen worden "bevroren" en fungeren als feature-extractoren ($f_v$) voor de volgende fase.

2. Het GIIM Graph Model (MHG)
De multi-view data wordt omgezet in een heterogeen graaf $G_s$ per patiënt.

• Nodes (Knopen):
  • Single-view nodes ($N_{single}$): Representeren de features van een specifieke laesie in een specifieke view.
  • Multi-view nodes ($M_{multi}$): Een samenvattende knoop die de geconcateneerde features van alle views van die laesie bevat.
• Edges (Randen): De graaf modelleert vier soorten relaties:
  1. Intra-tumor, Inter-view: Verbindt verschillende views van dezelfde laesie (vastlegt tijdsdynamiek).
  2. Single-to-Multi-view: Verbindt een single-view node met zijn samenvattende multi-view node.
  3. Inter-tumor, Single-view: Verbindt verschillende laesies binnen dezelfde view (ruimtelijke context).
  4. Inter-tumor, Multi-view: Verbindt de samenvattende nodes van verschillende laesies (hoge niveau context, nuttig voor het detecteren van kleine laesies naast grote).
• Message Passing: Er wordt een heterogene message-passing-methode gebruikt die features van single-view en multi-view buren apart aggregeert en vervolgens combineert met de eigen state van de node via een niet-lineaire activatie.

Omgaan met Ontbrekende Views (Missing Data)
Om robuustheid te garanderen bij ontbrekende data, worden vier technieken voor imputatie geïntroduceerd:

1. Constant: Een vector van nullen voor de ontbrekende view.
2. Learnable: Een leerbare parameter die tijdens training wordt geoptimaliseerd.
3. RAG-based (Retrieval-Augmented Generation): Zoekt de meest vergelijkbare patiënt in de database en kopieert de ontbrekende features van die patiënt.
4. Covariance-based: Gebruikt een covariantiematrix om statistisch vergelijkbare samples te vinden en hun ontbrekende features te imputeren.

Kernbijdragen

1. Nieuwe GIIM Architectuur: Een MHG-gebaseerd model dat uniek is in het integreren van zowel intra- als inter-view structurele afhankelijkheden, wat de diagnose-accuraatheid verbetert over diverse modaliteiten (CT, MRI, Mammografie).
2. Robuustheid bij Onvolledige Data: Effectieve aanpak van het veelvoorkomende probleem van ontbrekende views door middel van vier geavanceerde imputatietechnieken.
3. Uitgebreide Validatie: Succesvolle evaluatie op meerdere real-world medische datasets, waarbij het model superieur presteert aan bestaande methoden (CNN, Transformers, ML-baselines) in zowel volledige als incompleet data-scenario's.

Resultaten

De methode is getest op drie datasets:

• Liver Tumor Dataset (CT): 920 patiënten met multi-phase CT-scans.
• VinDr-Mammo (Mammografie): 5.000 vier-view onderzoeken.
• BreastDM (MRI): DCE-MRI data met pre-contrast, post-contrast en subtractie sequenties.

Belangrijkste bevindingen:

• Superieure Prestaties: GIIM overtrof bestaande methoden (NN-based, ML-based, Attention-based) consistent.
  • Op de Liver dataset: +3% verbetering in nauwkeurigheid en +2% in AUC ten opzichte van andere multi-view methoden.
  • Op VinDr-Mammo: Bereikte de hoogste nauwkeurigheid.
  • Op BreastDM: 87.23% nauwkeurigheid en 89.02% AUC.
• Robuustheid bij Ontbrekende Views:
  • In scenario's met ontbrekende views (tot 100% van de samples met een ontbrekende view) behield GIIM een hoge prestatie.
  • Interessant genoeg bleek dat de eenvoudige Constant-methode vaak het beste presteerde bij het testen op ontbrekende data, omdat het de graaf duidelijk maakt welke node ontbreekt, waardoor het model leert meer te vertrouwen op de beschikbare nodes.
  • De RAG-based en Covariance-methoden presteerden beter bij volledige data-tests, wat suggereert dat ze betere feature-distributies leren genereren.

Significantie

Dit paper biedt een fundamentele doorbraak in de ontwikkeling van CADx-systemen. Door medische diagnoses te reframen als een probleem van relatie-modellering in plaats van alleen classificatie, adresseert GIIM de complexiteit van multi-view data op een manier die beter aansluit bij de klinische realiteit. De mogelijkheid om robuust te presteren bij onvolledige data (een veelvoorkomend probleem in de kliniek) maakt het systeem direct toepasbaar en betrouwbaarder voor praktische medische toepassingen. De auteurs tonen aan dat het expliciet modelleren van de interacties tussen laesies en tussen verschillende beeldvormingsmomenten essentieel is voor een nauwkeurige diagnose.