$\Delta$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

In de stille brom van een radiologieafdeling in een ziekenhuis bestudeert een arts een CT-scan, op zoek naar het subtiele verschil tussen een gezonde long en een zieke. Voor het menselijk oog berust deze taak op jarenlange training om te herkennen hoe een specifieke ziekte het uiterlijk van normaal weefsel verandert. In de afgelopen jaren zijn computers begonnen met het aanleren van dezezelfde vaardigheid via kunstmatige intelligentiesystemen die bekend staan als vision-language modellen. Deze systemen worden getraind om medische beelden te bekijken en klinische tekst te lezen, waarbij ze leren om te verbinden wat ze zien met wat er geschreven staat. Het doel is om een digitale assistent te creëren die artsen kan helpen bij het interpreteren van scans, het opsporen van afwijkingen en het genereren van rapporten. Er blijft echter een aanzienlijke hindernis bestaan: deze computermodellen hebben vaak moeite met het begrijpen dat een ziekte geen apart object is dat in het lichaam zweeft, maar eerder een verandering die plaatsvindt in de normale structuur van het lichaam. Ze zien de afbeelding als een geheel, maar ze vinden het moeilijk om precies te isoleren hoe een laesie, of een beschadigd gebied, verschilt van het gezonde weefsel dat eromheen ligt. Zonder dit precieze begrip kan de computer weliswaar identificeren dat er iets mis is, maar kan hij niet betrouwbaar uitleggen wat er precies mis is of waar het zich bevindt met de precisie die een arts nodig heeft.

Een team van onderzoekers heeft een nieuwe manier voorgesteld om deze computermodellen te onderwijzen, een methode die zich richt op het concept van verandering in plaats van alleen op de uiteindelijke afbeelding. Ze noemen hun aanpak een methode voor het leren van visuele representaties door middel van contrafactisch redeneren. In eenvoudige bewoordingen: in plaats van de computer alleen een foto van een zieke long te laten zien en hem te vragen de ziekte te benoemen, leren de onderzoekers de computer zich voor te stellen hoe die specifieke plek eruit zou zien als deze gezond was. Het systeem leert eerst een gedetailleerde kaart van hoe gezonde lichaamsdelen in de ruimte zijn gerangschikt, waarbij het begrijpt dat het hart in een specifieke relatie tot de longen staat en dat bloedvaten een continu pad volgen. Zodra deze kaart van de normale anatomie is vastgesteld, kijkt de computer naar een ziek gebied en stelt een hypothetische vraag: "Als deze plek normaal zou zijn, hoe zou deze er dan uitzien?" Door de werkelijke afbeelding van het zieke weefsel te vergelijken met deze verbeelde gezonde versie, berekent het systeem het specifieke verschil. Dit verschil, of de "increment" van verandering, wordt de sleutel tot het identificeren van de ziekte. De onderzoekers ontdekten dat door zich te concentreren op deze kloof tussen de echte en de verbeelde gezonde staat, de computer veel beter in staat is om aan te geven waar een probleem zit en precies te beschrijven wat voor soort probleem het is.

De methode is gebouwd op twee afzonderlijke stappen. Eerst ondergaat het systeem een trainingsfase waarin het de geometrie van het menselijk lichaam leert zonder dat er ziekte aanwezig is. Het krijgt duizenden afbeeldingen van gezonde anatomie te zien en wordt geleerd om zijn interne begrip van deze structuren zo te ordenen dat de ruimtelijke relaties overeenkomen met de werkelijkheid. Als het model weet waar de linkerlong moet zitten ten opzichte van de rechterlong, en hoe het weefsel continu binnen een enkel orgaan stroomt, bouwt het een stabiel referentiepunt op. Dit is cruciaal, omdat het de computer een betrouwbaar nulpunt geeft. In de tweede stap komt het systeem afbeeldingen tegen die laesies bevatten, zoals noduli of gebieden met ontsteking. Voor elke patch met zieke weefsel gebruikt het systeem zijn kennis van gezonde anatomie om te schatten hoe die patch eruit zou zien als deze niet ziek was. Het trekt vervolgens deze geschatte gezonde versie af van de werkelijke zieke afbeelding. Het resultaat is een duidelijk signaal dat alleen de pathologische verandering accentueert, waardoor de achtergrondruis van de normale anatomie wordt weggestreept. Dit stelt het model in staat om te leren dat een "pulmonale nodulus" niet zomaar een willekeurige vorm is, maar een specif kind van visuele verandering ten opzichte van het normale longweefsel.

Om dit idee te testen, pasten de onderzoekers hun methode toe op verschillende bestaande medische kunstmatige intelligentiemodellen en evalueerden ze deze op twee grote publieke datasets met CT-scans van de borstkas. Eén dataset bevatte meer dan tweeduizend afbeeldingen met gedetailleerde aantekeningen over vier specifieke soorten longcondities, terwijl de andere honderden scans bevatte met deskundige annotaties voor longnoduli. De resultaten lieten een dramatische verbetering zien in het vermogen van de modellen om twee kritieke taken uit te voeren: het lokaliseren van de exacte positie van een laesie op de scan en het correct identificeren van het type ziekte. Wanneer het bijvoorbeeld werd getest op een van de modellen, sprong het vermogen om de exacte locatie van een probleem correct aan te duiden van ongeveer tien procent nauwkeurigheid naar meer dan vijftig procent. Op dezelfde manier verdrievoudigde de nauwkeurigheid van het identificeren van het specifieke ziekte type in sommige gevallen. De onderzoekers observeerden dat naarmate ze het systeem meer voorbeelden van zieke weefsels voerden, het vermogen om tussen verschillende soorten condities te onderscheiden scherper werd, net zoals een student die leert het verschil te zien tussen vergelijkbare vogels nadat hij veel meer voorbeelden heeft gezien.

De studie toonde ook aan dat deze aanpak goed werkt wanneer de computer wordt gevraagd om volledige geschreven rapporten over de scans te genereren, een taak die bekend staat als radiologieverslaggeneratie. In deze tests waren de modellen uitgerust met de nieuwe methode in staat om rapporten te produceren die niet alleen nauwkeuriger waren in hun beschrijvingen, maar ook beter in staat waren om die beschrijvingen te koppelen aan de juiste delen van de afbeelding. In één specifieke casus faalde een standaardmodel om een ground-glass opacity, een subtiele troebeling in de long, op te merken en rapporteerde dat de scan normaal was. Het model dat de nieuwe methode gebruikte, identificeerde de abnormaliteit echter correct, beschreef de textuur en vorm ervan en merkte de locatie in het onderste deel van de long op. Dit succes suggereert dat door de computer te leren de normale lay-out van het lichaam te begrijpen en vervolgens de afwijking van die lay-out te meten, het systeem een dieper, betrouwbaarder begrip van ziekte krijgt. De onderzoekers concludeerden dat deze manier van leren, waarbij het normale van het abnormale wordt gescheiden door een proces van vergelijking, een krachtig hulpmiddel biedt voor het verbeteren van hoe kunstmatige intelligentie medische beelden interpreteert, wat potentieel leidt tot nauwkeurigere diagnoses en betere ondersteuning voor artsen in de toekomst.