Eyes on the Image: Gaze Supervised Multimodal Learning for Chest X-ray Diagnosis and Report Generation

In de stille, zwak verlichte kamers van een radiologieafdeling bestudeert een arts een zwart-witbeeld van een menselijke borstkas. Dit is een röntgenfoto van de borst, een platte afbeelding die een driedimensionale wereld van botten, lucht en vocht verbergt. Om een ziekte te vinden, kijkt de arts niet willekeurig naar de afbeelding; hun ogen bewegen in een specifiek, geoefend patroon, waarbij ze blijven hangen op bepaalde plekken waar een schaduw een gebroken rib of een vlek vocht zou kunnen verbergen. Deze visuele zoektocht is een vorm van stilzwijgende redenering, een manier om wat gezien wordt te verbinden met wat bekend is over het menselijk lichaam. Decennialang hebben computers geprobeerd deze vaardigheid te leren door de pixels van röntgenfoto's te analyseren om ziekten op te sporen. Hoewel machines echter goed zijn geworden in het identificeren dat een ziekte bestaat, worstelen ze vaak met het begrijpen van precies waar ze moeten kijken, en falen ze regelmatig in het uitleggen van hun bevindingen in de heldere, ruimtelijke taal die artsen gebruiken. Ze kunnen zeggen dat een patiënt een longontsteking heeft, maar ze kunnen niet naar het specifieke gebied van de long wijzen dat ziek is, noch kunnen ze het met dezelfde precisie beschrijven als een menselijke expert.

Een nieuwe studie van onderzoekers aan de BRAC University in Dhaka, Bangladesh, probeert deze kloof te overbruggen door computers te leren hoe menselijke ogen bewegen. Het team bouwde een systeem dat niet alleen naar de röntgenfoto kijkt, maar ook de geregistreerde oogbewegingen van radiologen bestudeert terwijl zij diezelfde beelden lezen. Door de foto van de borstkas, de tekst van het verslag van de arts en een kaart van waar de ogen van de arts pauzeerden en zich concentreerden te combineren, creëerden de onderzoekers een model dat leert kijken naar de borstkas zoals een mens dat doet. Voor de helft van hun gegevens incorporeert het systeem ook contouren van anatomische regio's; voor de andere helft, waar deze contouren ontbraken in de oorspronkelijke dossiers, genereert het systeem ze computationeel met behulp van een gespecialiseerd detectiemodel. Het resultaat is een computersysteem dat niet alleen ziekten met hogere nauwkeurigheid diagnosticeert, maar ook medische rapporten genereert die geworteld zijn in de specifieke delen van de long waar het probleem werd gevonden, waarbij het de zorgvuldige, stapsgewijze aandacht van een menselijke expert nabootst.

De onderzoekers begonnen met een enorme collectie röntgenfoto's van de borstkas, maar ze hadden meer nodig dan alleen de plaatjes. Ze verzamelden een dataset die de werkelijke eye-trackinggegevens van radiologen bevatte, die de exacte coördinaten vastleggen van waar een arts keek, hoe lang, en zelfs de grootte van hun pupil op dat moment. Ze namen ook de geschreven rapporten op die de artsen produceerden. Voor de regio's van de borstkas maakten ze gebruik van bestaande contouren waar beschikbaar, maar voor studies waar deze ontbraken, trainden ze een lichtgewicht detectiemodel om de noodzakelijke grenzen af te leiden. De uitdaging was om een computer te leren deze vier verschillende stromen informatie te versmelten — de afbeelding, de tekst, de contouren (of ze nu origineel of afgeleid zijn) en de oogbewegingen — tot één enkel begrip. Het team ontwierp een proces in twee fasen om dit te bereiken. In de eerste fase leert de computer de patiënt te diagnosticeren. De computer bekijkt de röntgenfoto en de eye-trackingkaart gelijktijdig. In plaats van simpelweg te gokken, wordt het model getraind om aandacht te besteden aan dezelfde plekken waar de ogen van de menselijke arts vertoelden. Als de blik van de arts zwaar op de rechteronderkant van de long gericht was, leert de computer dat gebied zwaarder mee te wegen bij het beslissen of er vocht of een infectie aanwezig is. Deze training werkt als een gids die de aandacht van de computer stuurt naar de klinisch belangrijke gebieden en weg van irrelevante ruis.

De resultaten van deze training waren meetbaar en significant. Wanneer de computer werd onderwezen om de menselijke blik te volgen, verbeterde het vermogen om ziekten correct te identificeren merkbaar. De nauwkeurigheid van het systeem bij het detecteren van diverse aandoeningen steeg met een duidelijke marge, en het vermogen om overeen te komen met de focus van de menselijke arts werd veel sterker. Specifiek verbeterde de afstemming tussen waar de computer keek en waar de mens keek tot een niveau dat wijst op een echt begrip van de visuele taak, in plaats van slechts een gelukkige gok. De computer begon aandachtskaarten te produceren die opvallend veel leken op de heatmaps van menselijke oogbewegingen, waarbij dezelfde donkere plekken en structurele afwijkingen werden geaccentueerd die een arts zou markeren. Dit bewees dat de eye-trackinggegevens niet slechts extra informatie waren, maar een cruciale sleutel tot het ontsluiten van betere diagnostische prestaties.

Zodra de computer leerde de patiënt te diagnosticeren met deze nieuwe, op de blik gerichte focus, gingen de onderzoekers over naar de tweede fase: het schrijven van het verslag. In het verleden klonken door computers gegenereerde rapporten vaak robotachtig of vaag, waarbij ziekten werden opgesomd zonder uit te leggen waar ze zich bevonden. Het nieuwe systeem veranderde dit door de specifieke regio's te gebruiken die de computer had geïdentificeerd. Het nam het vertrouwen van de diagnose en koppelde dit aan zeventien verschillende anatomische gebieden van de borstkas, zoals de bovenste linkerlong of het gebied rond het hart. Vervolgens gebruikte het een krachtig taalmiddel om deze bevindingen om te zetten in zinnen die klonken als een echt medisch verslag. In plaats van simpelweg te zeggen "pneumonie is aanwezig", kon het systeem een zin genereren zoals "er is een opaciteit in het rechteronderveld van de long", waarbij de ziekte direct wordt gekoppeld aan de specifieke locatie die het zojuist heeft geanalyseerd.

De kwaliteit van deze gegenereerde rapporten werd getest tegen menselijke standaarden, en het systeem presteerde goed. De rapporten die het produceerde waren niet alleen grammaticaal correct, maar ook semantisch accuraat, wat betekent dat de gebruikte woorden overeenkwamen met de medische realiteit van de afbeelding. Het systeem bereikte een hoog niveau van overeenstemming met de grondwaarheid van wat een menselijke radioloog zou schrijven, met name in de manier waarop het de bevindingen beschreef. Hoewel er nog enkele kleine tekortkomingen waren in de meest complexe details, was de algehele output een belangrijke stap voorwaarts in het betrouwbaar en bruikbaar maken van door de machine gegenereerde medische tekst. De onderzoekers ontdekten dat door de taal te funderen in het visuele bewijs en de oogbewegingen van experts, de computer kon voorkomen dat het feiten verzon of dingen beschreef die er eigenlijk niet waren.

Dit werk demonstreert dat de manier waarop een mens naar een probleem kijkt, een waardevol signaal is waar machines van kunnen leren. Door de subtiele aanwijzingen van oogbewegingen in het leerproces te integreren, hebben de onderzoekers een systeem gecreëerd dat transparanter en betrouwbaarder is dan eerdere modellen. De computer ziet niet alleen een afbeelding; de computer ziet de afbeelding door de lens van de menselijke aandacht. Deze aanpak biedt een nieuw pad voor medische kunstmatige intelligentie, waarbij de redenering van de machine kan worden teruggevoerd naar specifieke delen van een afbeelding, net zoals de redenering van een arts kan worden teruggevoerd naar hun observaties. De studie concludeert dat hoewel de technologie nog niet perfect is, de combinatie van visuele data, eye-tracking en taalgeneratie een krachtig hulpmiddel vormt voor het interpreteren van röntgenfoto's van de borstkas, wat een toekomst biedt waarin AI-ondersteuning in de geneeskunde niet alleen accuraat is, maar ook begrijpelijk en afgestemd op menselijke expertise.