MIRROR: Multimodal Intelligent Radiology Reasoning and Observation Reporter

In de wereld van medische beeldvorming is een computerprogramma dat naar een foto van een menselijke borstkas kijkt en een ziekte opspoort, geen fantasie meer; het is een realiteit die al is gearriveerd. Deze programma's, gebouwd op deep learning, kunnen duizenden röntgenfoto's scannen en patronen van ziekte identificeren die vaak overeenkomen met de vaardigheid van een menselijke specialist. Toch, om een arts een dergelijke machine te laten vertrouwen, moet de computer meer doen dan alleen een getal fluisteren. Het moet zichzelf uitleggen. Het moet naar de plek op de afbeelding wijzen waar het het probleem ziet en beschrijven waarom het denkt dat die plek ziek is. Het gevaar ontstaat wanneer een computer probeert een rapport voor een arts te schrijven. Als de computer de afbeelding mag bekijken terwijl hij het rapport schrijft, kan hij details verzinnen die volkomen professioneel klinken, maar die nooit daadwerkelijk zijn gezien door het deel van het systeem dat de diagnose stelt. Dit creëert een stille kloof tussen wat de machine weet en wat hij zegt te weten, een kloof die een arts een gevaarlijke fout kan laten maken.

Een onderzoeksteam heeft een prototype-systeem gebouwd genaamd MIRROR om dit specifieke probleem van vertrouwen op te lossen. Het systeem is ontworpen met een strikte regel: het deel van de software dat het rapport schrijft, mag de röntgenfoto nooit zien. In plaats daarvan wordt de afbeelding eerst geanalyseerd door een classifier die simpelweg opsomt welke ziekten aanwezig zijn en hoe waarschijnlijk ze zijn. Een tweede hulpmiddel markeert vervolgens het algemene gebied op de afbeelding waar die ziekten voorkomen. Alleen deze lijst met bevindingen en locaties wordt doorgegeven aan de schrijfmotor. Omdat de schrijver de foto niet kan zien, is het fysiek onmogelijk voor hem om een nieuwe ziekte te verzinnen of een detail te beschrijven dat hij niet heeft ontvangen. De onderzoekers testten dit systeem op röntgenfoto's van de borstkas en ontdekten dat, hoewel de computer erg goed was in het rangschikken van welke ziekten het meest waarschijnlijk waren, het moeite had met het nemen van een definitieve beslissing over de meeste van hen. Belangrijker nog, ze ontdekten dat zelfs wanneer de computer een vloeiend, professioneel klinkend rapport schreef, het vaak specifieke medische metingen bevatte die het systeem nooit daadwerkelijk had berekend.

Het team construeerde deze pijplijn in drie afzonderlijke stappen om ervoor te zorgen dat het uiteindelijke rapport eerlijk bleef. Ten eerste scant een neuraal netwerk, een type computerprogramma gemodelleerd naar het menselijk brein, de röntgenfoto en wijst een waarschijnlijkheidsscore toe aan veertien verschillende soorten borstkascondities. Ten tweede kijkt een lokalisatie-instrument naar dezelfde afbeelding en tekent een ruwe kaart die laat zien waar de computer denkt dat de ziekte zich bevindt, waarbij de locatie wordt vertaald naar een eenvoudige naam zoals "bovenkant linkerlong". Ten derde neemt een taalmodel alleen de lijst met ziekten, hun scores en hun benoemde locaties om het uiteindelijke medische rapport te schrijven. De cruciale ontwerpkeuze hier is dat het taalmodel de röntgenfoto zelf nooit ziet. Het is als een secretaresse die een getypte lijst met feiten krijgt overhandigd en wordt gevraagd een verhaal te schrijven, maar die verboden is om de originele documenten te bekijken. Dit zorgt ervoor dat de lijst met ziekten in het rapport exact overeenkomt met de lijst die de computer heeft gevonden, waardoor voorkomt dat het systeem een conditie hallucineert die nooit is gedetecteerd.

Toen de onderzoekers dit systeem testten op een grote collectie röntgenfoto's van de borstkas, onthulden de resultaten een complex beeld van wat de machine wel en niet kon. De computer was verrassend goed in het begrijpen van de structuur van de afbeeldingen. Het kon het verschil zien tussen een gezonde borstkas en een zieke, en het rangschikte de waarschijnlijkheid van ziekten op een manier die veel beter was dan willekeurig gokken. Voor sommige aandoeningen, zoals vocht in de longen of een vergroot hart, was het systeem vrij accuraat. Echter, wanneer het werd gevraagd om een definitieve beslissing te nemen over de vraag of een ziekte aanwezig was of niet, bleef het systeem bij elf van de veertien condities waarop het getraind was om te zoeken stil. Het voelde simpelweg niet zelfverzekerd genoeg om voor de meeste van hen "ja" of "nee" te zeggen. Deze stilte was geen ontwerpkeuze, maar een gevolg van de trainingsdata en de lage resolutie van de afbeeldingen die in de test werden gebruikt. Het systeem leerde patronen te herkennen, maar had niet geleerd om de moeilijke keuzes te maken die vereist zijn voor een klinische diagnose.

Misschien wel de meest onthullende bevinding kwam voort uit het bekijken van de rapporten die het systeem genereerde. Omdat het schrijfgedeelte van het systeem zo vloeiend was, produceerde het tekst die precies klonk als een rapport geschreven door een menselijke arts. De onderzoekers ontdekten echter dat deze vloeiendheid een verborgen prijs had. In één voorbeeld stelde het rapport dat de hartgrootte normaal was en dat de hoeken aan de onderkant van de longen helder waren. Het systeem had nooit de hartgrootte gemeten, noch had het die hoeken gecontroleerd. Het had simpelweg die zinnen ingevuld omdat dit veelvoorkomende zinnen zijn in medische rapporten. Het systeem was correct over de ziekten die het had gedetecteerd, maar het verzinde de details eromheen. Dit demonstreerde een kritieke grens: het systeem kon garanderen dat de lijst met ziekten echt en controleerbaar was, maar het kon niet garanderen dat de zinnen die hen beschreven waar waren. Het rapport was geworteld in het bewijs voor de gevonden ziekten, maar ongeworteld in de details die het verzinde om het verhaal compleet te maken.

De onderzoekers toonden ook aan dat deze architectuur kan worden aangepast voor andere soorten medische scans, zoals hersen-MRI's of hoofd-CT's, door simpelweg een lijst met namen en termen te veranderen in plaats van de volledige computercode te herschrijven. Dit suggereert dat de methode van het scheiden van detectie en schrijven een flexibel instrument is dat in verschillende medische velden zou kunnen werken. De onderzoekers waren echter voorzichtig om te vermelden dat dit een onderzoeksprototype is, geen medisch apparaat dat klaar is voor ziekenhuizen. Het systeem is nog niet getest op echte patiënten, en de onderzoekers hebben nog niet gemeten of het hebben van deze rapporten artsen daadwerkelijk helpt om betere beslissingen te nemen. Het werk dient als een bewijs van concept, dat laat zien dat het mogelijk is om een systeem te bouwen waarbij de feiten worden vastgelegd, zelfs als de omliggende tekst dat niet is.

Uiteindelijk ligt de waarde van dit werk in de helderheid van de grenzen. Het systeem bewijst dat je een machine kunt bouwen die niet kan liegen over wat hij heeft gevonden, omdat het deel dat het rapport schrijft is afgesneden van de afbeelding. Maar het bewijst ook dat een machine nog steeds zelfverzekerd kan klinken over zaken die hij niet weet. De onderzoekers concluderen dat we voor beslissingen met een hoge inzet in de geneeskunde zeer voorzichtig moeten zijn met wat we vertrouwen. We kunnen de lijst met bevindingen vertrouwen als het systeem op deze manier is gebouwd, maar we kunnen de omliggende tekst niet vertrouwen tenzij deze door een mens wordt gecontroleerd. Het systeem vervangt de arts niet; in plaats daarvan biedt het een nieuwe manier om te zien waar de machine zeker is en waar hij slechts aan het gissen is, waardoor een zwarte doos wordt omgezet in een transparant proces dat een mens kan controleren.