Framework for Grounding Healthcare LLMs in a Causal Knowledge Graph: A Cardiovascular Example

In de stille ruis van een ziekenhuis wenden artsen zich vaak tot digitale hulpmiddelen om te helpen beslissen wat de beste behandelmethode voor een patiënt is. Deze hulpmiddelen, aangedreven door geavanceerde computerprogramma's die bekend staan als grote taalmodellen, kunnen enorme bibliotheken aan medische teksten lezen en met indrukwekkende snelheid antwoorden suggereren. Er blijft echter een cruciale vraag bestaan: begrijpt de computer werkelijk de keten van oorzaak en gevolg die een medicijn verbindt met het herstel van een patiënt, of raadt het simpelweg het juiste antwoord op basis van patronen die het heeft onthouden? Jarenlang hebben wetenschappers deze systemen getest door ze de juiste optie uit een lijst te laten kiezen, vergelijkbaar met een meerkeuzetoets. Maar in de geneeskunde kan het geven van het juiste antwoord om de verkeerde reden gevaarlijk zijn. Een model kan een levensreddend medicijn suggereren terwijl het een verzonnen reden verzint waarom het werkt, of het kan een verborgen gevaar missen dat het medicijn onveilig maakt voor een specif kind of persoon. Om echt betrouwbare medische assistenten te bouwen, moeten onderzoekers een manier vinden om in het denken van de machine te kijken, en niet alleen naar de uiteindelijke keuze.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om deze systemen te testen, waarbij de focus specifend ligt op hoe zij redeneren over oorzaak en gevolg in de hartzorg. In plaats van alleen te controleren of het uiteindelijke antwoord correct is, hebben zij een raamwerk gebouwd dat elk medisch feit behandelt als een afzonderlijk, verifieerbaar stuk bewijs. Stel je een enorme, digitale bibliotheek voor waar elk afzonderlijk bewijs — zoals "dit medicijn verlaagt de bloeddruk" — een fysieke kaart is met een uniek ID-nummer, een bronvermelding en een opmerking over hoe sterk het bewijs is. Dit is de basis van hun nieuwe systeem. Ze creëerden een gespecialiseerde kaart van hartgerelateerde kennis waar deze kaarten in een logische keten met elkaar verbonden zijn, die precies laat zien hoe een behandeling leidt tot een biologische verandering en vervolgens tot een betere gezondheidsuitkomst. Deze kaart stelt hen in staat om niet alleen te zien wat de computer besloot, maar ook of het de juiste weg van redenering volgde om daar te komen.

Om dit systeem op de proef te stellen, creëerden de onderzoekers een reeks realistische patiëntenscenario's, variërend van een oudere volwassene met een hoge bloeddruk tot een zwangere vrouw die bepaalde medicijnen niet mag gebruiken. Vervolgens vroegen ze een krachtig computermodel om deze problemen op te lossen onder vier verschillende omstandigheden. In de eerste conditie ontving het model alleen het patiëntverhaal en moest het vertrouwen op zijn eigen interne geheugen, zonder externe hulp. In de andere drie condities kreeg het model toegang tot delen van de digitale bibliotheek, maar werd de informatie op verschillende manieren gepresenteerd: soms als een eenvoudige lijst met feiten, soms als een duidelijke keten van oorzaak en gevolg, en soms als een volledig geïntegreerde gids die feiten, oorzaken en veiligheidswaarschuwingen combineert. Door te kijken naar hoe het model in elke situatie presteerde, konden de onderzoekers precies zien hoe de manier waarop informatie wordt gepresenteerd de kwaliteit van het redeneren van de computer verandert.

De resultaten onthulden een verrassende en belangrijke waarheid over hoe deze systemen werken. Wanneer het model aan zijn lot werd overgelaten, zonder externe feiten om tegen te controleren, had het bijna 95 procent van de tijd het juiste antwoord. Het klonk zelfverzekerd en koos de juiste medicijnen. Echter, toen de onderzoekers dieper keken, ontdekten ze dat dit hoge cijfer misleidend was. Het model raadde vaak correct zonder het mechanisme te begrijpen, en het verzon de meest frequent ongegronde redenen die niet door echt medisch bewijs werden ondersteund. In tegenstelling hiermee, toen het model de geïntegreerde gids kreeg die de volledige keten van oorzaak en gevolg samen met veiligheidswaarschuwingen toonde, daalde de ruwe nauwkeurigheid van het uiteindelijke antwoord lichtjes. Toch werd het model in deze gegronde staat veel betrouwbaarder op andere cruciale punten. Het identificeerde correct de specifieke biologische stappen die het medicijn met de genezing verbinden, het merkte potentiële bijwerkingen en gevaarlijke interacties veel vaker op, en het stopte met het verzinnen van ongefundeerde claims. Het model dat het meest zelfverzekerd klonk, was eigenlijk degene die het meest waarschijnlijk feiten aan het hallucineren was, terwijl het model dat de gestructureerde gids gebruikte, de medische logica werkelijk begreep.

De studie toonde ook aan dat deze nieuwe methode subtiele fouten kan ontdekken die traditionele tests zouden missen. Bijvoorbeeld, in gevallen waar het medische bewijs incompleet of onzeker was, gaf het model dat de gids gebruikte correct toe dat het geen zelfverzekerde aanbeveling kon doen. Een standaardtest die alleen naar het uiteindelijke antwoord keek, zou deze aarzeling als een fout hebben gemarkeerd, maar dit nieuwe raamwerk herkende het als het juiste, veilige gedrag. De onderzoekers ontdekten dat het systeem het verschil kon zien tussen een model dat simpelweg een feit was vergeten en een model dat de structuur van de vraag verkeerd had begrepen. Door elke individuele claim die het model maakte te volgen tegen de unieke ID-nummers in hun digitale bibliotheek, konden ze precieze scores berekenen voor hoe goed de computer de causale keten reconstrueerde, hoe nauwkeurig het bewijs citeerde en hoe vaak het feiten verzint.

Dit werk beweert niet dat een specifelijk computerprogramma klaar is om een arts te vervangen, noch verklaart het één methode van informatieverstrekking als de absoluut beste voor elke situatie. In plaats daarvan biedt het een nieuwe lens om deze hulpmiddelen te evalueren. De onderzoekers hebben aangetoond dat een enkele score voor "juistheid" niet genoeg is om een medische AI te beoordelen. Een systeem kan per ongeluk gelijk hebben en bij ontwerp fout zitten, en alleen een raamwerk dat de redeneerstappen controleert, kan het verschil zien. Door elke evaluatie te verankeren aan een geverifieerde kaart van medische feiten, biedt deze aanpak een manier om ervoor te zorgen dat toekomstige medische assistenten niet alleen vloeiende sprekers zijn, maar doordachte, op bewijs gebaseerde partners in de zorg. De pilotstudie dient als een bewijs van concept, dat aantoont dat het mogelijk is om een testomgeving te bouwen die de diepte van begrip meet, en niet alleen de oppervlakte van het antwoord.