Generated Context versus Governed State: Functional Conditions for Accountable Longitudinal Clinical Reasoning

Decennialang waren de digitale verslagen van onze gezondheid niets meer dan digitale archiefkasten. Wanneer een arts een aantekening maakt over de bloeddruk van een patiënt, of een verpleegkundige een wijziging in medicatie registreert, wordt die informatie opgeslagen als een document, vergelijkbaar met een brief in een lade. Om de huidige conditie van een patiënt te begrijpen, moet een mens door deze brieven lezen, het verhaal in elkaar puzzelen en het volledige beeld in zijn geest vasthouden. Dit was altijd het werk van de clinicus: het reconstrueren van de waarheid over iemands gezondheid uit een verspreide collectie papieren. In de afgelopen jaren zijn krachtige computersystemen, bekend als large language models, gearriveerd, die in staat zijn deze documenten met ongelooflijke snelheid en vloeiendheid te lezen. Ze kunnen de medische geschiedenis van een patiënt in enkele seconden samenvatten en vragen beantwoorden die voorheen uren onderzoek van een mens vereisten. Maar hoewel deze systemen uitstekend zijn in het lezen van tekst, houden ze inherent geen apart, georganiseerd verslag bij van wat er op elk gegeven moment feitelijk waar is over de patiënt. Ze behandelen de medische geschiedenis als een stroom woorden die verwerkt moeten worden, in plaats van als een levende staat die gevolgd moet worden.

Deze kloof tussen vloeiend lezen en accuraat weten is het centrale probleem dat wordt geadresseerd door een nieuw artikel van onderzoekers van MyndwareMed. De auteurs stellen dat het behandelen van een medische geschiedenis als een eenvoudige collectie tekst een fundamentele fout is wanneer men probeert kunstmatige intelligentie te bouwen die vertrouwd kan worden met langdurige zorg. Zij stellen voor dat klinisch redeneren geen leesvaardigheidstest is, maar een probleem van het bijhouden van een veranderende realiteit. Net zoals een robot die een kamer navigeert constant een kaart moet bijwerken van waar muren en deuren zich bevinden, moet een medisch systeem een continu, beheerd verslag van de staat van een patiënt bijhouden. De onderzoekers maken onderscheid tussen twee zeer verschillende manieren van informatieverwerking. De eerste is "gegenereerde context", waarbij de computer relevante documenten verzamelt voor een enkele vraag en deze vervolgens vergeet zodra het antwoord is gegeven. De tweede is een "beheerde staat" (governed state), waarbij het systeem een persistent, versiebeheerend en controleerbaar verslag bijhoudt van wat het gelooft waar te zijn, dat alleen wordt bijgewerkt door strikte regels die scheiden wat werd waargenomen van wat werd afgeleid.

Het artikel beweert niet dat deze nieuwe computermodellen slecht zijn in lezen. Sterker nog, ze zijn vaak beter dan mensen in het vinden van patronen in tekst. Het probleem is dat het lezen van het dossier niet hetzelfde is als de patiënt kennen. De onderzoekers laten zien dat huidige systemen vaak een geschreven aantekening verwarren met een medisch feit, of een ontbrekend document met een ontbrekende conditie. Bijvoorbeeld: als een patiënt tien jaar geleden een nierprobleem had maar het afgelopen jaar geen tests heeft ondergaan, zou een standaard systeem met vertrouwen kunnen stellen dat de nieren van de patiënt in orde zijn omdat de meest recente aantekening niets fout vermeldt. Een systeem met een beheerde staat zou echter herkennen dat de laatste bekende meting oud is en dat de huidige status onbekend is. Het zou expliciet de leemte in informatie signaleren in plaats van deze in te vullen met een zelfverzekerde gok. Dit onderscheid is essentieel, want in de geneeskunde kan het verschil tussen "we weten dat dit waar is" en "we hebben geen bewijs gezien hiervan" bepalen of een behandeling veilig of gevaarlijk is.

Om dit op te lossen, breken de auteurs het rommelige proces van medisch redeneren af in vijf afzonderlijke objecten die nooit door elkaar gehaald mogen worden. Ten eerste is er de ware staat van de patiënt, wat de werkelijke fysieke conditie van hun lichaam is; geen enkel systeem kan deze direct bezitten, alleen inschatten. Ten tweede zijn er de observaties, wat de specifieke metingen of aantekeningen zijn die door het zorgteam zijn gemaakt. Ten derde is er het bewijs (evidence), wat de ruwe data is die door het systeem is opgenomen, compleet met een verslag van wanneer het is geschreven, wanneer het is ontvangen en wie het heeft geschreven. Ten vierde is er het geloof (belief), wat de huidige beste schatting van het systeem over de conditie van de patiënt is, gebaseerd op alle bewijzen die het tot nu toe heeft gezien. Ten slotte is er de simulatie, een hypothetisch scenario dat wordt gebruikt om "wat als"-vragen te testen, zoals wat er zou gebeuren als een patiënt een ander medicijn zou nemen. Het artikel betoogt dat de meeste huidige kunstmatige intelligentiesystemen deze vijf afzonderlijke zaken samenvoegen tot één, waarbij ze de geaccumuleerde aantekeningen behandelen alsof ze de huidige waarheid zijn. Dit leidt tot fouten waarbij oude informatie als nieuwe informatie wordt behandeld, of waar een gok wordt verward met een feit.

De onderzoekers stellen een nieuwe standaard voor hoe deze systemen gebouwd moeten worden, georganiseerd in een gelaagd framework dat meet hoe goed een systeem de staat van de patiënt beheert. Op het laagste niveau kan een systeem simpelweg tekst opslaan. Op hogere niveaus begint het die tekst te organiseren in gestructureerde feiten met duidelijke bronnen en tijdstempels. Het meest geavanceerde niveau vereist dat het systeem een apart "geloof"-object onderhoudt dat onderscheidend is van het ruwe bewijs. Dit geloof-object moet in staat zijn om onzekerheid te tonen, zoals het toegeven dat een meting ontbreekt of dat twee verschillende artsen tegenstrijdige rapporten hebben gegeven. Cruciaal is dat dit systeem in staat moet zijn zijn eigen geschiedenis af te spelen. Als een arts vraagt: "Wat geloofde je drie maanden geleden over de hartconditie van deze patiënt?", moet het systeem exact de staat van zijn kennis op dat moment kunnen reconstrueren, gebaseerd op het bewijs dat toen beschikbaar was, en niet op het bewijs dat vandaag beschikbaar is. Dit vermogen om terug te kijken en te zien hoe het begrip van het systeem in de loop van de tijd is veranderd, is wat de auteurs verantwoording (accountability) noemen.

Het artikel introduceert ook een specifieke manier om met ontbrekende informatie om te gaan. In een standaard systeem, als een dossier niet vermeldt dat er sprake is van een allergie, kan het systeem aannemen dat de patiënt geen allergieën heeft. In een beheerd systeem wordt de afwezigheid van informatie behandeld als een specifiek type datapunt. Het systeem leert te onderscheiden tussen "geen allergieën gedocumenteerd" (betekenis: de vraag is nooit gesteld), "patiënt rapporteert geen allergieën" (een gerapporteerde negatieve bevinding) en "allergietest negatief" (een geobserveerde negatieve bevinding). Elk van deze draagt een andere mate van zekerheid in zich en vereist een andere klinische respons. Door deze afwezigheden correct te typen, vermijdt het systeem de gevaarlijke gewoonte om aan te nemen dat stilte gelijkstaat aan veiligheid. De auteurs demonstreren dit met een gedetailleerd voorbeeld van een patiënt met nierproblemen over zes jaar. Een standaard systeem, dat alleen naar de meest recente aantekening kijkt, zou een risicovolle medische procedure kunnen aanbevelen. Een beheerd systeem, dat de tijdlijn van metingen en de hiaten tussen hen bijhoudt, zou correct identificeren dat de huidige nierfunctie onbekend is en een nieuwe test zou aanbevelen voordat er wordt doorgegaan.

Dit werk wordt gepresenteerd als een conceptueel blauwdruk in plaats van een afgewerkt product. De auteurs zijn duidelijk over het feit dat ze nog niet hebben bewezen dat deze nieuwe architectuur in een real-world trial leidt tot betere patiëntuitkomsten. In plaats daarvan hebben ze de noodzakelijke voorwaarden gedefinieerd waaraan een dergelijk systeem moet voldoen en een manier geboden om elk toekomstig systeem te auditeren om te zien of het aan die voorwaarden voldoet. Ze betogen dat de huidige focus op het slimmer en sneller maken van taalmodellen de plank misslaat. De echte uitdaging ligt niet in de intelligentie van de lezer, maar in de governance van de staat die hij leest. Ze suggereren dat voor kunstmatige intelligentie werkelijk verantwoordelijk te zijn in een ziekenhuissetting, het verder moet gaan dan simpelweg tekst genereren en moet beginnen met het onderhouden van een persistent, versiebeheerend en controleerbaar verslag van wat het weet en wat het niet weet. Het artikel concludeert door een onderzoeksprogramma te schetsen om deze systemen te bouwen, beginnend bij de basisinfrastructuur voor het volgen van bewijs en bewegend naar een volledig model van hoe patiënten in de loop van de tijd veranderen. Het doel is om de vage belofte van "verantwoorde AI" om te zetten in een concrete set engineering-vereisten die gecontroleerd, getest en vertrouwd kunnen worden.