When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

In de wereld van de moderne geneeskunde vertrouwen artsen vaak op gespecialiseerde instrumenten om ruwe patiëntgegevens om te zetten in heldere antwoorden. Deze instrumenten, bekend als klinische calculators, nemen specifieke getallen — zoals het gewicht, de leeftijd of de uitslagen van een bloedtest van een persoon — en passen daar een vaste set regels op toe om een score of een categorie te produceren die helpt bij het sturen van de behandeling. Jarenlang werden deze instrumenten aangestuurd door computers die strikte, onveranderlijke instructies volgden, wat ervoor zorgde dat de wiskunde altijd perfect was. Onlangs is er een nieuw soort computerprogramma opgekomen: large language models. Dit zijn systemen die zijn getraind op enorme hoeveelheden tekst en die een patiëntverhaal kunnen lezen, de context kunnen begrijpen en kunnen proberen de juiste calculator te kiezen en de berekening voor je uit te voeren. De hoop is dat deze systemen kunnen fungeren als intelligente assistenten, die de kloof overbruggen tussen een rommelig medisch narratief en een precies numeriek resultaat. Er blijft echter een kritische vraag bestaan: als een computerprogramma zegt dat het de berekening correct heeft uitgevoerd, betekent dat dan ook dat het in de eerste plaats de juiste tool voor de klus heeft gekozen?

Een team onderzoekers aan de University of South Florida zette zich af om precies deze vraag te testen met behulp van een specif으로 type computersysteem dat ontworpen is om extra voorzichtig te zijn. Ze bouwden een pipeline die fungeert als een bewaker bij een poort. Wanneer een patiëntengeval wordt gepresenteerd, beslist het systeem eerst welke calculator gebruikt moet worden. Vervolgens extraheert het de noodzakelijke getallen uit de tekst, voert het de berekening uit met behulp van een rigide, foutloos computerprogramma, en controleert tot slot zijn eigen werk door te proberen het antwoord op een andere manier weer te geven om te zien of de getallen nog steeds overeenkomen. De onderzoekers wilden weten of deze interne controle op consistentie voldoende was om veiligheid te garanderen. Hun studie, waarbij het systeem werd getest op meer dan duizend dossiers en een aparte set echte medische casusrapportages, onthulde een verrassende en potentieel gevaarlijke tekortkoming. Het systeem kon aan al zijn interne controles voldoen en een wiskundig consistente uitkomst produceren, zelfs wanneer het de volkomen verkeerde calculator had gekozen voor de conditie van de patiënt.

De onderzoekers evalueerden hun systeem, dat ze CIBB-Guard noemden, tegenover een standaardmethode waarbij de computer direct vragen wordt gesteld. In een grote test met meer dan duizend dossiers, waarvan de meeste synthetisch of door computers gegenereerd waren, presteerde het bewuste systeem aanzienlijk beter. Het produceerde het juiste antwoord in ongeveer zestig procent van de gevallen, terwijl de directe benadering slechts in ongeveer tien procent van de gevallen slaagde. Deze verbetering kwam voort uit het vermogen van het systeem om een regel te selecteren, gegevens te extraheren en de wiskunde te verifiëren. Echter, de echte test kwam toen de onderzoekers naar gevallen keken waarin helemaal geen calculator gebruikt had mogen worden. Ze namen zeventien de-geïdentificeerde medische casusrapporten en lieten menselijke experts deze classificeren als ofwel geschikt of ongeschikt voor de geteste calculators. In de gevallen waarin de calculators niet van toepassing waren, weigerde het bewuste systeem in eenentwintig van de drieëndertig gevallen correct een antwoord te geven. Maar in de resterende twaalf gevallen gaf het systeem zelfverzekerd een antwoord, en dat antwoord voldeed aan de eigen interne verificatiecontroles.

Hier ligt de kern van de ontdekking. In die twaalf ongepaste gevallen had het systeem een calculator gekozen die niet paste bij het verhaal van de patiënt, maar de wiskunde die het uitvoerde was intern consistent. Het systeem controleerde zijn werk door de getallen in een alternatieve vorm weer te geven, en de twee versies kwamen overeen. Deze overeenkomst bevestigde dat de computer de gekozen regel correct had uitgevoerd, maar het bevestigde niet dat de regel de juiste was om te gebruiken. Sterker nog, in bijna al deze foutieve gevallen was de interne controle succesvol voltooid. De studie toonde aan dat het eigen veiligheidsnet van het systeem, dat ontworpen was om rekenfouten op te vangen, blind was voor de fout van het kiezen van de verkeerde tool in zijn geheel. Wanneer het systeem werd getest op gevallen waarin een calculator eigenlijk wel gepast had, slaagde het er slechts in om in vier van de drieënveertig gevallen een correct antwoord te geven, een resultaat dat niet statistisch significant verschilde van de directe benadering, wat onderstreept dat het systeem nog steeds worstelt met de complexe taak om een patiëntverhaal te matchen met de juiste regel.

De onderzoekers benadrukken dat hun bevindingen niet betekenen dat het systeem nutteloos is, maar eerder dat het incompleet is. De studie maakte gebruik van een enkele, bevroren versie van een computermodel en een specifieke bibliotheek van twaalf calculators. De resultaten laten zien dat hoewel het systeem de nauwkeurigheid van de uitvoering van de wiskunde kan verbeteren en willekeurige fouten kan verminderen, het nog niet in staat is om te bepalen of een calculator toepasbaar is op een specifieke patiënt zonder menselijk toezicht. Het feit dat het systeem zijn interne controles passeerde bij foutieve antwoorden suggereert dat het uitsluitend vertrouwen op wiskundige consistentie niet genoeg is om klinische veiligheid te garanderen. De auteurs concluderen dat voordat een dergelijk systeem in een ziekenhuis gebruikt kan worden, er een aparte, onafhankelijke controle moet zijn om te verifiëren dat de gekozen calculator daadwerkelijk geschikt is voor de casus, in plaats van alleen maar te controleren of de wiskunde klopt. Het werk dient als een waarschuwing dat een computer perfect consistent kan zijn terwijl hij volledig de plank misslaat wat betreft de context, en dat het in de geneeskunde even belangrijk is om de juiste tool te kiezen als om de wiskunde correct uit te voeren.