Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

In het snel evoluerende landschap van kunstmatige intelligentie is een nieuwe klasse hulpmiddelen ontstaan om een specifiek probleem aan te pakken: hoe machines te laten kiezen tussen vaste opties zonder lange verklaringen uit te schrijven. Traditioneel beantwoorden grote taalmodellen vragen door tekst woord voor woord te genereren, een proces dat flexibel is maar traag en duur kan zijn. Een nieuwere benadering, bekend als besluitvormingsmodellering (decision modeling), slaat de tekstgeneratie volledig over. In plaats daarvan kijkt het model naar een lijst met mogies antwoorden die door de gebruiker worden verstrekt en wijst een waarschijnlijkheidsscore toe aan elk ervan, waarbij het in essentie zegt: "Ik ben 90 procent zeker dat dit het juiste antwoord is, en 10 procent zeker dat het dat andere is." Deze methode is sneller en goedkoper, maar roept een cruciale vraag op voor hoogwaardige velden zoals de geneeskunde: kunnen deze machines weten wanneer ze het fout hebben? Als een model er zeer zeker van is, maar het toch fout heeft, kan dit leiden tot gevaarlijke fouten. De uitdaging is om een manier te vinden waarop het systeem zijn eigen onzekerheid herkent en moeilijke gevallen overdraagt aan een menselijke expert of een krachtigere computer voordat er een fout optreedt.

Onderzoekers aan het Inje University College of Medicine zetten zich in om te testen of deze beslissingsmodellen betrouwbaar hun eigen fouten konden opsporen tijdens medische licentieexamens. Ze richtten zich op drie verschillende modellen van verschillende bedrijven en testten deze op honderden vragen uit Koreaanse en Amerikaanse medische examens. Het doel was niet alleen om te zien hoeveel vragen de machines goed hadden, maar om te zien of de gegenereerde waarschijnlijkheidsscores als waarschuwingssysteem konden dienen. De onderzoekers vroegen zich af: als een model aangeeft dat het slechts enigszins vertrouwen heeft in een antwoord, betekent dat dan daadwerkelijk dat het antwoord waarschijnlijk fout is? En als het systeem wordt verteld om de antwoorden waar het het minst zeker van is opzij te zetten en ze voor een tweede blik naar een sterker, duurder model te sturen, verbetert dit dan de algehele nauwkeurigheid zonder een fortuin te kosten?

Om de antwoorden te vinden, voerde het team een reeks computersimulaties uit met echte examenvragen. Ze voerden duizenden medische vragen aan drie verschillende beslissingsmodellen: Jev, OpenAI Decisions en Clef. Elk model werd gevraagd om het juiste antwoord te kiezen uit een lijst met opties en een betrouwbaarheidsscore te geven voor zijn keuze. De onderzoekers vergeleken deze scores vervolgens met de officiële antwoordsleutels om te zien of een lage betrouwbaarheid inderdaad correleerde met fouten. Ze ontdekten dat de modellen inderdaad vrij goed waren in deze zelfevaluatie. Wanneer de modellen onzeker waren, hadden ze het vaak fout. Specifiek identificeerden de modellen het juiste antwoord voor ongeveer 83 tot 92 procent van de Koreaanse vragen en 85 tot 88 procent van de Engelse vragen. Belangrijker nog, de waarschijnlijkheidsscores slaagden erin de fouten te signaleren. Bij de Koreaanse tests waren de onzekerheidsscores van de modellen in staat om foutieve antwoorden met een hoge mate van betrouwbaarheid te onderscheiden van de juiste antwoorden, en hetzelfde gold voor de Engelse tests.

De studie ging vervolgens over naar een praktische toepassing: een verwijzingssysteem. De onderzoekers simuleerden een scenario waarin de minst zelfverzekerde 20 procent van de antwoorden van elk model automatisch werd doorgestuurd naar een veel krachtiger en duurder model, GPT-6.1 Sol, voor een definitieve beslissing. De resultaten lieten zien dat deze eenvoudige strategie opmerkelijk goed werkte. Door slechts één vijfde van de antwoorden te verwijzen, ving het systeem tussen de 56 en 91 procent van de fouten van de initiële modellen op. Dit proces verhoogde de algehele nauwkeurigheid van het systeem met 6 tot 9 procentpunten. De kosten van deze verbetering waren slechts een fractie van wat het zou hebben gekost om het krachtige model op elke vraag te draaien. De verwijzingsaanpak bereikte bijna de helft tot bijna alle mogelijke winsten in nauwkeurigheid die beschikbaar zouden zijn als een perfect "orakel" vooraf precies wist welke antwoorden fout waren, terwijl het slechts ongeveer een kwart tot een derde van de kosten van het exclusief gebruiken van het krachtige model verbruikte.

De onderzoekers ontdekten echter ook belangrijke beperkingen die erop wijzen dat deze hulpmiddelen nog niet klaar zijn voor gebruik in een ziekenhuis. Hoewel de modellen goed waren in het opsporen van hun eigen onzekerheid, waren ze niet perfect. Er werden fouten gemaakt met een hoge mate van vertrouwen, wat betekent dat de machine zeker was van het foute antwoord. Deze zelfverzekerde fouten waren vaak stabiel, wat betekent dat ze niet veranderden zelfs wanneer de volgorde van de antwoordopties werd gehusseld, en ze kwamen soms overeen met de foutieve antwoorden van andere geavanceerde modellen. Dit suggereert dat wanneer deze modellen zelfverzekerd maar fout zijn, ze vaak om dezelfde diepere redenen fout zitten, zoals het missen van informatie in de vraag of het vertrouwen op verouderde regelgeving. In de Koreaanse examens betroffen veel fouten bijvoorbeeld specifieke lokale wetten en administratieve regels waar de modellen moeite mee hadden, zelfs wanneer ze een lage betrouwbaarheid uitten. In de Engelse examens werden sommige vragen zelf betwist door menselijke artsen, wat het moeilijk maakte voor een machine om op basis van historische sleutels het "juiste" antwoord te krijgen.

De studie onderzocht ook hoe gevoelig deze systemen zijn voor de manier waarop vragen worden gepresenteerd. Wanneer de onderzoekers de volgorde van de antwoordopties roteerden, veranderden de beslissingen van de modellen in ongeveer 7 tot 16 procent van de gevallen. Dit betekent dat een model een vraag voor een tweede blik kan verwijzen simpelweg omdat de opties in een andere volgorde werden vermeld, zelfs als de medische inhoud hetzelfde bleef. Hoewel de algehele nauwkeurigheid van het systeem stabiel bleef ondanks deze kleine verschuivingen, waren de individuele beslissingen niet geheel consistent. De onderzoekers merkten op dat deze instabiliteit, gecombineerd met het bestaan van zelfverzekerde fouten, betekent dat deze modellen nog niet in staat zijn om zelfstandig te werken. Ze functioneren het best als een eerste lezer die de gemakkelijke gevallen afhandelt en de moeilijke gevallen markeert voor beoordeling door een menselijke arts.

Uiteindelijk demonstreert het onderzoek dat beslissingsmodellen een veelbelovend middenpad bieden tussen snelheid en nauwkeurigheid. Ze kunnen medische vragen snel en goedkoop verwerken, en hun interne betrouwbaarheidsscores bieden een nuttig mechanisme om de meest waarschijnlijke fouten te filteren. Door de onzekere 20 procent van de antwoorden naar een sterker systeem te verwijzen, is het mogelijk om het grootste deel van de nauwkeurigheid van een topmodel te evenaren tegen een veel lagere kostenpost. Toch vereist het pad naar klinisch gebruik meer dan alleen deze simulaties. De aanwezigheid van zelfverzekerde fouten en de gevoeligheid voor de opmaak van vragen geven aan dat deze hulpmiddelen nog zorgvuldige validatie in de echte wereld nodig hebben. Voordat ze kunnen worden gebruikt om de patiëntenzorg te begeleiden, moeten ze worden getest in werkelijke klinische workflows waar menselijke artsen de doorverwezen gevallen kunnen beoordelen en de zelfverzekerde antwoorden die nog steeds fout kunnen zijn, kunnen auditeren. De technologie vertoont groot potentieel, maar het blijft een instrument dat een menselijke hand nodig heeft om het te leiden.