Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

In het snel evoluerende landschap van kunstmatige intelligentie zijn grote taalmodellen krachtige hulpmiddelen geworden voor het genereren van tekst, het beantwoorden van vragen en het assisteren bij complexe taken. Er blijft echter een hardnekkige uitdaging bestaan: deze systemen produceren soms zelfverzekend klinkende antwoorden die feitelijk onjuist zijn, een fenomeen dat bekend staat als hallucinatie. Voor gebruikers die deze modellen vertrouwen voor kritische beslissingen, ligt het gevaar niet alleen in het feit dat ze het fout hebben, maar in het feit dat ze het met absolute zekerheid fout hebben. Om dit aan te pakken, zoeken onderzoekers al lang naar manieren om de onzekerheid van een model te meten, waarbij ze in essentie het systeem vragen hoe zeker het is van zijn eigen output. Traditionele methoden bieden vaak één enkele betrouwbaarheidsscore voor een heel antwoord, vergelijkbaar met een weersvoorspelling die één waarschijnlijkheid geeft voor een hele dag. Toch kan één antwoord echter een mix bevatten van accurate feiten en subtiele fouten, waardoor een enkele algemene score te grofmazig is voor iemand die specifieke details moet verifiëren voordat hij actie onderneemt.

Een nieuwe studie door Toghrul Abbasli en collega's van de Tsinghua Universiteit en andere instellingen stelt een meer genuanceerde aanpak voor dit probleem voor. In plaats van een reactie te behandelen als een enkel blok tekst, hebben de onderzoekers een methode ontwikkeld om elk antwoord op te splitsen in de kleinste, onafhankelijke eenheden van informatie, die zij "atomaire claims" noemen. Vervolgens wijzen ze een specifieke betrouwbaarheidsscore toe aan elk van deze individuele claims. Het team testte deze techniek op verschillende moderne taalmodellen, inclusief systemen van grote ontwikkelaars, met behulp van twee verschillende soorten vraagensets: één die gericht was op algemene feitelijke kennis en een andere die ontworpen was om modellen te misleiden door valse premissen te accepteren. Hun bevindingen suggereren dat door het isoleren en kalibreren van vertrouwen op claimniveau, het mogelijk is om een veel betrouwbaarder signaal te creëren voor besluitvormers. Deze aanpak stelt gebruikers in staat om de delen van een antwoord te accepteren die zeer waarschijnlijk waar zijn, terwijl specifieke zinnen worden gemarkeerd voor verdere controle of afwijzing, wat een praktisch pad biedt naar veiligere en meer betrouwbare kunstmatige intelligentie in omgevingen met hoge inzet.

De kern van het werk van de onderzoekers omvat een meerstaps pijplijn die werkt zonder de interne werking van de taalmodellen zelf te hoeven wijzigen. Eerst genereert het systeem een antwoord op de vraag van de gebruiker. Vervolgens breekt een hulpmiddel het antwoord af in korte, op zichzelf staande beweringen, zoals "Einstein stelde de relativiteitstheorie voor" of "Dit vond plaats in 1905." Zodra het antwoord is gedecomposeerd, evalueert het systeem elke bewering afzonderlijk. Het gebruikt twee primaire signalen om te bepalen hoe zeker het model moet zijn over elke claim. Het eerste signaal komt van de zelfevaluatie of de verbaal geuite zekerheid van het model zelf, waarbij het model wordt gepromptt om te vermelden hoe zeker het is. Het tweede signaal vertrouwt op consistentie; het systeem genereert meerdere variaties van het antwoord en controleert of dezelfde claim in al deze versies voorkomt. Als een claim wordt herhaald in verschillende pogingen, wordt deze als betrouwbaarder beschouwd. Deze twee signalen worden vervolgens gecombineerd om een definitieve betrouwbaarheidsscore voor elke specifieke claim te produceren.

Om ervoor te zorgen dat deze scores betekenisvol zijn, pasten de onderzoekers een statistisch proces toe genaamd post-hoc kalibratie. Deze stap past de ruwe betrouwbaarheidscijfers aan zodat ze overeenkomen met de realiteit. Bijvoorbeeld, als het systeem een betrouwbaarheid van 90 procent toekent aan een reeks claims, zorgt kalibratie ervoor dat ongeveer 90 procent van die claims ook daadwerkelijk correct is. De studie testte dit framework op zes verschillende taalmodellen, variërend van open-source systemen tot propriëtaire commerciële modellen, over duizenden vragen. De resultaten lieten zien dat deze aanpak op claimniveau de foutmarge in de schatting van de betrouwbaarheid aanzienlijk verminderde in vergelijking met methoden die alleen naar de volledige reactie keken. Bij feitelijke vragen werden de gekalibreerde scores veel nauwkeuriger, wat betekent dat wanneer het systeem zei dat het 90 procent zeker was, het inderdaad in 90 procent van de gevallen correct was. Deze precisie stelt een menselijke gebruiker in staat om een concrete beslissing te nemen: ze kunnen de claims met een hoog vertrouwen onmiddellijk accepteren, terwijl ze hun aandacht richten op de claims met een laag vertrouwen voor verificatie.

De studie identificeerde echter ook een duidelijke grens waar deze methode beperkingen kent. Wanneer de vragen waren ontworpen met valse premissen — vallen die ervan uitgaan dat iets onwaarheids is een feit — genereerden de modellen vaak vloeiende, zelfverzekerde, maar volkomen onjuiste claims. In deze adversariële scenario's slaagden de betrouwbaarheidsscores op claimniveau er soms niet in de fout te detecteren omdat het model intern consistent was in zijn fout. De onderzoekers vonden dat hoewel hun methode uitblonk in het sorteren van gemengde antwoorden die zowel juiste als onjuiste informatie bevatten, het niet altijd een model kon overwinnen dat zelfverzekerd onjuist was over een fundamenteel feit. In dergelijke gevallen suggereert de studie dat betrouwbaarheidsscores alleen onvoldoende zijn; een externe controle, zoals een zoekopdracht naar bewijs of een kruisverhoor door een ander systeem, is noodzakelijk om deze diepgewortelde fouten te vangen.

De praktische implicatie van dit werk is een verschuiving in de manier waarop we mogelijk met kunstmatige intelligentie zullen omgaan in professionele omgevingen. In plaats van een volledige reactie te accepteren of af te wijzen op basis van een vaag gevoel van vertrouwen, kunnen besluitvormers nu vertrouwen op een gedetailleerde kaart van betrouwbaarheid. Een medisch rapport gegenereerd door een AI zou bijvoorbeeld geaccepteerd kunnen worden vanwege de algemene structuur, terwijl specifieke medicijn doseringen of details uit de patiëntgeschiedenis worden gemarkeerd voor menselijke controle op basis van hun individuele betrouwbaarheidsscores. De onderzoekers benadrukken dat deze techniek werkt, zelfs met "closed-box" modellen, waarbij de interne mechanismen verborgen zijn, wat het toepasbaar maakt voor de meest geavanceerde commerciële systemen die momenteel in gebruik zijn. Hoewel de methode het probleem van hallucinatie niet volledig oplost, met name wanneer modellen worden misleid door valse aannames, biedt het een robuust hulpmiddel voor het beheren van onzekerheid. Door de black box van de output van een taalmodel op te splitsen in verifieerbare stukjes, biedt de studie een manier om beslissingen met hoge inzet te nemen met een duidelijker begrip van wat vertrouwd kan worden en wat verdere investigatie vereist.