In de snel evoluerende wereld van kunstmatige intelligentie zijn grote taalmodellen getransformeerd van eenvoudige tekstgeneratoren naar geavanceerde redeneermachines. Deze systemen kunnen nu complexe problemen ontleden, externe hulpmiddelen raadplegen en meerdere digitale agenten coördineren om taken op te lossen die voorheen menselijke expertise vereisten. Om deze systemen betrouwbaarder te maken, vertrouwen onderzoekers vaak op een strategie genaamd redundantie: verschillende agenten dezelfde oplossing voor een probleem laten vinden en vervolgens hun antwoorden vergelijken. Als de agenten het met elkaar eens zijn, gaat het systeem ervan uit dat het antwoord correct is. Deze aanpak wordt veelal gekoppeld aan een verificatiefase, waarbij een tweede set agenten of hulpmiddelen de tussenliggende stappen van de redenering controleert om fouten te ontdekken voordat er een definitieve beslissing wordt genomen. De onderliggende hoop is dat als één agent een fout maakt, een andere het zal ontdekken, en als een verifieerder een fout maakt, een andere verifieerder dit zal corrigeren. Dit hele vangnet rust echter op een kwetsbare aanname: dat deze verschillende agenten en verifieerders onafhankelijk van elkaar fouten maken.

Deze aanname is in de echte wereld steeds moeilijker te verdedigen. De meeste moderne AI-systemen zijn gebouwd op basis van een klein aantal modelfamilies, die dezelfde trainingsdata, dezelfde onderliggende architectuur en dezelfde trainingsrecepten delen. Vanwege deze gedeelde afkomst hebben ze de neiging om op dezelfde manieren dezelfde fouten te maken. Wanneer een groep agenten uit dezelfde familie allemaal instemt met een onjuist feit, is dat geen teken van consensus; het is een teken van een gedeelde hallucinatie. Als een verificatiesysteem deze identieke, gecorreleerde fouten als onafhankelijke bewijsstukken behandelt, kan het gevaarlijk zelfverzekerd worden over een foutief antwoord. Het systeem telt effectief dezelfde fout meerdere keren, waardoor de zekerheid wordt opgeblazen totdat het van een onwaarheid overtuigd is. Dit fenomeen creëft een blinde vlek waar de instrumenten die bedoeld zijn om veiligheid te garanderen, uiteindelijk fouten juist versterken.

Een team van onderzoekers heeft deze kritieke kwetsbaarheid aangepakt met een nieuw framework genaamd CAVEAT, wat staat voor Correlation-Aware Verification Allocation. In plaats van ervan uit te gaan dat elke agent en verifieerder een onafhankelijke waarnemer is, modelleert dit systeem expliciet het feit dat ze vaak aan elkaar gerelateerd zijn en vatbaar zijn voor dezelfde fouten. De onderzoekers behandelden het verificatieproces als een middelenbeheerprobleem. Ze erkenden dat in een wereld waarin het controleren van elke individuele stap in een redeneerketen te duur is, men moet beslissen welke specifieke claims gecontroleerd moeten worden, welke verifieerder voor elke controle gebruikt moet worden en wanneer men met controleren moet stoppen. Het doel is om een beperkt budget aan computationele middelen zo effectief mogelijk in te zetten, om ervoor te zorgen dat het uiteindelijke antwoord zo betrouwbaar is als het budget toelaat.

De kern van het CAVEAT-systeem is een kaart van het redeneerproces. Wanneer meerdere agenten een probleem oplossen, breekt het systeem hun output af in individuele claims en koppelt deze samen in een afhankelijkheidsgrafiek. Deze kaart laat zien welke feiten welke conclusies ondersteunen. Sommige claims zijn als de wortels van een boom; als deze fout zijn, stort het hele antwoord in. Andere zijn als bladeren; als deze fout zijn, is de impact minimaal. Het systeem wijst een gewicht toe aan elke claim op basis van hoeveel het uiteindelijke antwoord ervan afhangt. Vervolgens gebruikt het een statistisch model om de betrouwbaarheid van elke beschikbare verifieerder te schatten, rekening houdend met het feit dat verifieerders uit dezelfde familie waarschijnlijk dezelfde "slip" of fout maken. Dit stelt het systeem in staat om de werkelijke waarde te berekenen van het vragen aan een specifieke verifieerder om een specifieke claim te controleren. Als een verifieerder uit een familie die al eerder aan het woord is gevraagd wordt om een claim te controleren, weet het systeem dat het nieuwe antwoord waarschijnlijk slechts de oude reactie zal herhalen, wat weinig nieuwe informatie biedt. In plaats daarvan richt het systeem het budget op een andere familie van verifieerders of een gespecialiseerd hulpmiddel, zoals een programma dat code kan uitvoeren of een zoekmachine die feiten kan opzoeken.

In een reeks tests over zes benchmarks, variërend van factchecking en meerstaps vraagbeantwoording tot complexe wiskundige redeneringen, vergeleken de onderzoekers deze nieuwe aanpak met bestaande methoden. Ze ontdekten dat het negeren van de correlatie tussen agenten en verifieerders leidde tot een significante overschatting van de zekerheid. Systemen die onafhankelijkheid aannamen, waren vaak zelfverzekerd fout, waarbij ze een hoge zekerheid rapporteerden voor onjuiste antwoorden. In contrast hiermee slaagde het CAVEAT-systeem erin te identificeren wanneer een consensus in werkelijkheid slechts een gedeelde fout was. Door het verificatiebudget zorgvuldig te routeren naar de meest informatieve controles, bereikte het dezelfde nauwkeurigheid als een systeem dat elke enkele claim met elke enkele verifieerder controleert, maar deed het dit met slechts ongeveer een vijfde van de computationele kosten. Gemiddeld verbeterde het de nauwkeurigheid met 3,1 procentpunt ten opzichte van de beste bestaande budget-gematchte methoden.

Misschien nog belangrijker is dat het systeem het probleem van valse zelfverzekerdheid oploste. In de tests produceerden traditionele methoden bijna 20% van de tijd foutieve antwoorden met een hoge mate van zelfverzekerdheid. Het CAVEAT-systeem verminderde dit percentage tot slechts 7,2%, wat betekent dat het veel minder waarschijnlijk is dat het een onwaarheid met grote zekerheid beweert. Het maakte de zekerheidsscores van het systeem ook veel nauwkeuriger, zodat wanneer het systeem zegt dat het 90% zeker is, het ook daadwerkelijk 90% van de tijd correct is. De onderzoekers demonstreerden dat deze aanpak werkt, zelfs wanneer de agenten allemaal uit dezelfde familie komen of wanneer de meerderheid van de agenten het eens is over een foutief antwoord. Door het gedeelde karakter van de fouten te erkennen, weet het systeem dat het moet zoeken naar een extern perspectief, in plaats van dezelfde groep opnieuw te laten stemmen.

De studie onthulde ook dat de manier waarop verificatie wordt toegewezen net zo belangrijk is als de hoeveelheid geld die eraan wordt uitgegeven. Het simpelweg controleren van de claims waarvan de agenten het minst zeker lijken, of het controleren in een willekeurige volgorde, was veel minder effectief dan de gerichte aanpak die door CAVEAT werd gebruikt. Het systeem leerde prioriteit te geven aan de claims die, indien fout, de meeste schade zouden toebrengen aan het uiteindelijke antwoord, en om de goedkoopste, meest diverse hulpmiddelen te gebruiken om deze te controleren. Bijvoorbeeld, in wiskundige problemen zou het een snelle, goedkope code-executor gebruiken om rekenstappen te controleren, waardoor de duurdere en tragere taalmodellen worden gespaard voor de logische redeneerstappen. Deze strategische toewijzing stelde het systeem in staat om vroegtijdig met controleren te stoppen zodra het voldoende zeker was van het antwoord, waardoor middelen werden bespaard zonder de nauwkeurigheid op te offeren.

De onderzoekers concludeerden dat de toekomst van betrouwbare AI-redenering afhangt van het erkennen dat onze instrumenten niet onafhankelijk zijn. Net zoals een groep mensen die in hetzelfde dorp is opgegroeid dezelfde misvattingen kan delen, zullen een groep AI-modellen die op dezelfde data zijn getraind, ook dezelfde blinde vlekken hebben. Door systemen te bouwen die deze verbindingen begrijpen en hun middelen dienovereenkomstig toewijzen, kunnen we AI creëren die niet alleen slimmer is, maar ook eerlijker over wat het weet en wat het niet weet. Het werk suggereert dat de weg naar meer betrouwbare kunstmatige intelligentie niet ligt in het simpelweg toevoegen van meer agenten aan de mix, maar in het begrijpen van de relaties tussen hen en het gebruiken van dat begrip om de waarheid efficiënter te verifiëren.