In de snel evoluerende wereld van kunstmatige intelligentie zijn grote taalmodellen opmerkelijk vloeiend geworden in het genereren van tekst, het oplossen van problemen en het schrijven van code. Ze kunnen zelfverzekerd en logisch klinken, maar maken ook regelmatig subtiele fouten die moeilijk te ontdekken zijn. Om dit op te lossen, hebben onderzoekers "verifiers" (verificatoren) ontwikkeld: secundaire systemen die ontworpen zijn om het werk van het hoofdmodel te controleren en fouten te vangen voordat ze een menselijke gebruiker bereiken. Deze controleurs komen in vele vormen: sommige vergelijken de output van het model met een database van feiten, andere voeren de code uit om te zien of deze vastloopt, en sommige vragen het model simpelweg om zijn eigen redenering te beoordelen. De heersende hoop is geweest dat we door deze lagen van controle toe te voegen, systemen kunnen bouwen die niet alleen vloeiend, maar ook betrouwbaar zijn. Echter, een kritische vraag is onbeantwoord gebleven: wat kunnen deze controleurs precies garanderen? Als een systeem zegt dat een resultaat "geverifieerd" is, betekent dat dan dat het antwoord definitief correct is, of betekent het slechts dat het antwoord er juist uitziet volgens een specifieke, beperkte set regels?

Een nieuwe studie door Yajie Yin pakt deze verwarring aan door een nieuwe manier voor te stellen om de kracht van deze verificatiesystemen te meten. De auteur stelt dat het huidige vakgebied het woord "niveau" gebruikt om vijf verschillende dingen tegelijk te betekenen, wat zorgt voor een mist van onbegrip. Sommige onderzoekers gebruiken "niveau" om te beschrijven hoe fijnmazig ze een probleem onderverdelen, anderen om het risico te beschrijven, en anderen om te beschrijven welk deel van het computersysteem wordt gecontroleerd. Het artikel introduceert een enkele, heldere schaal genaamd "Verification Autonomy Levels" (Niveaus van Verificatie-autonomie), die zich richt op één specifieke vraag: waar komt de waarheid vandaan, en wat belooft de controleur te vinden? Deze schaal varieert van de zwakste vorm, waarbij het model simpelweg verklaart dat zijn eigen werk correct is, tot de sterkste vormen, waarbij de controle gebaseerd is op objectieve, onveranderlijke feiten of wiskundige regels die kunnen bewijzen dat een oplossing compleet is.

De kernontdekking van dit onderzoek is een fundamentele beperking die van toepassing is op bijna alle huidige verificatiemethoden. De studie toont aan dat veel populaire controleurs kunnen bevestigen dat een voorgesteld antwoord correct is, maar dat ze niet kunnen bewijzen dat er geen ander correct antwoord is gemist. Stel je een beveiliger voor die een lijst met toegelaten bezoekers controleert; als de beveiliger een naam op de lijst ziet, laat hij hen binnen. Maar als er een gevaarlijk persoon arriveert met een naam die niet op de lijst staat, heeft de beveiliger geen manier om te weten dat er iemand ontbreekt, tenzij hij over een volledige, vooraf goedgekeurde lijst beschikt van iedereen die daar zou moeten zijn. Het artikel noemt dit de "completeness blind spot" (blind spot voor volledigheid). De meeste huidige systemen werken als de beveiliger met de lijst: ze kunnen verifiëren dat een kandidaat-oplossing werkt, maar ze kunnen niet garanderen dat ze alle mogelijke oplossingen hebben gevonden. Deze beperking is geen bug die kan worden opgelost door het model beter te trainen of meer data te controleren; het is een structureel kenmerk van hoe deze systemen werken.

Om dit landschap in kaart te brengen, heeft de auteur een zesstaps-schaal ontwikkeld, variërend van L0 tot L5. Onderaan staat L0, wat een systeem vertegenwoordigt waarbij het model simpelweg zegt: "Ik heb dit gecontroleerd, en het is juist." Er is geen extern bewijs en geen garantie van waarheid. Daarbovenop betreffen L1 en L2 controles gebaseerd op regels afgeleid van het probleem of vergelijkingen met bekende, objectieve fechten. Deze zijn nuttig voor het bevestigen dat een specifiek antwoord correct is, maar ze lijden nog steeds aan de blind spot: ze kunnen niet bewijzen dat het model geen beter of ander antwoord heeft gemist. De schaal springt aanzienlijk bij L3 en L4, waar de verificatie gebaseerd is op een beslisbaar systeem, zoals een formeel wiskundig bewijs of een strikte logische regel. In deze gevallen kan het systeem niet alleen een antwoord bevestigen, maar ook bewijzen dat er geen andere antwoorden bestaan binnen een specifieke, goed gedefinieerde reikwijdte. Het hoogste niveau, L5, dat een systeem zou vertegenwoordigen dat in staat is om volledigheid te bewijzen voor elke mogelijke vraag, wordt getoond als wiskundig onmogelijk.

Het artikel test dit kader in vier zeer verschillende velden: het oplossen van wiskundige problemen, het monitoren van computergedrag op beveiligingsdreigingen, het diagnosticeren van medische condities en het schrijven van computercode. In de wiskundige experimenten bouwden de onderzoekers een systeem dat zijn eigen werk kon controleren. Ze ontdekten dat hoewel het systeem sommige fouten kon vangen, het de algehele nauwkeurigheid van de antwoorden niet verbeterde vergeleken met het ruwe model. Sterker nog, het verificatieproces maakte de zaken soms zelfs slechter door nieuwe fouten te introduceren. Het systeem blonk echter uit bij een andere taak: het kon betrouwbaar rapporteren wanneer het onzeker was of wanneer het een specifiek type fout had gevonden, zoals een ontbrekende oplossing die een eenvoudigere controle zou hebben genegeerd. In de studie naar medische diagnose gebruikten de onderzoekers een standaard klinische regel om de redenering van het model te controleren. Ze ontdekten dat een eenvoudige, op regels gebaseerde controle gevallen kon vangen waarin het model met veel zelfvertrouwen fout zat omdat het noodzakelijk bewijs miste, een fout die menselijke beoordelaars over het hoofd hadden gezien.

Het onderzoek keek ook naar codegeneratie, waarbij het model computerprogramma's schrijft. Hier vond de studie dat het model al zo goed was in het oplossen van standaardproblemen dat het toevoegen van een verificatielaag de nauwkeurigheid niet verder verbeterde. De "nauwkeurigheidsvenster" (accuracy window) was leeg; het model was al aan de top van zijn kunnen voor die specifieke taken. De waarde van het verificatiesysteem in deze context was niet om de code beter te maken, maar om een duidelijk signaal te geven wanneer de code mogelijk onveilig of incompleet is. De auteur benadrukt dat dit geen falen van verificatie is, maar een precieze meting van waar verificatie waarde toevoegt. Het voegt waarde toe wanneer het fouten kan rapporteren of volledigheid kan bewijzen, en niet wanneer het probeert de ruwe nauwkeurigheid te verhogen op problemen die het model al beheerst.

Een cruciaal onderdeel van het artikel is het onderscheid tussen "correctheid" (correctness) en "volledigheid" (completeness). Correctheid betekent dat een voorgesteld antwoord juist is. Volledigheid betekent dat het systeem alle juiste antwoorden heeft gevonden en weet dat er geen andere bestaan. De studie toont aan dat de meeste huidige systemen alleen correctheid bieden. Ze kunnen zeggen: "Dit antwoord werkt," maar ze kunnen niet zeggen: "Dit is het enige antwoord." Om volledigheid te bereiken, moet een systeem in staat zijn het probleem te herformuleren in een strikt, logisch formaat dat een machine exhaustief kan oplossen. Dit is mogelijk voor specifieke soorten wiskunde of code, maar is onmogelijk voor open einden taken zoals het controleren van feiten in het nieuws of het diagnosticeren van complexe ziekten, waarbij de wereld te chaotisch is om volledig door een enkele regel te worden gevangen. Het artikel betoogt dat we moeten stoppen met pretenderen dat een systeem compleet kan zijn in deze open-wereld scenario's. In plaats daarvan moeten we eerlijk zijn over de grenzen van onze instrumenten.

De auteur behandelt ook de kwestie van "vertrouwensrecursie" (trust recursion), wat het probleem is waarbij men een controleur nodig heeft om de controleur te verifiëren, en een andere controleur om die te verifiëren, enzovoort. Het artikel laat zien dat deze vertrouwensketen uiteindelijk moet stoppen bij een punt dat niet afhankelijk is van een andere kunstmatige intelligentie. Het moet stoppen bij een door de mens gedefinieerde regel, een fysieke meting of een wiskundig bewijs. Als de keten stopt bij een ander AI-model, is de verificatie circulair en onbetrouwbaar. De studie suggereert dat de beste aanpak is om systemen te ontwerpen waarbij de AI de creatieve arbeid van het genereren van ideeën afhandelt, terwijl een apart, rigide systeem die ideeën controleert tegen een vaste standaard. Deze taakverdeling zorgt ervoor dat het systeem weet wanneer het buiten zijn veilige zone opereert en wanneer het moet stoppen en om menselijke hulp moet vragen.

Uiteindelijk dient dit artikel als een reality check voor het vakgebied van AI-veiligheid. Het stelt een nieuwe vocabulaire voor die onderzoekers en ontwikkelaars in staat om precies te zijn over wat hun systemen wel en niet kunnen doen. Het waarschuwt tegen de gevaarlijke gewoonte om aan te nemen dat een systeem "geverifieerd" is, enkel omdat het een test heeft doorstaan. In plaats daarvan pleit het voor een genuanceerder beeld: een systeem kan uitstekend zijn in het bevestigen dat een specifelijk antwoord correct is, maar dat betekent niet dat het de hele waarheid heeft gevonden. De hoogste graad die een verificatiesysteem kan verdienen, is geen belofte van perfectie, maar een eerlijke verklaring van zijn limieten. Door deze niveaus te begrijpen, kunnen we AI-systemen boueren die niet alleen slimmer zijn, maar ook transparanter over wanneer ze gelijk hebben, wanneer ze ongelijk hebben, en wanneer ze het simpelweg niet weten.