🤖 AI

Theoria: Rewrite-Acceptability Verification over Informal Reasoning States

Het artikel introduceert Theoria, een verificatiearchitectuur die de betrouwbaarheid van AI-antwoorden verbetert door oplossingen te herschrijven naar controleerbare, getypeerde toestandsovergangen met expliciete rechtvaardigingen, waardoor het holistische LLM-beoordelaars overtreft in het detecteren van verborgen premissen en gefabriceerde citaties terwijl het een hoge precisie behoudt op expertniveau-problemen.

Oorspronkelijke auteurs: Ben Slivinski, Michael Saldivar

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ben Slivinski, Michael Saldivar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar soms overmoedige architect inhuurt om een brug te ontwerpen. Je wilt niet alleen de uiteindelijke blauwdruk; je wilt weten waarom elke balk precies daar geplaatst is waar hij staat. Als de architect zegt: "Deze balk komt hier omdat het goed voelt," kun je de brug niet vertrouwen. Maar als ze zeggen: "Deze balk komt hier vanwege Wet X, en hier is de berekening die dat bewijst," dan kun je de wiskunde controleren.

Dit is het probleem dat Theoria oplost voor Kunstmatige Intelligentie.

Het Probleem: Twee Gebrekkige Manieren om AI te Vertrouwen

Momenteel hebben we twee manieren om te controleren of het antwoord van een AI goed is, en beide hebben gaten:

De "Wiskundige" Benadering (Formele Bewijsassistenten): Dit is alsof je een robot inhuurt die alleen strikt, onbreekbaar wiskundige code spreekt. Het is perfect, maar het kan alleen problemen begrijpen die al naar die code zijn vertaald. De meeste echte problemen (zoals juridische argumenten of wetenschappelijke theorieën) zijn rommelig en informeel, waardoor de robot ze niet kan lezen.
De "Onderbuikgevoel" Benadering (Scalaire Rechters): Dit is alsof je een mens vraagt om een essay van de AI te lezen en het een score van 1 tot 10 te geven. Dit dekt veel terrein, maar de score is een black box. Je weet niet waarom het een 7 kreeg. Mist het een verborgen aanname? Heeft het een citatie gefaket? Je krijgt alleen een getal, en je kunt het later niet auditeren.

De Oplossing: De "State Rewriting" Detective

Theoria introduceert een derde manier. In plaats van de AI een lang essay te laten schrijven of alles te laten vertalen naar wiskundige code, dwingt Theoria de AI om zijn antwoord te herschrijven als een stapsgewijs logboek van statusveranderingen (state change log).

Denk aan een save file van een videogame of een versiebeheersysteem (zoals Git) voor redeneren.

De Opzet: De AI begint met een "Status 0" (de probleemstelling).
De Zet: Om tot het antwoord te komen, moet de AI een zet doen naar "Status 1", dan naar "Status 2", enzovoort.
De Regel: Voor elke zet moet de AI een ticket (een rechtvaardiging) leveren. Een ticket kan slechts één van drie typen zijn:
1. Een Citatie: "Ik gebruik Stelling X."
2. Een Berekening: "Ik heb de som gemaakt: 2+2=4."
3. Een Gegeven Feit: "Het probleem vertelde mij dit."

De Magische Truc: "Completeness of Change"

Hier zit het geheime ingrediënt. Theoria heeft een strikte regel: Elke enkele verandering tussen Status A en Status B moet worden uitgelegd door het ticket.

Als de AI probeert een verborgen aanname in te sluiven (zoals "Ga ervan uit dat de brug van goud is gemaakt") zonder een ticket, vangt het systeem dit op. De "verandering" (het toevoegen van de goud-aanname) verschijnt in het logboek, maar het ticket (de rechtvaardiging) dekt dit niet. Het systeem schreeuwt: "Wacht! Je hebt de status veranderd, maar je hebt ons niet de bon getoond!"

Dit dwingt de AI om eerlijk te zijn. Het kan een leugen niet verstoppen in een lange paragraaf tekst; het moet het exacte moment laten zien waarop de leugen in het gesprek terechtkwam.

Hoe het in de Praktijk Werkt

De Solver: Een AI probeert een probleem op te lossen.
De Formalizer: Een tweede AI herschrijft die oplossing naar het hierboven beschreven "Statusveranderingslogboek". Als de solver een sprong in de logica maakt, moet de formalizer dit opschrijven als een specifieke stap.
De Rechters: Gespecialiseerde AI-auditors controleren elke stap.
- Een "Wiskundige Rechter" controleert de berekeningen.
- Een "Citatie Rechter" controleert of de geciteerde stelling daadwerkelijk bestaat en van toepassing is.
- Een "Feiten Rechter" controleert of het feit wel in de oorspronkelijke probleemstelling stond.
Het Vonnis: Als elke stap een geldig ticket heeft, is het antwoord Gecertificeerd. Als zelfs maar één stap een ontbrekend of een vals ticket heeft, is het antwoord Afgekeurd.

Wat de Paper Vond

De auteurs hebben dit getest op moeilijke problemen (zoals die in expertexamens) en vonden:

Hoog Vertrouwen: Wanneer Theoria zegt dat een antwoord correct is, is het correct in 91,4% van de gevallen.
Beter in het Betrappen van Sluipende Leugens: Wanneer de AI probeert een premisse te verbergen (een verborgen aanname) of een citatie te faken, vangt Theoria dit 90,6% van de tijd. Een standaard "onderbuikgevoel" rechter vangt dit slechts 62,5% van de tijd.
Geen Magie bij Rekenfouten: Als de AI simpelweg een rekenfout maakt (zoals zeggen dat 2+2=5), vangen zowel Theoria als de standaard rechter dit ongeveer even vaak. Het speciale voordeel van Theoria is specifiek gericht op het betrappen van verborgen logica en nepbronnen.
Complementair: Theoria en standaard rechters falen op verschillende problemen. Als je beide gebruikt, kun je bijna alle fouten vangen.

De Kern van de Zaak

Theoria probeert de AI niet slimmer te maken; het probeert het redeneren van de AI auditbaar te maken.

Het verandert een vaag, onbetrouwbaar essay in een transparant grootboek van veranderingen. Het belooft niet dat elk antwoord juist zal zijn (het wijst ongeveer 43% van de antwoorden af omdat het ze niet kan verifiëren), maar voor de antwoorden die het wél goedkeurt, kun je de bon bekijken, de wiskunde controleren en precies weten waarom het veilig is om erop te vertrouwen.

In een wereld waarin AI feiten kan hallucineren, is Theoria het systeem dat zegt: "Laat me de bon zien voor elke enkele stap, anders teken ik dit niet af."

Technische Samenvatting: Theoria – Verificatie van de Schrijfbaarheid van Acceptabiliteit bij Informele Redeneringen

1. Probleemstelling

Het artikel behandelt het "vertrouwensprobleem" in AI-redeneren: het onderscheid maken wanneer een door AI gegenereerd antwoord aanleiding geeft tot gerechtvaardigd vertrouwen, met name in veiligheidskritische velden (wetenschap, recht, financiën, geneeskunde). Huidige benaderingen kampen met een dichotomie:

Formele bewijsassistenten (bijv. Lean, Coq): Bieden wiskundige zekerheid, maar slagen er niet in de meeste probleemdistributies te dekken vanwege de hoge kosten en semantische fragiliteit van het autoformaliseren van informele, natuurlijke taalvereisten.
Scalaire LLM-beoordelaars: Bieden brede dekking, maar produceren opaca scores die niet geaudit kunnen worden, lijden onder de coherentieproblemen van LLM's en falen in het identificeren van waarom een bewijs gebrekkig is (bijv. verborgen premissen, gefabriceerde citaten).

De kernuitdaging is het verifiëren van informele redeneringen zonder volledige formalisering te vereisen, terwijl men ervoor zorgt dat fouten — specifenlijk niet-vermeldde aannames en logische sprongen — zichtbaar en controleerbaar zijn.

2. Methodologie: De Theoria-architectuur

Theoria introduceert een verificatiearchitectuur die het natuurlijke taalantwoord van een solver herschrijft naar een bewijsgetuige (proof witness): een sequentie van getypeerde toestandsvergangen.

2.1 Het herschrijvingskader

In plaats van een bewijs te behandelen als een blok tekst, deelt Theoria het op in een traject van toestanden $(S_0, S_1, \dots, S_n)$ .

Toestand ( $S_i$ ): Een geordende lijst van strings die vastgestelde feiten en het huidige doel vertegenwoordigen.
Transitie: Een stap van $S_{i-1}$ $S_{i - 1}$ naar $S_i$ $S_{i}$ wordt toegestaan door een specifieke rechtvaardigingstype:
1. Citatie: Een stelling, definitie of afleidingsregel.
2. Computatie: Arithmetische of symbolische manipulatie.
3. Probleemgegeven: Feiten die expliciet in de probleemtekst worden vermeld.
De Invariant van Volledigheid van Verandering (Completeness-of-Change Invariant): Elk semantisch verschil tussen $S_{i-1}$ en $S_i$ moet worden verklaard door de genoemde rechtvaardiging. Als een premisse vereist is om de nieuwe toestand af te leiden, maar niet aanwezig is in de vorige toestand of de rechtvaardiging, vormt dit een ongeautoriseerde mutatie.

2.2 Verificatiepipeline

Het systeem werkt in een lus: Oplossen $\to$ Formaliseren $\to$ Beoordelen $\to$ Filteren $\to$ Herstellen.

Solver: Stelt een oplossing in natuurlijke taal voor (tool-augmented, bijv. webzoekopdrachten).
Formalizer: Herschrijft de oplossing naar de toestand-transitie-getuige. Het dwingt af dat premissen expliciet aanwezig moeten zijn voordat ze gebruikt kunnen worden.
Parallelle Gespecialiseerde Beoordeling:
- Computatie-beoordelaars: Rekenen stappen vanaf nul opnieuw uit.
- Citatie-beoordelaars: Verifiëren het bestaan en de toepasbaarheid van geciteerde stellingen tegen de specifieke toestand-diff.
- Probleemgegeven-beoordelaars: Controleren feiten tegen de oorspronkelijke tekst.
- Initiële-toestand-beoordelaar: Auditeert $S_0$ om te controleren of er geen ongeoorloofde premissen aan het begin worden geïntroduceerd.
- Alle beoordelaars worden adversarieel geprompt om fouten te vinden in plaats van plausibiliteit te bevestigen.
Pedanterie-filter: Maakt onderscheid tussen substantiële fouten en overmatige strengheid met betrekking tot informele notatie of compressie.
Conventie-verhoging (Convention Lift): Staat het systeem toe een stap te accepteren als een standaard, citeerbare domeinconventie een afwijzing oplost, mits de aanname expliciet wordt vastgelegd.
Certificeren-of-Afwijzen: Het systeem geeft een binaire beslissing uit. Als alle stappen slagen (of worden opgelost via conventie-verhoging), is het antwoord Gecertificeerd. Als een stap faalt en niet binnen de grenzen kan worden hersteld, is het antwoord Afgewezen.

3. Belangrijkste Bijdragen

De primaire bijdrage van het artikel is niet het gebruik van meerdere modellen of stapcontrole (wat gebruikelijk is), maar de specifieke getuige-indeling (witness format) en de bijbehorende theoretische garanties:

Expositiegarantie (Propositie 4.4): De invariant van volledigheid van verandering zet verborgen premissen (globale redeneergaten) om in lokale, observeerbare ongeautoriseerde mutaties. Een verborgen premisse moet ofwel verschijnen als een nieuw element in de toestand (wat een licentiecontrole triggert), of de invariant schenden. Dit dwingt fouten naar de oppervlakte waar ze gedetecteerd kunnen worden door lokale beoordelaars.
Foutklasse-voorspellingen (Propositie 4.5): Het formaat voorspelt dat de voordelen van verificatie zich concentreren in:
- Verborgen premissen: Geëxposeerd als ongeautoriseerde mutaties.
- Gefabriceerde citaties: Geëxposeerd omdat het bewijs expliciet getypeerd en gecontroleerd wordt tegen de diff.
- Geen voordeel: Arithmetische fouten en foutieve toepassing van stellingen (waar de stelling bestaat maar verkeerd wordt toegepast) ontvangen geen structureel voordeel in expositie ten opzime met proza, aangezien de fout semantisch en niet structureel is.
Decompositie van Falen: Het artikel maakt onderscheid tussen Expositiefalen (het formaat verbergt de fout) en Beoordelaarsfalen (de beoordelaar mist een geëxposeerde fout). Theoria beoogt het eerste te minimaliseren, en het tweede te laten adresseren door empirisch onderzoek.

4. Empirische Resultaten

Evaluatie werd uitgevoerd op HLE-Verified Gold (185 expertproblemen) en GPQA Diamond (65 graduate-level wetenschappelijke problemen).

4.1 Prestaties op HLE-Verified Gold

Gecertificeerde Precisie: 91,4% (96/105 correct) met een 95% Wilson CI van [84,5%, 95,4%].
Dekking: 56,8% (105/185 problemen gecertificeerd).
Asymmetrie: Afgewezen antwoorden waren ~5,0 $\times$ vaker fout dan gecertificeerde antwoorden (42,5% vs. 8,6% foutpercentage).
Vergelijking met Solver-alleen: Een web-augmented solver bereikte 83,8% nauwkeurigheid bij 100% dekking. De Theoria-pipeline filterde een aanzienlijk deel van de fouten eruit, waardoor het foutpercentage in de gecertificeerde categorie werd teruggebracht naar 8,6%.
Vergelijking met Holistische Beoordelaars: Holistische LLM-beoordelaars (die een enkele betrouwbaarheidsscore toekennen) bereikten een vergelijkbare precisie (92,4–93,3%) bij een gematchte dekking. Echter, zij faalden op andere problemen (Jaccard-index 0,14–0,36), wat wijst op complementaire foutdekking.

4.2 Adversariële Robuustheid

Op een benchmark van 95 vergiftigde bewijzen (waarbij specifieke fouttypen werden geïnjecteerd):

Algemene Detectie: Theoria ving 94,7% (90/95) versus 83,2% (79/95) voor holistische beoordeling ( $p = 0,0017$ ).
Specifieke Foutklassen:
- Verborgen premissen: Theoria 90,6% vs. Holistisch 62,5% (28 pp gat).
- Gefabriceerde citaties: Theoria 100% vs. Holistisch 90%.
- Arithmetica/Misapplied Theorems: Prestaties waren identiek (~95% en ~93% respectievelijk), wat de theoretische voorspelling bevestigt dat het formaat geen structureel voordeel biedt voor deze fouttypen.

4.3 Out-of-Distribution (GPQA Diamond)

Gecertificeerde Precisie: 97,1% (33/34).
Dekking: 52,3%.
De hoge precisie op een andere benchmark suggereert dat de "certificeer-of-afwijzen"-grens wordt gedreven door de formaliseerbaarheid van de redenering in plaats van benchmark-specifieke kalibratie.

4.4 Ensemble Potentieel

Omdat Theoria en holistische beoordelaars falen op disjuncte sets problemen, bereikten ensemble-strategieën (bijv. meerderheidsstemming) 93,6% precisie bij 58,9% dekking, waarmee ze elke enkele methode overtroffen.

5. Betekenis en Claims

Het artikel claimt dat Theoria een mechanisme voor schaalbare supervisie biedt dat de kloof overbrugt tussen ruwe LLM-output en formele verificatie.

Auditbaarheid: In tegen tegenstelling tot scalaire scores, produceert Theoria een menselijk leesbaar bewijstraject waarbij elke stap onafhankelijk kan worden uitgedaagd.
Structureel Voordeel: Het systeem vertrouwt niet op de beoordelaar om een bewijs te reconstrueren uit proza. In plaats daarvan reduceert het de verificatietaak tot een lokale vraag: "Verleent deze rechtvaardiging deze specifieke toestandsverandering een licentie?"
Complementariteit: Het artikel betoogt dat Theoria geen vervanging is voor holistische beoordelaars, maar een complementaire aanpak. De lage Jaccard-overlap in fouten suggereert dat het combineren van structureel verschillende verificatiearchitecturen een hogere betrouwbaarheid oplevert.
Beperkingen: De auteurs erkennen dat Theoria geen fouten kan detecteren die geen observeerbare toestandmutatie voortbrengen (bijv. subtiele misinterpretaties van de probleemstelling in $S_0$ ) en dat het momenteel leunt op LLM-beoordelaars in plaats van formele backends (zoals Lean of SMT-solvers), hoewel het ontworpen is om compatibel te zijn met dergelijke systemen.

Samenvattend demonstreert Theoria dat door een volledigheid van verandering-invariant af te dwingen op informele redeneringen, het mogelijk is om verborgen aannames en gefabriceerde bewijslast naar de oppervlakte te brengen die standaard holistische evaluaties missen, wat een rigoureuze, controleerbare grens biedt voor vertrouwen in AI-gegenereerde redeneringen.