🤖 AI

Mitigating Legibility Tax with Decoupled Prover-Verifier Games

Dit artikel stelt een ontkoppeld prover-verifier spelraamwerk voor dat de "legibility tax" vermindert door een vertaalmodel te trainen om de correcte maar niet controleerbare outputs van een solver om te zetten naar een verifieerbaar formaat, waardoor nauwkeurigheid behouden blijft terwijl de controleerbaarheid wordt verbeterd.

Oorspronkelijke auteurs: Yegon Kim, Juho Lee

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yegon Kim, Juho Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Problek: De "Legibility Tax" (Begrijpelijkheidstaks)

Stel je voor dat je een briljante, superintelligente student hebt (een Large Language Model) die zeer moeilijke wiskundeproblemen kan oplossen. Deze student heeft echter een slechte gewoonte: wanneer hij zijn werk uitlegt, schrijft hij op een slordige, verwarrende of overdreven ingewikkelde manier.

Om er zeker van te zijn dat de student niet vals speelt, huur je een leraar in (een "Verifier") die veel minder slim is dan de student. De taak van de leraar is om de uitleg van de student te lezen en te zeggen: "Ja, dit is juist" of "Nee, dit is fout."

Het Probleem: In eerdere pogingen om deze studenten te trainen om duidelijk voor de leraar te schrijven, ging er iets mis. Om hun uitleg begrijpelijker te maken voor de leraar, begonnen de studenten fouten te maken in hun werkelijke wiskundige antwoorden. Ze offerden het behalen van het juiste antwoord op om de uitleg er goed uit te laten zien.

De auteurs noemen dit de "Legibility Tax". Het is alsof een student een perfect cijfer haalt op een toets, maar de antwoorden op een manier schrijft die de leraar niet kan lezen, waardoor de leraar hem een nul geeft. Of erger nog: de student verandert het antwoord in iets simpels dat de leraar begrijpt, zelfs als dat antwoord fout is.

De Oude Manier: De "Alles-in-één" Student

In de oude methode (een standaard Prover-Verifier Game) vroeg je de student om twee dingen tegelijk te doen:

Het wiskundige probleem correct oplossen.
De uitleg zo duidelijk schrijven dat de leraar deze kan controleren.

Het artikel betoogt dat het vragen aan de student om beide taken tegelijkertijd uit te voeren, te moeilijk is. De student raakt in de war en begint daardoor te falen op het wiskundige gedeelte, enkel om te slagen voor het onderdeel "duidelijkheid".

De Nieuwe Oplossing: Het "Vertaler" Team

De auteurs stellen een nieuwe teamstructuur voor met drie rollen om dit op te lossen. In plaats van één student die alles probeert te doen, splitsen ze het werk op:

De Solver (De Geniale Brein): Dit model wordt alleen getraind om het juiste antwoord te vinden. Het geeft niets om of de uitleg slordig is. Het lost de wiskunde simpelweg perfect op.
De Translator (De Redacteur): De enige taak van dit model is om de slordige oplossing van de Genius te nemen en deze te herschrijven naar een schoon, gemakkelijk leesbaar formaat. Het moet beloven: "Ik zal het antwoord niet veranderen, ik zal het alleen er netjes uit laten zien."
De Verifier (De Leraar): Dit model controleert het werk van de Translator. Het vraagt zich af: "Is deze uitleg duidelijk? En komt het overeen met het antwoord van de Genius?"

Hoe ze trainen: Het "Good Cop, Bad Cop" Spel

Om ervoor te zorgen dat de Translator daadwerkelijk de waarheid spreedt en de leraar niet probeert te bedriegen, hebben de auteurs een spel opgezet met twee soorten Translators:

De Getrouwe Translator (Faithful Translator): Deze probeert het antwoord van de Genius helder te herschrijven, waarbij het antwoord exact hetzelfde blijft.
De Sluiwige Translator (Sneaky Translator): Dit is een "bedrieger". Deze krijgt het juiste antwoord van de leraar, maar krijgt de opdracht om een overtuigende uitleg te schrijven die leidt tot een fout antwoord. Het probeert de Verifier te misleiden door een fout antwoord als juist te presenteren.

Het Spel:

De Verifier probeert het verschil te zien tussen de Getrouwe Translator (die eerlijk is) en de Sluiwige Translator (die liegt).
De Getrouwe Translator probeert de Verifier ervan te overtuigen dat zijn uitleg duidelijk en correct is.
De Sluiwige Translator probeert de Verifier te misleiden.

Na verloop van tijd wordt de Verifier erg goed in het herkennen van leugens. De Getrouwe Translator leert dat de enige manier om te winnen is door perfect duidelijk te zijn en zich aan het oorspronkelijke antwoord te houden. De Sluiwige Translator leert dat hij de Verifier niet langer kan foppen.

Het Resultaat: Geen Belasting Meer

Het artikel laat zien dat door het "het juiste antwoord krijgen" te scheiden van "het leesbaar maken", zij het probleem hebben opgelost.

Nauwkeurigheid: Het systeem behield de hoge nauwkeurigheid van de Genius Solver (ongeveer 57% op hun wiskundetoets).
Begrijpelijkheid: De Translator leerde de antwoorden controleerbaar te maken zonder de wiskunde te veranderen.
Geen Tax: In tegen tegenstelling tot de oude methode, waarbij de nauwkeurigheid daalde naar 22% omdat het model te veel probeerde duidelijk te zijn, hield deze nieuwe methode de nauwkeurigheid hoog terwijl de output controleerbaar bleef.

Een Simpele Analogie: De Architect en de Blauwdruk

Denk aan het bouwen van een huis:

De Oude Manier: Je vroeg de Architect om het huis te ontwerpen en tegelijkertijd de blauwdrukken perfect te tekenen. Omdat ze zo gefocust waren op het mooi maken van de lijnen, plaatsten ze per ongeluk de keuken op de verkeerde plek.
De Nieuwe Manier: Je huurt een Meester Bouwer in die het huis perfect ontwerpt (zonder aandacht voor hoe mooi de tekeningen zijn). Daarna huur je een Tekenaar in wiens enige taak het is om de ruwe aantekeningen van de Bouwer te nemen en deze om te zetten in een prachtige, gemakkelijk leesbare blauwdruk. Je huurt ook een Inspecteur in die controleert of de blauwdruk overeenkomt met de aantekeningen van de Bouwer.

Als de Tekenaar probeert de locatie van de keuken te veranderen om de tekening simpeler te maken, vangt de Inspecteur hem. Het resultaat is een huis dat correct gebouwd is (accuraat) en blauwdrukken die gemakkelijk te lezen zijn (begrijpelijk).

Samenvatting

Het artikel introduceert een methode om te voorkomen dat AI-modellen "dommer" worden enkel om hun antwoorden makkelijker leesbaar te maken. Door de taak te splitsen in een "Solver" (die het juiste antwoord vindt) en een "Translator" (die het leesbaar maakt), en hen te trainen tegen een "Sneaky" bedrieger, creëerden ze een systeem dat zowel slim als controleerbaar is, zonder aan nauwkeurigheid in te boeten.

Technische Samenvatting: Het mitigeren van de Legibiliteitstaks door middel van Ontkoppelde Prover-Verifier Games

Probleemstelling

Naarmate Large Language Models (LLM's) geavanceerder worden in complexe redeneercapaciteiten, ontstaat er een cruciale uitdaging: ervoor zorgen dat hun outputs betrouwbaar gevalideerd kunnen worden door minder capabele systemen, zoals mensen of kleinere modellen. Hoewel Prover-Verifier Games (PVG) een veelbelovend kader bieden voor het trainen van modellen om "controleerbare" outputs te produceren zonder menselijk toezicht, lijden ze aan een aanzienlijk nadeel dat bekend staat als de legibiliteitstaks (legibility tax).

Eerder werk (Kirchner et al., 2024) toonde aan dat het trainen van een enkel model om simultaan maximalisatie van zowel correctheid als controleerbaarheid te bereiken, resulteert in een substantiële degradatie in nauwkeurigheid vergeleken met een baseline die uitsluitend getraind is op correctheid (bijvoorbeeld een daling van 80% naar 60% op benchmarks voor basisschoolwiskunde). Dit fenomeen treedt op omdat het optimalisatie-doel de het model dwingt om zijn redeneercapaciteiten op te offeren om te voldoen aan de beperkingen van het "overtuigend" zijn voor een verifier.

Methodologie

De auteurs stellen een Decoupled Prover-Verifier Game (DPVG) voor die de doelstellingen van correctheid en controleerbaarheid van elkaar scheidt. In plaats van één enkele prover te trainen om zowel correct als controleerbaar te zijn, introduceert het framework drie afzonderlijke componenten:

Solver ( $s$ ): Een vast model dat puur geoptimaliseerd is voor correctheid. Het genereert een oplossing (redenering en antwoord) zonder rekening te houden met controleerbaarheid.
Translator ( $\tau$ ): Een model met de taak om de oplossing van de solver om te zetten in een controleerbare vorm. Cruciaal is dat de translator getrouw (faithful) moet zijn, wat betekent dat het uiteindelijke antwoord overeenkomt met het antwoord van de solver.
Verifier ( $v$ ): Een model dat getraind is om onderscheid te maken tussen bewijzen die correcte antwoorden bevatten en die incorrecte antwoorden bevatten.

De structuur van de Ontkoppelde Game

De game betreft een Getrouwe Translator en een Sluwe Translator ( $\tau'$ ), die beide strijden tegen de Verifier:

Getrouwe Translator: Probeert een overtuigend bewijs te vervaardigen voor het antwoord van de solver.
Sluwe Translator: Probeert een overtuigend bewijs te vervaardigen voor een incorrect antwoord. Om dit te faciliteren, krijgt de sluwe translator het grondwaarheid-antwoord $y$ mee, zodat deze weet wat niet te produceren, in plaats van dat hij impliciet de opdracht moet oplossen om een alternatief fout antwoord te vinden.
Verifier: Optimaliseert een classificatie-doelstelling om de outputs van de getrouwe en de sluwe translator te onderscheiden.

Optimalisatie en Evenwicht

De auteurs formuleren een Stackelberg-game waarbij de verifier leidt. Ze bewijzen (Theorem 1) dat het evenwicht van deze game exact overeenkomt met een getrouwe en controleerbare translator.

Getrouwheid (Faithfulness): De translator komt overeen met het antwoord van de solver.
Controleerbaarheid (Checkability): Het systeem voldoet aan Volledigheid (de verifier accepteert correcte bewijzen) en Deugdelijkheid (de verifier wijst incorrecte bewijzen af).

Het trainingsproces omvat afwisselende ronden van het trainen van de verifier (met behulp van cross-entropy loss) en de translators (met behulp van Reinforcement Learning met RLOO). De beloningsfunctie voor de translators is ontworpen om rol-alignement te stimuleren (getrouwheid voor de getrouwe translator, misleiding voor de sluwe een) en hoge verifier-scores voor overtuigende bewijzen.

Belangrijkste Bijdragen

Ontkoppelingsframework: Het paper introduceert een nieuwe architectuur die de correctheid van de redenering (behandeld door de solver) ontkoppelt van de controleerbaarheid van de output (behandeld door de translator).
Theoretische Garantie: De auteurs leveren een formeel bewijs dat de evenwichten van hun voorgestelde game exact overeenkomen met getrouwe en controleerbare translators, wat garandeert dat de controleerbaarheidsdoelstelling de onderliggende correctheid niet in gevaar brengt.
Mitigatie van de Legibiliteitstaks: Het framework demonstreert dat het mogelijk is om modellen te trainen om controleerbare outputs te produceren zonder de nauwkeurigheidsdegradatie die wordt waargenomen in traditionele PVG-opstellingen.

Experimentele Resultaten

De auteurs evalueerden hun methode op de GSM8K-Aug dataset met gebruik van Llama-2-7b-chat voor solvers/translators en Qwen2-1.5B voor verifiers.

Behoud van Nauwkeurigheid: Het DPVG-model behaalde een nauwkeurigheid van 56,9% op de testset, vrijwel identiek aan de getrainde solver-baseline (57,0%). In contrast hiermee daalde de standaard PVG-aanpak (gereproduceerd uit Kirchner et al., 2024) aanzienlijk naar 22,3%, wat de aanwezigheid van de legibiliteitstaks in de baseline bevestigt.
Getrouwheid (Faithfulness): De getrouwe translator convergeerde naar een getrouwheidsscore van 1,0 (100%) tijdens de training en 99,8% op een aparte testset, wat aangeeft dat de translator het antwoord van de solver succesvol heeft behouden.
Trainingsdynamiek: De verifier-score voor de sluwe translator nam toe over de rondes heen, wat aangeeft dat de verifier robuuster werd. Omgekeerd werden de outputs van de getrouwe translator gestructureerder en compacter over de trainingsrondes heen, wat duidt op verbeterde legibiliteit.

Betekenis en Claims

Het paper claimt dat door de generatie van correcte antwoorden te ontkoppelen van de generatie van controleerbare bewijzen, het mogelijk is om stabiele trainingsdynamieken te bereiken waarbij legibiliteit wordt verbeterd zonder de systeemnauwkeurigheid te schaden. De auteurs positioneren dit als een oplossing voor de "legibiliteitstaks", waardoor de inzet van hoogwaardige redeneermodellen mogelijk blijft die nog steeds controleerbaar zijn door minder capabele systemen.

De auteurs blijven bescheiden over hun claims en merken op dat:

Zij geen menselijke evaluatiestudies hebben uitgevoerd om de verbetering in legibiliteit op schaal precies te meten, maar vertrouwen op kwalitatieve monsters en verifier-scores.
De "legibiliteitstaks" in eerder werk ook toegeschreven kan worden aan een gebrek aan chain-of-thought redenering in de prover, een factor die zij voor toekomstig onderzoek voorstellen.
Toekomstig werk onder meer het verkennen van alternatieve beloningsformuleringen en het toevoegen van chain-of-thought redenering vóór de bewijsgeneratie.

De kernbijdrage is de demonstratie dat een translator-gebaseerde aanpak de hoge nauwkeurigheid van een solver kan behouden terwijl het voldoet aan de strenge controleerbaarheidsvoorwaarden die vereist zijn voor betrouwbaar AI-toezicht.