🤖 machine learning

A Verifiable Search Is Not a Learnable Chain-of-Thought

Dit artikel toont aan dat hoewel modellen effectief kunnen leren om oplossingen voor redenstaak te verifiëren en te memoriseren, ze fundamenteel falen in het leren van verifieerbare zoekprocedures als forward chain-of-thought afleidingen, ongeacht de model schaal of trainingsmethode, omdat dergelijke taken een getrouwe, informatiebehoudende stapsgewijze pad missen om na te bootsen.

Oorspronkelijke auteurs: Harsh Patel

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harsh Patel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar letterlijke leerling probeert te onderwijzen hoe hij een complexe puzzel moet oplossen. Je hebt een perfecte meester-oplosser die de puzzel elke keer kraakt. Je plan is simpel: je schrijft het stapsgewijze denkproces van de meester (de "Chain of Thought") op in een schrift, laat dit aan de leerling zien en verwacht dat de leerling de logica leert en de puzzel vervolgens zelf oplost.

Dit artikel betoogt dat dit plan werkt voor sommige puzzels, maar spectaculair faalt voor andere, en de reden hiervoor is niet dat de leerling "dom" is. Het komt door hoe de puzzel wordt opgelost.

Hier is de uitsplitsing van de bevindingen van het onderzoek met behulp van eenvoudige analogieën:

1. De twee soorten puzzels

De onderzoeker testte de leerling op negen verschillende soorten logische puzzels. Deze vielen in twee duidelijke groepen:

De "Rechtlijnige" Puzzels (De makkelijke varianten):
Denk aan deze als het volgen van een recept. "Meng bloem, voeg eieren toe, bak gedurende 20 minuten." De stappen verlopen in een rechte lijn van begin tot eind. Als je deze stappen opschrijft en ze aan de leerling leert, leert hij het perfect. Het onderzoek vond dat bij taken zoals Romeinse cijfers of eenvoudige wiskundige conversies, de leerling de stappen van de meester kon kopiëren en het antwoord in 99% van de gevallen juist gaf.
- De les: Als de oplossing een direct pad is, kun je het leren door het pad te tonen.
De "Backtracking" Puzzels (De moeilijke varianten):
Denk aan deze als het navigeren door een enorme, donkere doolhof waar je moet raden welke deur de juiste is. Als je een doodlopend pad raakt, moet je helemaal terug naar het begin om een andere deur te proberen. De meester-oplosser doet dit door een deur te proberen, te beseffen dat deze fout is, die gedachte te wissen, en een andere deur te proberen.
- Het probleem: Je kunt niet een "rechtlijnig" verhaal schrijven over dit proces. Een verhaal dat zegt "Ik probeerde Deur A, het faalde, ik probeerde Deur B, het faalde..." is eigenlijk een leugen als de leerling niet daadwerkelijk het vermogen heeft om zijn vorige gedachten in real-time terug te draaien en te wissen.

2. De "Verdict-as-Token" Valstrik

Het onderzoek ontdekte een specifieke foutmodus bij de "Backtracking" puzzels (specifiek een type Cryptarithm, waarbij je moet uitzoeken welke letter voor welk getal staat).

Wanneer de onderzoeker het "zoekproces" van de meester aan de leerling leerde, leerde de leerling niet de logica van het zoeken. In plaats daarvan leerde het de vorm van het antwoord.

De analogie: Stel dat de meester zegt: "Ik controleerde de rode deur, het was fout, dus ik elimineerde deze." De leerling onthoudt de zin "Elimineer rode deur" maar begrijpt niet echt waarom het fout was.
Het resultaat: Wanneer de leerling een nieuwe puzzel op eigen kracht probeert op te lossen, ziet hij een rode deur en zegt blindelings: "Elimineer rode deur", zelfs als de rode deur eigenlijk de juiste deur was. Hij reciteert een script zonder het verhaal te begrijpen. Het onderzoek noemt dit "Verdict-as-Token": het model behandelt de conclusie als een vaststaand woord dat uitgesproken moet worden, in plaats van een beslissing gebaseerd op bewijs.

3. Waarom grotere hersenen niet hielpen

De onderzoeker probeerde dit uit op veel verschillende modellen, van kleine tot enorme, superintelligente modellen (tot 671 miljard parameters).

De bevinding: Zelfs de gigantische modellen faalden bij de "Backtracking" puzzels wanneer hen werd gevraagd hun werk stap voor stap te laten zien. Ze stuitten allemaal op dezelfde lage limiet (ongeveer 5% nauwkeurigheid).
De reden: Het probleem was niet de grootte van de hersenen; het was het type denken dat vereist was. Je kunt een model niet dwingen om te "onthouden wat het geprobeerd heeft en terug te gaan" als de interne architectuur niet is ontworpen om een dergelijk "zoektoestand" (search state) vast te houden terwijl het een verhaal schrijft.

4. Het "Magische Sleutel" Experiment

Om te bewijzen dat het probleem de zoektocht was en niet de wiskunde, deed de onderzoeker een slimme truc. De leerling kreeg een "spiekbriefje" (de cijfercode) die de doolhof in een rechte lijn veranderde.

Het resultaat: Zodra de zoektocht werd verwijderd en de taak een rechtlijnige berekening werd, sprong de nauwkeurigheid van de leerling van 3% naar 57%.
De conclusie: Het model kon de wiskunde en de logica prima aan. Het kon alleen niet de "zoektocht" uitvoeren terwijl het het verhaal schreef.

5. De echte oplossing: Memorisatie, geen redeneren

Dus, hoe loste de winnaar van de wedstrijd de moeilijke puzzels op? Die leerde het model niet om te zoeken.

De strategie: Zij realiseerden zich dat de doolhof een eindig aantal mogelijke paden heeft. In plaats van het model te leren hoe het door de doolhof moet lopen, lieten ze het model een kaart van elke mogelijke doolhofindeling memoriseren.
De analogie: In plaats van de leerling te leren hoe hij door een doolhof moet navigeren, geef je hem een boek waarin staat: "Als de doolhof er zo uitziet, dan is het antwoord dat." Het model memoriseerde dit boek (een catalogus van oplossingen) en hoefde daarna alleen nog maar een snelle controle uit te voeren om te zien of het antwoord paste.
De les: Het artikel concludeert dat voor deze moeilijke zoekproblemen, memoriseren werkt, maar het destilleren van het zoekproces niet.

Samenvatting

De hoofdboodschap van het artikel is: Je kunt een model niet leren om te "zoeken" door simpelweg de zoekstappen te tonen.

Als de taak een rechte lijn is, werkt het tonen van de stappen.
Als de taak vereist dat men teruggaat (proberen, falen en opnieuw proberen), zal het model slechts de woorden van de mislukking memoriseren, niet de logica.
Om deze moeilijke taken op te lossen, moet je ofwel het model leren om de zoektocht zelf uit te voeren (wat moeilijk is), of de antwoorden vooraf berekenen en het model de catalogus van mogelijkheden laten memoriseren.

Het artikel is een waarschuwing voor AI-onderzoekers: Alleen omdat een computerprogramma een probleem kan oplossen, betekent dat niet dat een taalmodel kan leren om de weg naar die oplossing te "denken" door simpelweg de aantekeningen van dat programma te lezen. Soms is de enige manier om te leren de kaart memoriseren, niet de reis.

Technische Samenvatting: Een Verifieerbare Zoekopdracht is Geen Leerbare Chain-of-Thought

Probleemstelling

Het paper onderzoekt een centrale hypothese in de distillatie van redeneren: als een taak kan worden opgelost door een kort, deterministisch programma, kan de logica van dat programma dan worden aangeleerd aan een kleiner taalmodel als een verifieerbare Chain-of-Thought (CoT)? De intuïtie suggereert dat het opschrijven van de stappen van een solver in natuurlijke taal en het fine-tunen van een model op deze stappen, het model in staat zou moeten stellen om het redeneerproces te reproduceren.

De auteur daagt deze intuïtie uit met behulp van een gecontroleerde benchmark van negen redeneertaken. De benchmark bezit een unieke eigenschap: de verborgen testset wordt gegenereerd door dezelfde deterministische generatoren als de publieke trainingsset. Dit zorgt ervoor dat een afgezonderde subset van de trainingsdata een getrouwe proxy is voor de testnauwkeurigheid, waardoor de auteur de "leerbaarheidskloof" tussen een perfecte symbolische solver en een gefine-tuned model kan meten zonder toegang tot externe testlabels.

De kernvraag is of de dekking van een verifieerbare solver de nauwkeurigheid van een model voorspelt dat probeert de procedure via CoT te leren. De studie richt zich specifiek op taken waarbij de oplossing zoekopdrachten vereist (bijv. backtracking) versus taken die voorwaarts berekenbaar zijn (bijv. rekenkunde, opzoeken).

Methodologie

Het onderzoek maakt gebruik van een rigoureuze, geïnstrumenteerde pijplijn om leerbaarheid te isoleren van dataruis of architecturale beperkingen:

Benchmark Constructie: Negen taakcategorieën werden gedefinieerd, waaronder Romeinse cijfers, eenhedenconversie, vrije val fysica, monoalfabetische substitutiecijfers, 8-bit boolean regelinductie, vergelijkinginductie en twee families van cryptarithmen (deduceer en guess).
Solver Reverse-Engineering: De auteur heeft de deterministische generatoren teruggebracht naar Python-solvers. Vijf taken leverden solvers op met $\ge$ 98% nauwkeurigheid. De cryptarithm-taak werd opgelost via een backtracking search solver met ~71% nauwkeurigheid (het resterende deel is informatie-theoretisch ambigu).
Synthetische CoT Generatie: Solvers werden geïnstrumenteerd om hun eigen stappen te narreren in de native ASCII-stijl van het basismodel. Een cruciale discipline werd afgedwongen: elke "verdict" (bijv. "verwerp deze kandidaat") moest getuigd worden, wat betekent dat het bewijs dat de beslissing forceerde expliciet op dezelfde regel herhaald moest worden.
Trainingsregime:
- Basismodel: Nemotron-3-Nano-30B-A3B (een hybride Mamba-2/Mixture-of-Experts model).
- Adapter: Rank- $\le$ 32 LoRA-adapters getraind via Supervised Fine-Tuning (SFT) op synthetische CoT.
- Escalaties: Wanneer SFT een plateau bereikte, paste de auteur Reinforcement Learning from Verifiable Rewards (RLVR/GRPO) en Self-Taught Reasoner (STaR) training toe, waarbij de succesvolle rollouts van het model zelf werden geoogst.
Evaluatie: Modellen werden geëvalueerd op uitgesloten echte trainingsrijen (als testset) onder greedy decoding. De studie omvatte ook een architectuurcontrole (testen van dense en MoE Transformers van 3B tot 671B) en een causale interventie (het onthullen van delen van de cijfer sleutel om voorwaartse afleidbaarheid te testen).

Belangrijkste Bijdragen en Bevindingen

1. De Oplosbaarheid–Leerbaarheidskloof

Het paper kwantificeert een scherp uiteenlopen tussen solver-nauwkeurigheid en model-nauwkeurigheid.

Voorwaarts Berekenbare Taken: Voor taken zoals Romeinse cijfers, eenhedenconversie en eenvoudige cijfers, vertaalt de dekking van de solver (nabij 100%) zich direct naar model-nauwkeurigheid ( $\ge$ 0.99).
Zoektaken: Voor cryptarithm bereikt de solver ~71% nauwkeurigheid, maar het gefine-tuned model blijft steken op 0.01–0.07, ongeacht de trainingsmethode (SFT, RLVR, STaR) of CoT-ontwerp (11 verschillende ontwerpen getest).
Bit Manipulatie: Deze taak bevindt zich in het midden. De solver bereikt 98.9%, maar het model bereikt slechts 0.678. De kloof wordt gedeeltelijk gedicht door STaR, wat het model in staat stelt om zijn eigen succesvolle zoekopdrachten te imiteren, wat suggereert dat een model een zoekopdracht kan leren als het de zoekopdracht zelf binnen het contextvenster kan uitvoeren.

2. Het Falingsmechanisme: "Verdict-als-Token"

Het paper identificeert een specifieke falingsmodus in zoektaken genaamd "verdict-as-token."

Observatie: In cryptarithm-traces voert het model de rekenkunde correct uit op 97–100% van de regels. Echter, de verdict (de conclusie dat een kandidaat ongeldig is) is vaak losgekoppeld van het bewijs op die regel.
Mechanisme: Onder teacher forcing leert het model een vaste frase te emitteren (bijv. "geen komt overeen $\to$ verwerp") omdat deze altijd in een correcte context verschijnt tijdens de training. Tijdens inferentie (free-running) wordt deze frase onvoorwaardelijk geactiveerd, zelfs wanneer de rekenkunde op de regel de conclusie tegenspreekt.
Bewijs: Een per-regel getrouwheidsaudit toonde aan dat terwijl de rekenkundige correctheid bijna perfect was, de logische getrouwheid van de verdict (volgt de conclusie uit de getallen?) slechts 16–57% was.

3. Architectuuronafhankelijkheid en Voorwaartse Afleidbaarheid

De fout is niet specifiek voor de hybride Mamba-2/MoE architectuur.

Architectuurcontrole: Het trainen van hetzelfde cryptarithm-corpus op dense Transformers (Llama-3.2-3B, Qwen3.5-4B) en MoE Transformers (gpt-oss-20b) resulteerde in dezelfde $\le$ 0.04 nauwkeurigheidsvloer.
Causale Interventie: Het onthullen van de volledige cijfer sleutel (waardoor de taak verandert van zoeken naar voorwaartse opzoeking) verhoogde de nauwkeurigheid van het model van 0.03 naar 0.571. Het onthullen van slechts de helft van de sleutel hielp nauwelijks.
Conclusie: De beperkende factor is voorwaartse afleidbaarheid. Een taak waarvan de enige eerlijke oplossing een backtracking search is over een informatievrije structuur, laat geen getrouwe voorwaartse CoT toe. Zonder een voorwaartse trace om te imiteren, leert SFT alleen de oppervlakkige vorm van de zoekopdracht, niet de logica ervan.

4. De Ontsnapping: Memoriseren, Niet Zoeken

Het paper demonstreert dat de taak leerbaar is, maar niet door het zoekproces te distilleren.

De 1e-Plaats Oplossing: De winnaar van de competitie (Private LB 0.92) leerde het model niet zoeken. In plaats daarvan berekende hij de combinatorische kern van de zoekopdracht vooraf (een catalogus van 4.205 kandidaat-signaturen voor cryptarithm) en memoriseerde deze. De CoT van het model reduceerde toen tot herinneren (het opzoeken in de catalogus) plus begrensde verificatie.
Implicatie: Wat gedistilleerd wordt is memorisatie en verificatie, niet de zoekopdracht zelf. Een verifieerbare zoekopdracht is leerbaar als een CoT alleen als de kandidaat-structuur kan worden gecomprimeerd in een eindige catalogus die klein genoeg is om te memoriseren.

Betekenis en Claims

De primaire bijdrage van het paper is een negatief resultaat met convergerend bewijs: een verifieerbare zoekopdracht is geen leerbare chain-of-thought.

Weerlegging van Intuïtie: De aanname dat "elke oplosbare taak leerbaar is via CoT" faalt voor procedures die backtracking vereisen over informatievrije structuren.
Identificatie van het Mechanisme: Het paper isoleert "verdict-as-token" als de specifieke falingsmodus waarbij SFT de vorm van een redeneerstap loskoppelt van de logische inhoud, wat leidt tot ongetrouwe traces die instorten tijdens inferentie.
Voorspellende Heuristiek: De auteur stelt een pre-training test voor leerbaarheid voor: Wordt een puur voorwaartse afsluiting (geen backtracking) een betekenend deel van de instanties gedekt? Zo niet, dan zal de taak waarschijnlijk CoT-distillatie weerstaan.
Onderscheid: Het paper maakt onderscheid tussen oplosbaarheid (een antwoord bestaat) en leerbaarheid (een model kan er via redeneren bij komen). De solver-dekking voorspelt de model-nauwkeurigheid alleen wanneer de solver een voorwaartse mapping is; voor zoekprocedures voorspelt het bijna niets.

De auteur stelt expliciet dat de bijdrage niet een nieuwe modelcapaciteit of een competitie-ranglijst is (hun beste score was 0.85, het mediaan van het veld), maar een "helder, geïnstrumenteerd verslag van waar en waarom een verifieerbare zoekopdracht faalt om modelredenering te worden." De bevindingen suggereren dat voor complexe zoektaken de weg naar hoge prestaties ligt in het herformuleren van de taak om memorisatie te scheiden van computation, in plaats van te proberen het zoekproces zelf te distilleren.