🤖 AI

Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution

Het artikel introduceert Policy of Thoughts (PoT), een framework dat het redeneervermogen van LLM's verbetert door executie tijdens de testfase te behandelen als een online optimalisatieproces waarbij een transiënte LoRA-adapter dynamisch wordt bijgewerkt via Group Relative Policy Optimization om feedback te internaliseren en de redeneerstrategie van het model te evolueren, waardoor een 4B-model significant beter presteert dan grotere state-of-the-art modellen op complexe programmeerbenchmarks.

Oorspronkelijke auteurs: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een ongelooflijk lastige puzzel probeert op te lossen, zoals een complexe programmeeruitdaging of een wiskundig probleem dat een lange keten van denkwerk vereist. Je hebt een super-slimme assistent (een Large Language Model) die veel feiten kent, maar soms in een lus terechtkomt en steeds dezelfde fouten herhaalt. In de wereld van kunstmatige intelligentie werkt deze assistent meestal met een "bevroren" brein: zodra hij begint na te denken, kan hij zijn fundamentele strategie halverwege de stroom niet meer veranderen. Als hij een verkeerde afslag neemt, blijft hij die verkeerde weg aflopen, in de hoop door puur geluk of door vele paden tegelijk te proberen de juiste oplossing te vinden. Dit is als proberen je weg uit een doolhof te vinden door blind elke gang in te rennen tot je een muur raakt, in plaats van te leren van de muren waar je al tegenaan bent gebotst.

Lange tijd was de beste manier om deze moeilijke problemen op te lossen simpelweg de computer meer tijd en rekenkracht te geven om miljoenen verschillende gokken te proberen. Maar dit artikel suggereert een slimmere manier: in plaats van alleen maar harder te proberen, moet de computer tijdens het proberen leren. Denk aan een personage in een videogame dat niet alleen opnieuw verschijnt en het weer probeert, maar ook daadwerkelijk leert van de specifieke valstrik die hem net heeft gedood, en zo zijn strategie direct aanpast voor de volgende poging. De onderzoekers achter deze studie vragen zich af: wat als onze AI "op zijn voeten kan denken", zijn eigen redeneerregels in realtime bijwerkt op basis van het feit of zijn vorige gokken wel of niet succesvol waren? Dit is het verschil tussen een robot die een script volgt en een robot die zijn eigen brein aanpast en evolueert voor elke nieuwe uitdaging die hij tegenkomt.

De "Policy of Thoughts": AI leren terwijl het speelt

Maak kennis met PoT (Policy of Thoughts), een nieuw framework dat het oplossen van een probleem niet behandelt als een eenmalige gok, maar als een levend, evoluerend gesprek tussen de AI en het probleem zelf. De auteurs, een team van onderzoekers van universiteiten zoals de Zhejiang University en de LMU München, stellen dat de oude manier van doen — waarbij de strategie van de AI bevroren blijft terwijl hij naar antwoorden zoekt — ons tegenhoudt. Ze stellen een systeem voor waarbij de AI een "tweede kans" krijgt om tijdens de test van zijn eigen fouten te leren, waardoor hij zichzelf effectief on the fly traint.

De Popperiaanse Puzzel: Gokken, Testen en Evolueren

Het kernidee is geïnspireerd door een beroemde filosoof genaamd Karl Popper, die geloofde dat de wetenschap vordert door middel van "conjecturen en weerleggingen". In gewone mensentaal betekent dit dat je een gok doet, deze toetst aan de werkelijkheid, en als het mislukt, precies leert waarom het mislukte, zodat je de volgende keer een betere gok kunt doen.

PoT brengt deze filosofie tot leven voor AI. Zo werkt de cyclus:

De Conjectuur (De Gok): De AI bekijkt een probleem en genereert een paar verschillende mogelijke oplossingen (zoals het schetsen van drie verschillende routes op een kaart).
De Weerlegging (De Werkelijkheidstoets): Het systeem voert deze oplossingen uit in een echte omgeving (zoals een code compiler). Als de code crasht of het foutieve antwoord geeft, is dat een "weerlegging".
De Evolutie (Het Leren): Dit is het magische deel. In plaats van de mislukte gok gewoon weg te gooien, gebruikt PoT de mislukking om de interne "policy" (de strategie voor het denken) van de AI bij te werken. Het maakt kleine, instant aanpassingen aan hoe de AI denkt, specifiek voor dit probleem.
De Herhaling: De AI probeert het opnieuw met zijn zojuist bijgewerkte brein, nu beter uitgerust om de specifieke fout die hij net maakte te vermijden.

De "Tijdelijke Brein"-truc

Je vraagt je misschien af: "Als de AI van elk probleem leert, zal hij dan niet in de war raken of vergeten wat hij eerder wist?" De auteurs hebben een slimme oplossing. Ze gebruiken een techniek genaamd LoRA (Low-Rank Adaptation), wat lijkt op het geven van een tijdelijke, afneembare "denkkap".

Stel je voor dat de AI een permanente, enorme bibliotheek aan kennis heeft (zijn basismodel). Wanneer hij met een moeilijk probleem wordt geconfronteerd, zet hij een speciale, lichtgewicht "denkkap" op (de LoRA-adapter). Deze kap stelt de AI in staat om snel te leren en zijn strategie voor dit specifieke puzzelstukje aan te passen. Zodra de puzzel is opgelost (of de tijd is verstreken), wordt de kap afgezet en weggegooid. De permanente bibliotheek blijft onaangetast en onverward. Dit betekent dat de AI een meester van aanpassing kan zijn voor elk nieuw probleem zonder zijn algemene kennis te verstoren.

De Resultaten: Klein Brein, Grote Winsten

De onderzoekers testten dit idee op programmeeruitdagingen, die berucht zijn vanwege hun moeilijkheidsgraad omdat ze nauwkeurige, stapsgewijze logica vereisen. Ze gebruikten een relatief klein AI-model (slechts 4 miljard parameters) en gaven het het PoT-framework.

De resultaten waren verrassend. Dit kleine model, gebruikmakend van PoT, slaagde erin 49,71% van de problemen op een pittige benchmark genaamd LiveCodeBench V6 op te lossen. Om dit in perspectief te plaatsen:

Het versloeg GPT-4o, een enorm commercieel model, dat op diezelfde specifieke benchmark een score van 29,71% behaalde.
Het presteerde aanzienlijk beter dan de baseline-prestaties van andere grote modellen op deze specifieke test, wat aantoont dat dynamisch leren de statische redenering van veel grotere systemen kan overtreffen.
Hoewel modellen zoals Gemini-2.5-Flash (60,91% totaal) en Claude-Opus-4 (55,22% totaal) hogere scores behaalden op bredere, gemengde benchmarks, vertegenwoordigt de 49,71% van het door PoT verbeterde 4B-model op de rigoureuze LiveCodeBench V6 een enorme sprong voor een model dat meer dan 50 keer kleiner is, wat bewijst dat adaptieve redenering de kloof met reuzen kan dichten bij complexe, specifieke taken.

Het meest indrukwekkende is dat het door PoT verbeterde model meer dan 50 keer kleiner is dan sommige van de gigantische modellen waarmee het concurreert. Het won niet door een groter brein te hebben; het won door een slimmere manier te hebben om het brein te gebruiken dat het had.

Waarom dit ertoe doet

Het artikel suggereert dat de toekomst van AI-redenering niet alleen draait om het bouwen van steeds grotere modellen. Het gaat erom modellen het vermogen te geven om "op hun voeten te denken". Door het proces van de testtijd te veranderen in een trainingssessie, stopt de AI met het verspillen van energie aan mislukte paden en begint hij die energie te gebruiken om zijn strategie direct te verbeteren.

De auteurs ontdekten dat deze methode het beste werkt wanneer er duidelijke feedback is (zoals code die wel of niet draait). Wanneer de feedback minder duidelijk is, zijn de winsten kleiner, maar nog steeds positief. Ze lieten ook zien dat deze aanpak werkt bij verschillende soorten modellen, niet alleen bij het model waarmee ze begonnen.

Kortom, PoT suggereert dat de beste manier om een moeilijk probleem op te lossen niet alleen is om harder te proberen; het is om sneller te leren. Door de AI zijn eigen redeneerstrategie te laten evolueren voor elke individuele uitdaging, kunnen we super-slimme resultaten behalen met veel kleinere, efficiëntere computers. Het is een verschuiving van "zoeken naar het juiste antwoord" naar "leren hoe je het juiste antwoord vindt".

Technische Samenvatting: Policy of Thoughts (PoT)

1. Probleemstelling

Large Language Models (LLM's) kampen met aanzienlijke instabiliteit bij het aanpakken van complexe, langdurige redeneertaken. Huidige state-of-the-art benaderingen vertrouwen op een frozen-policy aanname, waarbij de parameters van het model statisch blijven tijdens de inferentie. Hoewel methoden zoals Chain-of-Thought (CoT) en test-time scaling (bijv. Best-of-N, Tree of Thoughts) de inferentie-rekenkracht vergroten om oplossingsruimtes te verkennen, behandelen zij executie-feedback slechts als een extern signaal voor het filteren of herschrijven van trajecten. Ze internaliseren falen niet om de redeneerstrategie zelf te verbeteren. Gevolgd wordt er vaak kostbare computationele middelen verspild aan "misleidende trajecten" waarbij één vroege fout de redeneerketen onherroepelijk ontspoort, door een gebrek aan een mechanisme om koers te corrigeren in real-time.

Bestaande Test-Time Training (TTT) methoden hebben gradiëntgebaseerde updates verkend, maar richten zich doorgaans op cross-instance adaptatie of langdurige wetenschappelijke ontdekking, in plaats van op de per-instance redeneerinstelling die vereist is voor het oplossen van specifieke, complexe problemen.

2. Methodologie: Policy of Thoughts (PoT)

De auteurs stellen Policy of Thoughts (PoT) voor, een framework dat test-time redeneren herkadert als een within-instance online optimalisatieproces. Geïnspireerd door Karl Poppers epistemologische principe van "conjectures and refutations" (vermoedens en weerleggingen), stelt PoT het model in staat om zijn redeneerbeleid iteratief te evolueren via een gesloten lus van exploratie en adaptatie.

Kernarchitectuur

PoT werkt op een frozen base model dat wordt uitgebreid met een transiënte Low-Rank Adaptation (LoRA) adapter. Het redeneerproces volgt een cyclus van $P1 \to TT \to EE \to P2$ :

Exploratieve Vermoedens ($TT$): Het model voert gestructureerde exploratie uit met behulp van Monte Carlo Tree Search (MCTS). Het genereert een divers ensemble van kandidaat-trajecten (gedachten) door knopen uit te breiden op basis van de PUCT (Predictor Upper Confidence Bound) doelstelling.
Executie en Weerlegging ($EE$): Kandidaat-oplossingen worden uitgevoerd in een omgeving (bijv. een code-executor). Feedback wordt verkregen via unit test resultaten, wat dient als een objectieve maatstaf voor weerlegging.
Beleidsinternalisatie ( $P2$ ): In plaats van mislukte pogingen weg te gooien, gebruikt PoT Group Relative Policy Optimization (GRPO) om de transiënte LoRA adapter bij te werken.
- Een groep trajecten wordt gesampled, en hun relatieve beloningen worden berekend om advantage-signalen te schatten.
- De GRPO-loss wordt geminimaliseerd om de adapterparameters bij te werken, waardoor het model effectief "getraind" wordt op de specifieke instantie met behulp van de executie-feedback.
- Dit werkt de policy prior bij voor daaropvolgende zoekstappen, waardoor de zoektocht wordt vernauwd naar hoogwaardige regio's.
Reset: Zodra het probleem is opgelost of het budget is uitgeput, wordt de transiënte adapter verworpen, waardoor het base model onaangetast blijft. Dit voorkomt catastrofale vergeten en cross-instance interferentie.

Belangrijke Technische Componenten

Toestandsruimte (State Space): Gedefinieerd als de probleembeschrijving plus de geschiedenis van gegenereerde gedachten en executie-feedback.
Beloningsfunctie (Reward Function): Afgeleid van unit test executie (1.0 voor alle passes, gedeeltelijke credits voor gedeeltelijke pass, anders 0).
Adaptatiemechanisme: Gebruikt LoRA ( $\Delta W = BA$ ) om gewichten efficiënt tijdens inferentie bij te werken zonder de pre-trained backbone te wijzigen.
Optimalisatie: GRPO wordt ingezet om beloningen binnen een groep te normaliseren, waardoor het model kan leren van relatieve prestatieverschillen tussen kandidaten zonder dat er een aparte value network nodig is.

3. Belangrijkste Bijdragen

Test-Time Training als Policy Evolutie: Het paper formaliseert test-time redeneren als een online optimalisatieproces, waarbij het paradigma verschuift van statische trajectselectie naar dynamische beleidsadaptatie. Dit stelt LLM's in staat om executie-feedback te internaliseren en redeneerstrategieën in real-time te hervormen.
Het PoT Framework: Een verenigd systeem dat gestructureerde exploratie (MCTS) combineert met parameterefficiënte internalisatie (GRPO + transiënte LoRA). Het per-instance adapter ontwerp zorgt ervoor dat het model zich aanpast aan de specifieke logica van het huidige probleem zonder te interfereren met toekomstige taken.
Superieure Empirische Prestaties: Uitgebreide experimenten tonen aan dat PoT bestaande baselines, inclus\n bij search-gebaseerde methoden, iteratieve verfijningstechnieken en commerciële grote modellen, significant overtreft, ondanks het gebruik van een veel kleiner aantal parameters.

4. Experimentele Resultaten

De auteurs evalueerden PoT op vijf code-redeneer benchmarks: HumanEval, MBPP, LiveCodeBench (v5 & v6), en ICPC.

Prestaties op Kleine Modellen: Een 4B parameter model (Qwen3-4B-Instruct) die versterkt is met PoT bereikte een algehele nauwkeurigheid van 64,02%.
- Dit overtreft GPT-4o (49,35%), Claude-Opus-4 (55,22%), en Gemini-2.5-Flash (60,91%).
- Het presteert beter dan de sterkste test-time scaling baselines (bijv. RethinkMCTS op 57,08%, TTT-Discover op 58,79%) met aanzienlijke marges.
- Op LiveCodeBench V6 behaalde het 4B model 49,71%, waarmee het 12 test-time scaling baselines en commerciële modellen overtrof, ondanks dat het meer dan 50× kleiner is in parameteraantal.
Generalisatie: PoT toonde consistente winst over verschillende modelfamilies (Phi-4, Qwen) en schalen (1.7B tot 30B). Het complementeerde ook "thinking" modellen, waarbij de prestaties van Qwen3-4B-Thinking stegen van 55,20% naar 63,70% op LiveCodeBench V6.
Ablatie-studies:
- Adaptatie is Cruciaal: Het verwijderen van de LoRA update (pure MCTS search) liet de prestaties dalen van 49,71% naar 37,14%, wat benadrukt dat policy evolutie de primaire drijfveer van succes is.
- Vertakkingsfactor (Branching Factor): Een vertakkingsfactor van $k=3$ bood de optimale balans tussen exploratie-diversiteit en computationele efficiëntie.
- Transiënt vs. Persistent: Het weggooien van de adapter na elke instantie (per-instance reset) presteerde 5,41 punten beter dan het behouden ervan over instanties heen, wat bevestigt dat instantie-specifieke strategieën niet betrouwbaar overdraagbaar zijn.

5. Betekenis en Claims

Het paper betoogt dat leren op test-time een superieure strategie is dan alleen zoeken voor moeilijke redeneerproblemen. Door extra rekenkracht om te zetten in directe beleidsverbetering in plaats van verspilde exploratie, stelt PoT kleine modellen in staat om massieve, statische modellen te overtreffen.

De auteurs claimen dat PoT een fundamentele verschuiving vertegenwoordigt van de "frozen-policy" aanname, en aantoont dat per-instance transiënte adaptatie het juiste regime is voor redeneertaken. Het framework transformeert de "conjectures and refutations" cyclus effectief in een computationeel proces waarbij fouten niet alleen worden gefilterd, maar worden gebruikt om de interne redeneer-prior van het model voor de duur van de taak te verfijnen.

Beperkingen: De auteurs erkennen dat de afhankelijkheid van geleerde reward-modellen (in niet-uitvoerbare domeinen) subjectiviteit introduceert, en dat de effectiviteit van model-gebaseerde signalen versus deterministische omgevingsfeedback een open gebied blijft voor onderzoek. Echter, in domeinen met natuurlijke feedback (zoals code), bereikt de methode robuuste, state-of-the-art resultaten.