💬 NLP

Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States

Dit artikel introduceert POISE, een versterkingsleermethode die gebruikmaakt van een lichtgewicht probe die is getraind op de interne toestanden van een beleidsmodel om waardebases te schatten tegen verwaarloosbare kosten, waardoor stabiele en efficiënte beleidsoptimalisatie wordt bereikt zonder de rekenkundige overhead van aparte critici of meerdere rollouts.

Oorspronkelijke auteurs: Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

Gepubliceerd 2026-05-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar zeer dure student (een Large Language Model) leert complexe wiskundeproblemen op te lossen. Je wilt dat ze beter worden, dus gebruik je een methode genaamd Versterkend Leren. In deze methode probeert de student een probleem op te lossen, en je geeft ze een score (een beloning) als ze het antwoord goed hebben.

Om ze effectief te leren, moet je ze niet alleen vertellen wat ze goed hebben, maar ook hoeveel beter ze presteerden in vergelijking met hun gebruikelijke prestaties. Dit "verschil" wordt het voordeel genoemd. Om dit te berekenen, heb je een basislijn nodig – een schatting van wat de student normaal gesproken zou scoren op dat specifieke probleem.

Het Probleem: De Kosten van Gissen

Momenteel zijn er twee hoofdmanieren om deze basislijn te krijgen, en beide zijn duur:

De "Enorme Tutor"-methode (PPO): Je huurt een tweede, even grote en dure AI-model aan om alleen als criticus op te treden. Deze criticus bekijkt het werk van de student en schat de score. Dit verdubbelt je rekenkosten omdat je twee reuzenmodellen tegelijk draait.
De "Groepsgemiddelde"-methode (GRPO): Je vraagt de student om hetzelfde probleem 8 keer achter elkaar op te lossen. Je middelt vervolgens die 8 scores om een basislijn te krijgen. Dit verspill veel tijd en geld omdat je 7 extra antwoorden genereert alleen maar om een basislijn te krijgen, waardoor er minder ruimte overblijft om nieuwe problemen te proberen.

De Oplossing: POISE (De Eigen Intuïtie van de Student)

De auteurs van dit artikel stellen een nieuwe methode voor genaamd POISE (Policy Optimization with Internal State Value Estimation).

Hier is het kernidee: De student weet al hoe moeilijk het probleem is voordat ze het zelfs maar hebben opgelost.

Wanneer een groot AI-model denkt, genereert het een spoor van "interne gedachten" (verborgen toestanden) terwijl het van de vraag naar het antwoord beweegt. Het artikel stelt dat deze interne gedachten een verborgen signaal bevatten over hoe waarschijnlijk het is dat het model slaagt. Het is alsof de student een buikgevoel heeft: "Ik heb moeite met deze stap; ik zal het waarschijnlijk niet goed krijgen," of "Dit voelt makkelijk; ik ben zelfverzekerd."

POISE werkt als volgt:

De Lichtgewicht Proef: In plaats van een tweede gigantisch AI-model aan te huren, bevestigen ze een kleine, goedkope "proef" (zoals een simpele rekenmachine) aan het brein van de student.
Het Lezen van de Signalen: Deze proef bekijkt de interne gedachten (verborgen toestanden) van de student en hun "onzekerheid" (entropie) terwijl ze denken.
De Voorspelling: De proef voorspelt de score op basis van die interne signalen.
De Rechtvaardigheidstruc (Cross-Rollout): Om ervoor te zorgen dat de student niet cheat door naar hun eigen antwoord te kijken om de score te raden, gebruikt het systeem een slimme truc. Het vraagt de student het probleem twee keer op te lossen. Om de eerste poging te beoordelen, kijkt de proef naar de interne gedachten van de tweede poging, en andersom. Dit zorgt ervoor dat de basislijn eerlijk en onbevooroordeeld is.

Waarom Dit Een Grote Zaken Is

Het is Goedkoper: Je hebt geen tweede gigantisch AI-model nodig. Je gebruikt gewoon de kleine proef op de signalen die de student al genereert.
Het is Sneller: Je hoeft niet 8 antwoorden te genereren om een basislijn te krijgen. Je hebt er maar 2 nodig (één om op te lossen, één om te helpen beoordelen). Dit maakt ruimte vrij in je rekenbudget om veel verschillende problemen te proberen, wat helpt de student sneller te leren.
Het is Stabiel: Omdat je meer verschillende problemen kunt proberen, is het leerproces minder "ruisachtig" en stabieler.

De Resultaten

De onderzoekers testten dit op wiskundig redeneertaken (zoals Olympiade-wiskunde). Ze ontdekten dat:

POISE even goed presteerde als de state-of-the-art methoden (zoals DAPO) die dure critici of grote groepen antwoorden gebruiken.
Het minder rekenkracht gebruikte en het trainen sneller afrondde.
Het "buikgevoel" accuraat was: De kleine proef voorspelde het slagingspercentage bijna even goed als een volwaardig AI-criticusmodel.
Het elders werkt: Ze testten het op coderings- en hulpmiddel-gebruikstaken, en het werkte daar ook goed, wat bewijst dat de interne signalen van de student een universele indicator van succes zijn.

Samenvatting

POISE is als het beseffen dat je student geen tweede leraar nodig heeft om te vertellen hoe goed ze het doen. Door simpelweg te luisteren naar hun interne "denkproces", kun je direct weten of ze op het goede spoor zitten. Dit bespaart geld, bespaart tijd en maakt het leerproces soepeler, allemaal zonder prestaties te offeren.

Technische Samenvatting: POISE (Policy Optimization with Internal State Value Estimation)

Probleemstelling

Versterkingsleren met verifieerbare beloningen (RLVR) is een centrale drijvende kracht voor het verbeteren van Large Reasoning Models (LRM's) op complexe taken zoals wiskundig redeneren. Echter, stabiel en efficiënt RLVR is sterk afhankelijk van nauwkeurige basisschattingen om de variantie van beleidsgradiënten te verminderen. Bestaande benaderingen brengen aanzienlijke rekenkosten met zich mee:

PPO (Proximal Policy Optimization): Vereist het trainen van een apart, op LLM-schaal gebaseerd criticamodel dat bij elke update de volledige gegenereerde sequentie verwerkt, wat het geheugengebruik en de optimalisatiecomplexiteit ongeveer verdubbelt.
GRPO (Group Relative Policy Optimization): Vermijdt een apart criticamodel door basissen te schatten uit het gemiddelde van de beloning van een groep gesamplede rollouts per prompt. Deze methode "ruilt parameters in voor samples" en vereist meerdere rollouts per prompt om een stabiele basis te behouden. Onder een vast rekenbudget vermindert dit de diversiteit van prompts in een batch, wat de gradiëntvariantie opblaast. Bovendien wordt aanzienlijke rekenkracht verspild aan "degeneratieve" prompts waarbij alle rollouts identieke beloningen ontvangen (nul voordeel).

De kernvraag die door dit werk wordt aangepakt is: Kan een effectieve basis worden onttrokken uit de berekeningen die al tijdens de beleidstraining worden uitgevoerd, waardoor de behoefte aan extra middelen wordt geëlimineerd?

Methodologie: POISE

De auteurs stellen POISE (Policy Optimization with Internal State Value Estimation) voor, een methode die gebruikmaakt van de interne representaties van het beleidsmodel om de waardenfunctie $V^\pi(x)$ te schatten tegen verwaarloosbare kosten.

1. Schatting van de Waarde van Interne Toestanden

In plaats van een apart criticamodel te trainen, traint POISE een lichtgewicht probe om de verwachte verifieerbare beloning direct te voorspellen vanuit de verborgen toestanden van het beleidsmodel en tokenstatistieken die tijdens de forward-pass worden verzameld.

Invoereigenschappen: De probe maakt gebruik van drie complementaire signalen:
1. Prompt-niveau eigenschappen: Verborgen toestanden van de laatste prompt-tokens, die de representatie van het model van de prompt en de verwachte moeilijkheidsgraad vastleggen.
2. Traject-niveau eigenschappen: Verborgen toestanden van het einde van het redeneertraject, die waardebewerkende informatie blootleggen die niet alleen in de prompt aanwezig is.
3. Token-niveau entropiestatistieken: Lichtgewicht onzekerheidseigenschappen.
Trainingsdoel: De probe wordt getraind om de prompt-niveau waarde $V^\pi(x)$ te voorspellen. Om te voorkomen dat het doel informatie lekt over de specifieke rollout die wordt geëvalueerd, gebruiken de auteurs een leave-one-out Monte Carlo-doel. Voor een prompt $x$ met $K$ gesamplede rollouts is het doel voor rollout $i$ het gemiddelde van de beloning van de andere $K-1$ rollouts.

2. Cross-Rollout Constructie voor Onbevooroordeeldheid

Een kritieke theoretische uitdaging is het waarborgen dat de basis voorwaardelijk onafhankelijk blijft van de actie (de gesamplede respons) om de onbevooroordeeldheid van de beleidsgradiënt te behouden. Als de basis afhankelijk is van dezelfde rollout die deze evalueert, introduceert dit bias.

Oplossing: POISE maakt gebruik van een cross-rollout constructie. Voor elke prompt worden twee onafhankelijke rollouts, $y^{(1)}$ $y^{(1)}$ en $y^{(2)}$ $y^{(2)}$ , gesampled.
- De basis voor $y^{(1)}$ wordt voorspeld met behulp van de interne toestanden van $y^{(2)}$ .
- De basis voor $y^{(2)}$ wordt voorspeld met behulp van de interne toestanden van $y^{(1)}$ .
Dit zorgt ervoor dat de basis die wordt gebruikt om een specifieke rollout bij te werken, is afgeleid van een onafhankelijke steekproef, waardoor aan de voorwaarde $E[b(x) \nabla \log \pi(y|x)] = 0$ wordt voldaan.

3. Integratie in Beleidsoptimalisatie

POISE integreert deze schatter in een optimalisatielus in de stijl van PPO:

Online Training: De waardeschatting wordt gezamenlijk met het beleid getraind op een schuivende buffer van recente trajecten. Omdat de eigenschappen worden onttrokken uit de forward-pass die al vereist is voor beleidsupdates, is de rekenkundige overhead verwaarloosbaar.
Voordeelberekening: Voordeelen worden berekend als $A^{(i)}(x) = R(x, y^{(i)}) - b^{(i)}(x)$ , waarbij $b^{(i)}(x)$ de cross-rollout basis is.
Efficiëntie: In tegenstelling tot GRPO, dat een grote groep (bijvoorbeeld 8 rollouts) vereist om een basis te schatten, vereist POISE slechts een paar rollouts. Dit maakt het mogelijk om het vaste rekenbudget toe te wijzen aan een groter aantal verschillende prompts per batch, wat theoretisch de gradiëntvariantie vermindert.

Belangrijkste Bijdragen

Nieuwe Basisschatting: Introduceert een methode om basissen af te leiden uit de interne toestanden van het beleidsmodel, waardoor de behoefte aan een apart LLM-schaal criticamodel of grote rolloutgroepen wordt geëlimineerd.
Theoretische Onbevooroordeeldheid: Stelt een cross-rollout architectuur voor die de voorwaardelijke onafhankelijkheid garandeert die nodig is voor onbevooroordeelde beleidsgradiënten, terwijl er gebruik wordt gemaakt van traject-geconditioneerde eigenschappen.
Rekenkundige Efficiëntie: Demonstreert dat een lichtgewicht probe (lineaire regressie) prestaties in waardeschatting kan bereiken die vergelijkbaar zijn met of beter zijn dan een apart criticamodel, terwijl aanzienlijk minder rekenkracht vereist is.
Generaliseerbaarheid: Toont aan dat de interne toestandsignalen generaliseren over verschillende domeinen (wiskunde, codering, tool-callen, instructie-opvolging) en modelschalen.

Experimentele Resultaten

De methode werd geëvalueerd op Qwen3-4B en DeepSeek-R1-Distill-Qwen-1.5B over olympiade-niveau benchmarks voor wiskundig redeneren (AMC, AIME, HMMT, BRUMO).

Prestaties: POISE bereikt prestaties die vergelijkbaar zijn met DAPO (een state-of-the-art GRPO-gebaseerd algoritme).
- Op Qwen3-4B behaalde POISE een gemiddelde Avg@32-score van 0,500, wat dicht in de buurt komt van DAPO's 0,508, terwijl het DAPO versloeg op specifieke benchmarks zoals AMC23 en HMMT25.
- Op DeepSeek-R1-Distill-Qwen-1.5B verbeterde POISE de gemiddelde score naar 0,303 in vergelijking met DAPO's 0,296.
TrainingsEfficiëntie: POISE vereist aanzienlijk minder wandkloktijd. Op DeepSeek-R1-Distill-Qwen-1.5B duurde het bereiken van vergelijkbare prestaties 18 uur met POISE versus 24 uur met DAPO op een enkele B200 GPU. Op Qwen3-4B was de tijd 36 uur versus 49 uur.
Stabiliteit: De gradiëntnormen in POISE waren consistent lager dan in DAPO, wat wijst op verminderde gradiëntvariantie en een stabielere optimalisatie.
Kwaliteit van Waardeschatting: De interne toestandsprobe behaalde een Pearson-correlatie van 0,870 met empirische beloningen, wat beter was dan een apart getraind LLM-schaal criticamodel (0,676) op dezelfde taak.
Generalisatie: De schatter behield hoge prestaties over codering, tool-callen en instructie-opvolgingstaken, en presteerde in deze domeinen vaak beter dan aparte criticamodellen.

Betekenis en Claims

Het artikel claimt dat POISE een rekenkundig efficiënt pad biedt naar stabiel en schaalbaar RLVR voor grote redeneringsmodellen. Door gebruik te maken van de eigen interne representaties van het model, elimineert de methode:

De geheugen- en rekenoverhead van het trainen van een apart criticamodel.
De sampling-inefficiëntie van groepsrelatieve basissen (GRPO), waardoor een hogere promptdiversiteit mogelijk is binnen een vast budget.
De verspilling van rekenkracht aan degeneratieve prompts die nul voordeel opleveren.
Het toont aan dat interne toestanden, die eerder voornamelijk als diagnostische hulpmiddelen werden gebruikt, kunnen dienen als praktische, hoogtrouw optimalisatiesignalen voor versterkingsleren.

De auteurs concluderen dat POISE stabielere en efficiëntere beleidsoptimalisatie mogelijk maakt zonder de noodzaak van groepsrelatieve basissen of auxiliaire waardenmodellen, waardoor het een levensvatbaar alternatief wordt voor het trainen van grote redeneringsmodellen onder beperkte middelen.