🤖 AI

Credit Assignment with Resets in Language Model Reasoning

Dit artikel stelt Random-Reset en Self-Reset Policy Optimization (RRPO en SRPO) voor om redeneren bij taalmodellen te verbeteren door nauwkeurige krediettoewijzing mogelijk te maken via resetten naar tussenliggende toestanden en het opnieuw bemonsteren van voortzettingen, waarbij SRPO superieure prestaties behaalt door autonoom foutieve stappen te lokaliseren en te corrigeren zonder externe supervisie.

Oorspronkelijke auteurs: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert een complex wiskundeprobleem op te lossen of een stuk code te schrijven. Bij traditionele methoden, als de student het eindantwoord fout heeft, zegt de leraar misschien: "Je hebt gefaald," en laat de student de hele oplossing vanaf nul herschrijven, in de hoop dat het de volgende keer goed gaat. Het probleem met deze aanpak is dat de student niet weet welke specifieke stap de fout heeft veroorzaakt. Hebben ze een fout gemaakt in de aller eerste zin? Of zijn ze drie alinea's later verdwaald?

Dit artikel introduceert een slimmere manier om AI-modellen (specifiek Large Language Models) te leren redeneren. Het heet Credit Assignment met Resets.

Hier is de uiteenzetting van hun ideeën met behulp van eenvoudige analogieën:

1. Het Probleem: De "Uniforme Straf"

Momenteel, wanneer een AI faalt in een meerstaps redeneertask, behandelen standaard trainingsmethoden elk enkel woord dat de AI heeft gegenereerd als even verantwoordelijk voor het falen.

De Analogie: Stel je een estafettewedstrijd voor waarbij het team verliest omdat de loper op de 3e etappe de estafettestok laat vallen. Maar de coach schreeuwt de hele ploeg uit, waardoor de eerste loper, de tweede loper en de vierde loper allemaal extra rondjes moeten rennen. De eerste loper heeft niets verkeerd gedaan, maar wordt toch gestraft. Dit is inefficiënt en verwarrend.

2. De Oplossing: De "Reset-knop"

De auteurs stellen een mechanisme voor dat een Reset wordt genoemd. In plaats van helemaal opnieuw te beginnen, wordt de AI teruggestuurd naar een specifiek punt in het midden van de mislukte poging. Vanuit dat punt probeert het een nieuw einde te genereren (een "counterfactuele" voortzetting) om te zien of een andere keuze tot succes leidt.

De Analogie: Stel je voor dat je rijdt en een verkeerde afslag neemt, waardoor je verdwaalt. In plaats van helemaal terug te rijden naar huis om opnieuw te beginnen, parkeer je precies op het kruispunt waar je de fout maakte. Je zegt: "Oké, ik had hier niet linksaf moeten slaan; laten we proberen rechtsaf te slaan." Je rijdt alleen het deel van de reis opnieuw dat er toe doet.

3. Twee Manieren om de Fout te Vinden

Het artikel stelt twee methoden voor om te beslissen waar de reset-knop moet worden ingedrukt:

RRPO (Random-Reset): Dit is als gokken. De AI kiest een willekeurige stap in de mislukte keten en probeert het opnieuw vanaf daar.
- De Analogie: Een leraar die willekeurig een pagina kiest in een mislukte essay van een student en zegt: "Laten we vanaf hier herschrijven." Het kan werken, maar het is grotendeels geluk.
SRPO (Self-Reset): Dit is de ster van de show. De AI kijkt naar zijn eigen mislukte poging en vraagt: "Waar ging ik precies fout?" Het identificeert de specifieke gedachte of stap waar de logica ineenstortte en reset precies daar.
- De Analogie: De student leest zijn eigen essay, ziet de exacte zin waar de logica vaag werd, en zegt: "Ah, ik zie het probleem. Ik herschrijf beginnend bij die zin." Dit vereist geen hulp van buitenaf; de AI doet het zelf.

4. Waarom Dit Beter Werkt (De "Credit Assignment")

Door te resetten naar het specifieke foutpunt en meerdere nieuwe eindes te proberen, kan de AI duidelijk zien: "Als ik op dit specifieke moment pad A had gekozen in plaats van pad B, was ik geslaagd."

Het Resultaat: De AI leert de specifieke slechte gewoonte te herstellen in plaats van alleen de hele oplossing te memoriseren. Het is als een chirurg die een tumor verwijdert in plaats van het hele lidmaat te amputeren.

5. De Resultaten: Sneller en Slimmer

De onderzoekers testten dit op wiskundeproblemen, wetenschapsvragen en coderingstaken.

De Bevindingen: De SRPO-methode (waarbij de AI zijn eigen fout vindt) sloeg consistent de standaardmethoden en de "willekeurige gok"-methode.
Snelheid: Bij coderingstaken leerde SRPO 2 tot 3 keer sneller dan de standaardmethoden. Het bereikte een hoger succespercentage omdat het geen tijd verspilde aan het opnieuw leren van stappen die het al wist dat correct waren.
Zelfcorrectie: Het artikel vond dat wanneer de AI de fout correct identificeerde (een "schone" voorvoegsel), het het probleem bijna twee keer zo vaak kon oplossen als wanneer het de verkeerde plek gokte. Dit bewijst dat weten waar te resetten de sleutel tot succes is.

Samenvatting

Zie dit artikel als het leren van een AI om zijn eigen beste criticus te zijn. In plaats van blindelings hele taken opnieuw te proberen, leert de AI het exacte moment te pinpointen waarop het de weg kwijtraakte, de "reset"-knop in te drukken en vanaf dat specifieke moment een ander pad te proberen. Dit maakt leren veel efficiënter, preciezer en effectiever, vooral voor complexe taken zoals wiskunde en codering.

Technische Samenvatting: Toewijzing van Krediet met Resets in Redeneren van Taalmodellen

Probleemstelling

Moderne methoden voor Versterkend Leren met Verifieerbare Beloningen (RLVR) voor het post-trainen van taalmodellen op multi-stap redeneertaken propageren doorgaans een enkele uitkomstbeloning uniform over alle tokens in een traject. Deze aanpak van "uniforme krediettoewijzing" vertroebelt welke specifieke redeneerstappen bijdroegen aan succes of falen. Bijgevolg worden beleidswijzigingen ongedifferentieerd toegepast op het volledige traject, zelfs wanneer slechts een subset van stappen defect is. Deze inefficiëntie is bijzonder problematisch voor redeneertaken met een lange horizon, waar de signaal-ruisverhouding voor leren laag is.

Het artikel stelt dat het verbeteren van krediettoewijzing mechanismen vereist om specifieke defecte redeneerstappen te isoleren en te verfijnen, in plaats van volledige trajecten bij te werken. Geïnspireerd door biologische systemen die hoog-impact beslispunten herstellen om te leren van contrafactuele "wat als"-uitkomsten, stellen de auteurs het gebruik van resets voor als een primitief voor krediettoewijzing. Een reset herbetreedt een eerder bezochte staat en resampleert een voortzetting, waardoor verschillen in uitkomsten specifiek kunnen worden toegeschreven aan de beslissingen die vanuit die staat zijn genomen.

Methodologie

Het artikel introduceert twee op resets gebaseerde RLVR post-trainingsmethoden, die beide opereren op thought-niveau (waarbij elke actie een semantisch coherente redeneerstap is) in plaats van op token-niveau. Beide methoden construeren een trainingsbuffer die een basisgroep van standaard rollouts bevat en een "shared-prefix group" van rollouts die zijn geresampleerd vanuit een specifieke resetstaat $x^*$ , afgeleid van een gefaald traject.

1. Random-Reset Policy Optimization (RRPO)

RRPO komt overeen met een praktische realisatie van Conservative Policy Iteration (CPI) met willekeurige resets (CPI-RR).

Mechanisme: Bij het tegenkomen van een gefaald traject (het "zaadje") wordt de resetstaat $x^*$ uniform willekeurig gekozen uit de redeneerstappen van dat zaadje.
Proces: Meerdere suffix-voortzettingen worden gesampleerd vanuit $x^*$ . De policy gradient wordt alleen toegepast op de suffix-tokens, terwijl het gedeelde prefix wordt gemaskeerd.
Doel: Om de theoretische CPI-RR-baseline te benaderen, waarbij resetstaten uniform worden getrokken uit de on-policy verdeling.

2. Self-Reset Policy Optimization (SRPO)

SRPO komt overeen met een praktische realisatie van CPI met een Credit-Assignment Reset Oracle (CPI-CARO).

Mechanisme: In plaats van willekeurige selectie, localiseert het model zelf de eerste foutieve gedachte in het gefaalde zaadje-traject. Deze zelf-localisatie fungeert als een proxy voor de theoretische krediettoewijzings-orakel, die staten identificeert die een strikt betere actie toelaten (verbeterbare staten).
Proces: Het model analyseert zijn eigen redeneersporen om de index van de eerste fout te identificeren. De resetstaat $x^*$ wordt ingesteld op het prefix dat direct voorafgaat aan deze fout. Meerdere suffix-voortzettingen worden vervolgens gesampleerd vanuit dit geverifieerd-correcte prefix.
Kernkenmerk: SRPO vereist geen externe supervisie op stap-niveau (bijv. Process Reward Models of menselijke annotaties); het maakt gebruik van het vermogen van het model om zijn eigen eerste fout te detecteren, een vermogen dat wordt ondersteund door eerdere werken (Samanta et al., 2026).

Theoretisch Kader

De auteurs analyseren deze methoden binnen het Conservative Policy Iteration (CPI)-kader. Ze introduceren een theoretische variant, CPI-CARO, die een krediettoewijzings-orakel gebruikt om resetstaten alleen te samplen vanuit "verbeterbare staten" (staten waar een actie bestaat met een voordeel groter dan een drempel $\tau$ ).

Theoretisch Resultaat: Het artikel bewijst dat CPI-CARO een verbetering van $1/p_\pi^2$ in sample complexiteit bereikt en een verbetering per iteratie van $1/p_\pi$ in vergelijking met standaard CPI-RR (willekeurige resets), waarbij $p_\pi$ de on-policy waarschijnlijkheid is om een verbeterbare staat te bereiken.
Implicatie: Door resets te concentreren op staten met potentieel voor verbetering, voorkomt het algoritme dat het leersignaal wordt verdund met niet-verbeterbare staten.

Belangrijkste Bijdragen

Conceptueel: Het artikel presenteert resets als een fundamenteel primitief voor krediettoewijzing voor post-training. Het betoogt dat uitkomstverschillen over suffixes die zijn geresampleerd vanuit een verbeterbare staat krediet specifiek binden aan de beslissingen die op die staat zijn genomen.
Theoretisch: Het breidt het CPI-kader uit met een krediettoewijzings-orakel en biedt bewezen garanties dat het concentreren van resets op verbeterbare staten superieure sample complexiteit en verbetering per iteratie oplevert ten opzichte van willekeurige resets.
Algoritmisch & Empirisch: Het stelt SRPO voor, een trainingsvrije methode die zelf-localisatie gebruikt om resets aan te sturen. SRPO toont aan dat taalmodellen fouten effectief zelf kunnen localiseren om zelfcorrectie aan te sturen zonder externe supervisie.

Experimentele Resultaten

De auteurs evalueerden SRPO en RRPO op twee basismodellen (Qwen2.5-14B-Instruct en OLMo-3-7B-Instruct) getraind op NuminaMath-Olympiads en getest over een reeks van 10 benchmarks die wiskunde, wetenschap, strategisch en gezond verstand redeneren omvatten, evenals een coderingsbenchmark (LiveCodeBench).

Algemeen Redeneren: SRPO presteerde consequent beter dan standaard GRPO en RRPO. Op het Qwen2.5-14B-model behaalde SRPO de beste resultaten op 7 van de 10 taken; op OLMo-3-7B was het het beste op 6 van de 10. Opmerkelijk is dat deze winsten optraden op out-of-distribution benchmarks (wetenschap, strategie, gezond verstand) ondanks training alleen op wiskundedata.
Coderingstaken: In LiveCodeBench convergeerde SRPO naar een hoger slaagpercentage en leerde 2–3× sneller dan GRPO en RRPO.
Sampling Strategie: Een ablatiestudie naar de verhouding tussen basis-rollouts en shared-prefix rollouts (bijv. 1×4 vs. 2×4 vs. 1×8) vond dat een 1×4 split (4 basis-rollouts, 4 suffixes vanuit één zelf-gelocaliseerd prefix) de beste balans bood tussen dekking van het basisbeleid en diepte van het gedeelde prefix.
Kwaliteit van Zelf-Localisatie: Analyse van het zelf-localisatiemechanisme toonde aan dat het een imperfecte maar effectieve proxy is voor de orakel. Wanneer het model de fout correct localiseerde (een "schoon" prefix creërend), was het correctiepercentage bijna 2× hoger (28,7% vs. 16,3%) in vergelijking met wanneer de localisatie overschoot in het foutieve gebied.

Betekenis en Beweringen

Het artikel beweert dat zelf-gelocaliseerde resets een significante vooruitgang vertegenwoordigen in RL post-training voor redeneren. Door weg te bewegen van uniforme krediettoewijzing, stelt SRPO efficiënter leren mogelijk door te richten op de specifieke stappen die verantwoordelijk zijn voor falen.

Efficiëntie: De methode bereikt hogere prestaties met minder samples in vergelijking met standaard GRPO, met name in coderingstaken waar convergentie wordt versneld.
Zelfvoorzienendheid: SRPO opereert zonder externe supervisie op stap-niveau, uitsluitend vertrouwend op het interne vermogen van het model om zijn eerste fout te identificeren. Dit maakt de aanpak schaalbaar en toepasbaar op domeinen waar menselijke annotatie of Process Reward Models niet beschikbaar zijn.
Theoretische Alignering: Het empirische succes van SRPO valideert de theoretische premisse dat het concentreren van beleidswijzigingen op "verbeterbare staten" (via een krediettoewijzings-orakel) bewezen winsten oplevert ten opzichte van strategieën voor willekeurige exploratie.

De auteurs concluderen dat, hoewel zelf-localisatie niet perfect is, het voldoende is om betekenisvolle verbeteringen aan te sturen. Toekomstig werk wordt voorgesteld om zich te richten op het verbeteren van de kwaliteit van zelf-localisatie (bijv. via dedicated localizers) en het uitbreiden van deze op resets gebaseerde krediettoewijzingsmechanismen naar langere horizon agent-taken en multi-turn dialogen.