💬 NLP

StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning

Dit paper introduceert StepPO, een perspectief dat de traditionele token-gebaseerde versterkende leerbenadering voor LLM-agenten vervangt door een stap-georiënteerd paradigma om beter om te gaan met multi-turn interacties, vertraagde beloningen en complexe besluitvorming.

Oorspronkelijke auteurs: Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

StepPO: Het Leren van een AI-Agent door "Stappen" te tellen, niet door "Brieven" te schrijven

Stel je voor dat je een jonge, slimme assistent (een AI) wilt leren hoe hij een complexe klus moet doen, zoals het oplossen van een lastige puzzel of het schrijven van een computerprogramma. Vroeger leerden we deze AI's op een specifieke manier, maar het papier StepPO stelt voor dat we die manier moeten veranderen om ze echt goed te maken.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Oude Probleem: De "Letter-voor-Letter" Methode

Stel je voor dat je een kind leert een lange brief te schrijven. De oude methode (die veel AI's nu gebruiken) kijkt naar elke letter die het kind schrijft.

Als het kind een goede letter schrijft, krijgt het een klein puntje.
Als het een slechte letter schrijft, krijgt het een klein minpuntje.

Het probleem: Een goede zin is niet zomaar een verzameling letters. Het is een gedachte. Als het kind een hele zin schrijft die perfect is, maar één lettertje verkeerd staat, krijgt het misschien een straf voor die ene letter, terwijl de rest van de zin perfect was. Of nog erger: als het kind een hele goede stap zet (bijvoorbeeld: "Ik ga nu een kaart raadplegen"), maar dat duurt 50 letters om te schrijven, dan verdwijnt de waarde van die hele actie in de ruis van 50 individuele letters.

Het is alsof je een voetballer traint door te kijken naar elke beweging van zijn tenen, in plaats van te kijken naar of hij de bal heeft gescoord of een goede pass heeft gegeven.

2. Het Nieuwe Idee: De "Stap-voor-Stap" Methode (StepPO)

De auteurs van dit paper zeggen: "Stop met kijken naar de letters. Kijk naar de stappen."

In de wereld van AI-agenten is een "stap" een complete interactie. Bijvoorbeeld:

De AI denkt na.
De AI gebruikt een tool (zoals een zoekmachine).
De AI krijgt een antwoord terug.
De AI vat het samen.

Dit hele proces is één stap.

De Analogie:
Stel je voor dat je een kok traint om een drie-gangenmenu te maken.

De oude methode (Token-level): De trainer kijkt naar elke snede van de groente. Als de snede een millimeter scheef is, krijgt de kok een straf. Het maakt niet uit of het gerecht uiteindelijk heerlijk smaakt; de focus ligt op de micro-bewegingen.
De nieuwe methode (StepPO): De trainer kijkt naar de gangen. "Heb je de soep goed gemaakt? Ja? Top, hier is een punt." "Heb je de hoofdgerecht goed bereid? Nee? Dan moeten we dat verbeteren."

Door te kijken naar de stap (de complete actie), begrijpt de AI beter wat er echt belangrijk is: het nemen van de juiste beslissingen, niet het perfect typen van elke letter.

3. Waarom is dit zo belangrijk?

AI-agenten werken vaak in lange gesprekken met de wereld. Ze moeten beslissen: "Moet ik nu zoeken? Moet ik nu rekenen? Moet ik nu wachten?"

Als je alleen naar letters kijkt, is het moeilijk om te weten welke letter de "goede beslissing" was. Het is alsof je probeert te raden welke van de 1000 woorden in een boek de reden was dat het boek een bestseller werd.
Met StepPO zeggen we: "Die hele zin waarin je besloot om te zoeken? Dat was een goede stap. Daar krijg je credit voor."

Dit helpt de AI om geduldiger en slimmer te worden in lange taken, omdat het de beloning krijgt voor het nemen van de juiste strategie, niet alleen voor het typen van de juiste tekst.

4. De Technische Uitdaging: Het Bouwen van de Keuken

Het paper zegt ook dat je niet zomaar kunt overstappen op deze methode; je moet ook je "keuken" (het computersysteem) aanpassen.

Vroeger: Alles werd opgeslagen als één lange, saaie tekstreeks.
Nu (StepPO): We moeten de data opslaan als losse blokken (stappen). Elke stap heeft zijn eigen vraag, antwoord en resultaat.

Dit is als het verschil tussen een stapel losse post-it notes (oude methode) en een goed georganiseerd dagboek met duidelijke hoofdstukken (nieuwe methode). Als je een dagboek hebt, kun je makkelijker zien welke dag goed ging en welke niet, zonder dat je door 1000 losse briefjes moet bladeren.

5. Wat zeggen de tests?

De auteurs hebben dit getest met een vraagbaak (HotpotQA), waarbij de AI veel stappen moet zetten om het antwoord te vinden.

Resultaat: De AI die leerde met de "Stap-methode" (StepPO) werd sneller beter en haalde hogere scores dan de AI die leerde met de "Letter-methode".
Conclusie: Het werkt echt. Door te focussen op de grote stappen in plaats van de kleine letters, worden AI-agenten beter in het oplossen van echte, complexe problemen.

Samenvatting in één zin

StepPO is een nieuwe manier om AI's te trainen waarbij we stoppen met ze te straffen of belonen voor elke individuele letter die ze typen, en beginnen met ze te belonen voor elke complete, slimme beslissing die ze nemen. Het is de overstap van "perfect typen" naar "perfect denken".

Probleemstelling

De opkomst van algemene agenten (zoals OpenClaw en Claude Code) gebaseerd op Large Language Models (LLM's) vereist steeds geavanceerdere vaardigheden zoals besluitvorming, planning en het gebruik van tools. Traditionele Reinforcement Learning (RL) methoden voor LLM's, zoals RLHF en RLVR, zijn ontworpen voor single-turn (één beurt) interacties of korte redeneertraces. Ze modelleren het leerproces als een token-level Markov Decision Process (MDP), waarbij elke gegenereerde token een actie is.

Dit paradigma wordt echter ontoereikend voor agentic RL (multi-turn interactie) vanwege:

Granulariteitsmismatch: Agenten nemen beslissingen op het niveau van volledige interactiestappen (bijv. een tool aanroepen, een zoekopdracht uitvoeren), niet op het niveau van individuele tokens. Het toekennen van beloningen per token is te lokaal en ruisend.
Vertraagde en schaarse beloningen: In multi-turn scenario's arriveert de beloning vaak pas na vele stappen, waardoor het moeilijk is om de bijdrage van eerdere beslissingen te isoleren bij een token-level credit assignment.
Retokenisatie-drift: Veel systemen slaan trajecten op als tekst en tokeniseren ze opnieuw voor training. Omdat de mapping van token $\to$ tekst $\to$ token niet altijd omkeerbaar is, ontstaat er een inconsistentie tussen de gegenereerde rollouts en de trainingsdata, wat de stabiliteit van het leren ondermijnt.

Methodologie: StepPO

StepPO (Step-Aligned Policy Optimization) stelt voor om het leerparadigma volledig te verschuiven van token-level naar step-level. De kern van de methode bestaat uit vier samenhangende componenten:

1. Step-Level MDP Formulering

In plaats van een MDP te definiëren per token ( $s_t, a_t$ waar $a_t$ één token is), definieert StepPO het MDP per interactiestap.

State ( $s_t$ ): De observatie of prompt die de agent ontvangt.
Action ( $a_t$ ): De volledige reactie van de agent (een sequentie van tokens, een tool-call, of een combinatie).
Transition: De overgang naar de volgende state ( $s_{t+1}$ ) gebeurt na voltooiing van de volledige stap en het ontvangen van feedback van de omgeving.
Dit reflecteert de causale structuur van agent-gedrag beter: een stap begint met een observatie, leidt tot een actie, triggert een externe transactie en resulteert in een nieuwe observatie.

2. Gestructureerde Trajectrepresentatie

Om de retokenisatie-drift te voorkomen, stelt StepPO voor om trajecten niet op te slaan als platte tekst of een monolithische token-stroom, maar als gestructureerde step-level eenheden.

Elke stap wordt opgeslagen als een zelfstandige eenheid met: prompt_ids, response_ids, reward, en metadata.
Dit zorgt voor token-space consistentie: de tokens die tijdens de rollout zijn gegenereerd, worden exact hergebruikt tijdens training zonder opnieuw te hoeven decoderen en tokeniseren.

3. Step-Level Credit Assignment

De optimalisatie (beloningstoewijzing) moet overeenkomen met de stap-granulariteit.

Huidige problemen: Token-level credit assignment (zoals in PPO) is te lokaal; Trajectory-level credit assignment (zoals in GRPO) is te grof en kan niet onderscheiden welke tussenliggende beslissingen succesvol waren.
StepPO Oplossing: Het introduceert Step-Level Generalized Advantage Estimation (GAE). De beloning wordt toegewezen aan de interactiestap ( $a_t$ ) in plaats van aan individuele tokens of het hele traject.
De actor-objective wordt berekend op basis van de verhouding van de kans op de volledige stap ( $\pi_\theta(a_t|s_t)$ ) en de stap-gebaseerde voordelen ( $A_t$ ). Dit zorgt ervoor dat cruciale beslissingen (zoals het kiezen van de juiste tool) correct worden beloond, zelfs als de uiteindelijke beloning pas later arriveert.

4. Systeemontwerp

StepPO vereist een nieuw trainingsframework dat:

Step-native data ondersteunt.
Asynchrone training mogelijk maakt (rollout engines en training engines werken onafhankelijk) om wachttijden bij lange trajecten te minimaliseren.
Efficiëntie optimaliseert door gedeelde voorvoegsels (prefixes) tussen stappen te hergebruiken (prefix-tree merging).

Kernbijdragen

Conceptueel Kader: Een pleidooi voor de verschuiving van token-level naar step-level MDP in Agentic RL, waarbij de stap de fundamentele actie-eenheid wordt.
Algoritmische Innovatie: De formulering van StepPO, een PPO-variant die credit assignment en waarde-schatting aligneert met interactiestappen in plaats van tokens.
Systeemarchitectuur: Een ontwerp voor een trainingsinfrastructuur (geïllustreerd door de projecten Agent-R1 en Claw-R1) die asynchrone verwerking, gestructureerde datamanagement en token-consistentie combineert.
Empirisch Bewijs: Experimenten die aantonen dat deze aanpak superieur is aan traditionele token-level PPO.

Resultaten

De auteurs hebben experimenten uitgevoerd op de HotpotQA dataset (een multi-hop vraag-antwoord taak die multi-step redenering vereist).

Setup: Vergelijking tussen StepPO en standaard token-level PPO, waarbij alle andere variabelen (model, data, hyperparameters) gelijk werden gehouden.
Uitkomst: StepPO presteerde consequent beter dan de token-level baseline. De leercurve van StepPO bleef gedurende het grootste deel van het trainingsproces hoger, bereikte een hogere piek en hield een sterkere stabiliteit aan in de latere fasen.
Conclusie: Dit bevestigt dat het toekennen van credit op het niveau van interactiestappen een effectiever leersignaal biedt voor lang-horizon agent-gedrag dan het verdelen van credit over tokens.

Betekenis en Impact

StepPO biedt een cruciaal perspectief voor de ontwikkeling van de volgende generatie LLM-agenten. Het paper benadrukt dat het simpelweg schalen van bestaande token-level RL-methoden ontoereikend is voor complexe, multi-turn agenten. Door de optimalisatie-eenheid, de data-representatie en het systeemontwerp te aligneren met de semantische "stap" van de agent, maakt StepPO het mogelijk om:

Meer robuuste en stabiele agenten te trainen.
Effectiever om te gaan met vertraagde beloningen.
Schaalbare trainingspijplijnen te bouwen die heterogene agenten en asynchrone workflows ondersteunen.

De auteurs concluderen dat StepPO niet alleen een algoritmische verbetering is, maar een noodzakelijke evolutionaire stap in het veld van Agentic Reinforcement Learning.