🤖 machine learning

Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning

Dit artikel stelt Group-Graph Policy Optimization (G2PO) voor, een nieuw op groepen gebaseerd reinforcement learning-algoritme dat lineaire interactietrajecten transformeert naar een globale toestands-overgangsgraaf om beloningsschaarsheid te mitigeren en credit assignment te verbeteren, waardoor de prestaties van grote taalmodellen bij langdurige agentische taken aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar onervaren robot leert om een complexe puzzel op te lossen, zoals het vinden van een specifiek item in een gigantisch, rommelig magazijn of het kopen van het perfecte cadeau op een website. De robot moet vele stappen (beurten) nemen om de taak te voltooien, en hij krijgt pas aan het einde een "Goed gedaan!" of "Nog een keer proberen".

Het probleem met huidige leermethoden is dat ze de reis van de robot behandelen als een rechte lijn. Als de robot vroeg in het proces een geweldige zet doet maar later over zijn eigen voeten struikelt, wordt de hele reis als een mislukking bestempeld. De robot leert dan dat de geweldige zet eigenlijk slecht was, wat verwarrend is en het leerproces vertraagt.

Dit artikel introduceert een nieuwe leermethode genaamd G2PO (Group-Graph Policy Optimization). Zo werkt het, met behulp van eenvoudige analogieën:

1. Van een rechte lijn naar een web van paden

Huidige methoden kijken naar de robot terwijl deze één recht pad loopt van begin tot eind. Als de robot vastloopt, is dat pad een doodlopende weg.
G2PO verandert het perspectief. In plaats van een rechte lijn, bouwt het een gigantisch web (of graaf) van alle paden die de robot ooit heeft geprobeerd.

De Analogie: Stel je voor dat de robot een grot verkent. Huidige methoden kijken alleen naar één specifieke tunnel. G2PO kijkt naar de volledige kaart van de grot. Het merkt op dat, ook al nam de robot verschillende routes, hij vaak precies dezelfde kamer (toestand) meerdere keren bereikt.

2. De "Groepsknuffel" voor fouten (Group-Aggregation)

Op de oude manier, als de robot een specifieke kamer binnenkomt en daarna faalt, wordt die kamer als "Slecht" gelabeld. Als hij diezelfde kamer later wel binnenkomt en slaagt, wordt die kamer als "Goed" gelabeld. Dit is verwarrend omdat de kamer zelf niet veranderd is; alleen het pad daarna wel.
G2PO zegt: "Laten we naar alle keren kijken dat de robot die specifieke kamer is binnengekomen."

De Analogie: Stel je een leraar voor die het huiswerk van een leerling nakijkt. In plaats van één enkel examen te beoordelen en te zeggen: "Je bent gezakt," kijkt G2PO naar 10 verschillende toetsen die de leerling over hetzelfde onderwerp heeft gemaakt. Als de leerling het 7 keer goed had en 3 keer fout, realiseert de leraar zich: "Ah, de leerling begrijpt dit onderwerp eigenlijk heel goed; die 3 fouten waren gewoon pech."
Het Resultaat: Dit voorkomt dat de robot gestraft wordt voor pech en beloont het hem voor goede beslissingen, zelfs als het uiteindelijke resultaat een mislukking was door latere fouten.

3. Beoordelen op de stap, niet alleen op de bestemming (Edge-Centric Advantage)

Huidige methoden vergelijken de zet van een robot vaak alleen met andere zetten die beschikbaar zijn in die exactezelfde kamer.
G2PO kijkt naar de waarde van de sprong zelf. Het vraat: "Hoeveel dichter bij het doel heeft deze specifieere zet de robot gebracht vergeleken met waar hij begon?"

De Analogie: Stel je een wandelaar voor die een berg beklimt.
- Oude Methode: "Je hebt een stap omhoog gezet. Goed. Maar je nam later nog een stap omhoog. Was je eerste stap beter dan de tweede?" (Het vergelijken van stappen op lokale basis).
- G2PO: "Je begon onderaan de berg (lage waarde). Je zette een stap die je halverwege de berg bracht (hoge waarde). Dat was een enorme sprong vooruit! Zelfs als je later van een klif af viel, was die specifieke stap briljant."
Het Resultaat: G2PO identificeert de "cruciale sprongen" die de taak daadwerkelijk vooruit helpen door ze extra krediet te geven, terwijl kleine, triviale stappen die er niet veel toe doen, worden genegeerd.

4. Waarom het ertoe doet

De paper testte dit op drie moeilijke taken:

WebShop: Spullen online kopen.
ALFWorld: Huishoudelijke taken uitvoeren in een gesimuleerd huis.
AppWorld: Code schrijven om apps te beheren.

De Uitkomst:

De robot leerde veel sneller en maakte minder fouten.
Hij slaagde aanzienlijk vaker dan vorige methoden (tot 22% beter in sommige gevallen).
Het Beste Deel: Het deed dit allemaal zonder dat er meer computerkracht nodig was. Het organiseerde simpelweg de data die het al had op een slimmere manier (zoals een rommelig bureau opnieuw ordenen om dingen sneller te vinden, in plaats van een groter bureau te kopen).

Samenvattend:
G2PO stopt met het behandelen van de leerreis van de robot als een enkele, kwetsbare lijn. In plaats daarvan bouwt het een kaart van alle mogelijkheden, middelt het de pech uit om de waarheid te vinden, en beloont het de robot voor de specifieke stappen die hem daadwerkelijk dichter bij het doel brengen. Het is alsoer een upgrade van een GPS die slechts één route laat zien naar een slim navigatiesysteem dat de hele stad kent en je precies vertelt welke afslag het belangrijkste was.

Technische Samenvatting: Group-Graph Policy Optimization voor Long-Horizon Agentic Reinforcement Learning

Probleemstelling

De transitie van Large Language Models (LLMs) van chatbots naar autonome agenten die in staat zijn complexe, real-world problemen op te lossen, vereist robuuste besluitvorming over lange termijn (long-horizon). Hoewel Reinforcement Learning (RL) de redeneerkracht voor single-turn taken (bijv. wiskunde en coderen) succesvol heeft verbeterd, vormt het toepassen ervan op multi-turn agentische scenario's een aanzienlijke uitdaging.

Bestaande agentische RL-frameworks zijn grotendeels verschoven van traject-niveau naar stap-niveau training om context-explosie en geheugengebruik te beperken. Echter, deze stap-niveau benaderingen lijden onder twee kritieke beperkingen bij long-horizon taken:

Hoge variantie in State-Value Schatting: Huidige methoden behandelen agent-exploratie vaak als een verzameling geïsoleerde, lineaire trajecten. Omdat verschillende trajecten die vanuit dezelfde omgevingsstaat vertrekken, door stochasticiteit tot zeer verschillende uitkomsten kunnen leiden, is het schatten van de waarde van een staat op basis van de beloning van een enkel traject onbetrouwbaar en gevoelig voor hoge variantie.
Grovere Credit Assignment: Bestaande stap-niveau methoden (bijv. GiGPO) vergelijken acties doorgaans alleen binnen een lokale groep van identieke staten. Dit lokale perspectief slaagt er niet in de globale belangrijkheid van een transitie te vatten. Het kan geen onderscheid maken tussen een kleine verbetering in een triviale staat en een kritieke doorbraak-actie die absolute progressie naar het uiteindelijke doel drijft, wat leidt tot myope (kortzichtige) credit assignment.

Bovendien worden long-horizon taken gekenmerkt door sparse rewards (ijle beloningen), waarbij feedback vaak pas aan het einde van tientallen interactiestappen wordt gegeven, wat tussenliggende credit assignment bemoeilijkt.

Methodologie: Group-Graph Policy Optimization (G2PO)

Om deze knelpunten aan te pakken, stellen de auteurs Group-Graph Policy Optimization (G2PO) voor, een nieuw groep-gebaseerd RL-algoritme dat expliciet lineaire interactietrajecten transformeert naar een globale state-transition graph.

1. State Group Graph Constructie

In plaats van trajecten als onafhankelijke lijnen te behandelen, aggregeert G2PO identieke of vergelijkbare omgevingsobservaties over alle gesamplede trajecten heen in state groups (nodes). Agent-acties fungeren als gerichte edges die deze nodes verbinden, waardoor een verenigde state-transition graph ontstaat. Deze structuur erkent dat verschillende trajecten vaak convergeren op dezelfde omgevingsstaten (bijv. dezelfde webpagina of fysieke configuratie).

2. Group-Aggregation State-Value Estimatie

Om de hoge variantie die inherent is aan single-trajectory evaluatie te mitigeren, introduceert G2PO een group-aggregation mechanisme:

Mechanisme: Voor elke gegeven state group $G_k$ wordt de waarde $V(G_k)$ gedefinieerd als het gemiddelde van de gedisconteerde returns van alle tussenliggende stappen die tot die groep behoren over alle gesamplede trajecten.
Voordeel: Door de uitkomsten van meerdere trajecten die door dezelfde staat passeren te middelen, schat de methode de intrinsieke verwachte waarde van de staat in, in plaats van een toevallige uitkomst van een enkele sample. Theoretische analyse toont aan dat dit de variantie van de waarde-estimatie lineair vermindert met betrekking tot de groepsgrootte.

3. Multi-Granulariteit Advantage Estimatie

G2PO synthetiseert drie soorten advantages om dense, fijnmazige feedback te bieden:

Node-Centric Advantage (ANC): Evalueert een actie door de waarde van de resulterende staat te vergelijken met de gemiddelde waarde van alle mogelijke volgende staten vanaf de huidige node. Dit vangt lokale voorkeuren op.
Edge-Centric Advantage (AEC): Dit is de kerninnovatie. Acties worden behandeld als transities tussen state nodes. De advantage wordt berekend op basis van de Temporal Difference (TD) error ( $\delta = V_{next} - V_{current}$ ), die de absolute waardestijging van de transitie vertegenwoordigt. Cruciaal is dat deze TD-errors globaal gestandaardiseerd worden over de gehele graph, in plaats van lokaal binnen een state group. Dit stelt G2PO in staat om kritieke transities die substantiële absolute progressie drijven expliciet te identificeren en te prioriteren, zelfs als het specifieke traject uiteindelijk faalt.
Episode-Level Advantage (AEP): Behouden uit standaard GRPO om ervoor te zorgen dat het leerproces verbonden blijft met het uiteindelijke taakdoel.

De uiteindelijke advantage voor een stap is een gewogen combinatie van deze componenten:
$A_{ij} = A_{EP}(a_{ij}) + w \cdot (A_{NC}(a_{ij}) + A_{EC}(a_{ij}))$

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

G2PO Algoritme: Een groep-gebaseerd RL-algoritme dat specifiek is ontworpen voor long-horizon agent taken die lineaire trajecten transformeert naar een state group graph.
Group-Aggregation State-Value Estimatie: Een methode om de hoge variantie in state-value estimatie aan te pakken door uitkomsten te aggregeren over identieke staten in verschillende trajecten.
Edge-Centric Advantage Estimatie: Een strategie die acties herdefinieert als transities en hun absolute bijdrage aan globale progressie meet via globaal gestandaardiseerde TD-errors, waarmee de beperkingen van lokale groepvergelijkingen worden overwonnen.
Empirische Validatie: Uitgebreide experimenten die aantonen dat G2PO de state-of-the-art baselines overtreft met verwaarloosbare computationele overhead.

Experimentele Resultaten

De auteurs hebben G2PO geëvalueerd op drie representatieve long-horizon benchmarks: WebShop (e-commerce), ALFWorld (belichaamde fysieke omgevingen) en AppWorld (complexe software ecosystemen). Experimenten werden uitgevoerd op Qwen-2.5 modellen (1.5B, 7B en 14B).

Prestaties: G2PO presteerde consistent beter dan prompt-gebaseerde methoden (bijv. ReAct, Reflexion) en RL-baselines (PPO, RLOO, GRPO, GiGPO).
- Op WebShop behaalde G2PO een verbetering in succespercentage van tot wel 22,2% ten opzichte van GRPO.
- Op ALFWorld behaalde het een verbetering van 14,4% ten opzichte van GRPO.
- Op AppWorld presteerde G2PO beter dan alle andere RL-trainingsmethoden, wat een robuuste generaliseerbaarheid naar complexe API-gebaseerde taken aantoont.
Efficiëntie: Modellen getraind met G2PO vereisten minder interactierondes om taken te voltooien vergeleken met GRPO en GiGPO, wat wijst op verbeterde besluitvormingsefficiëntie.
Computationele Kosten: De graph constructie en advantage estimatie pipeline vertrouwt uitsluitend op CPU-verwerking. De auteurs rapporteren dat G2PO slechts ongeveer 1 seconde extra overhead per trainingsstap introduceert (ongeveer 0,4% van de totale tijd), waardoor de hoge efficiëntie van het onderliggende GRPO-framework behouden blijft.

Betekenis en Claims

Het artikel claimt dat G2PO een significante vooruitgang vertegenwoordigt in agentische RL door het perspectief te verschuiven van geïsoleerde lineaire trajecten naar een globale graph-structuur. Door expliciet de state-transition graph te modelleren en group-aggregation te gebruiken, lost de methode effectief het credit assignment probleem in sparse-reward, long-horizon scenario's op zonder de computationele overhead van een geleerde critic netwerk of de annotatiekosten van process reward modellen.

De auteurs benadrukken dat hun aanpak aansluit bij de filosofie van het benutten van empirische gemiddelden (zoals gezien in GRPO), maar dit uitbreidt naar het structurele niveau van state transities. De resultaten suggereren dat het erkennen van de inherente graph-structuur van multi-turn interacties cruciaal is voor het verminderen van variantie en het identificeren van kritieke doorbraak-acties, wat leidt tot substantiële prestatiewinsten in complexe agentische taken.