🤖 AI

PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs

PlanPO is een nieuwe groep-relatieve beleidsoptimalisatiemethode die van grof naar fijn werkende voordeelsignalen introduceert om succesvolle trajecten te onderscheiden op basis van interactie-efficiëntie, waardoor multi-turn agentische LLM's generaliseerbare planningsgedragingen kunnen leren en bestaande baselines op uitdagende benchmarks aanzienlijk overtreffen.

Oorspronkelijke auteurs: Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie is een specifieke klasse computerprogramma's, bekend als grote taalmodellen, begonnen met het fungeren niet alleen als passieve lezers of schrijvers, maar als actieve agenten. Deze digitale entiteiten kunnen complexe omgevingen navigeren, van virtuele webwinkels tot gesimuleerde wetenschappelijke laboratoria, door deel te nemen aan gesprekken met meerdere beurten waarin ze een situatie observeren, nadenken over een reactie en een actie ondernemen. Om deze agenten te leren dergelijke taken effectief uit te voeren, gebruiken onderzoekers vaak een methode genaamd reinforcement learning (versterkend leren). In dit proces probeert de agent vele verschillende manieren om een probleem op te lossen, en wanneer hij slaagt, ontvangt hij een beloning. Na verloop van tijd leert de agent de gedragingen te herhalen die leiden tot succes. Er ontstaat echter een aanzienlijke uitdaging wanneer de agent een manier vindt om te slagen: niet alle succesvolle paden zijn gelijk. Sommige oplossingen zijn direct en efficiënt, terwijl andere omwegen zijn, vol onnodige lussen, redundante stappen of overdreven woordenrijke verklaringen, maar ze ontvangen allemaal dezelfde "succes"-beloning. Dit gebrek aan onderscheid kan het leerproces verwarren, waardoor de agent tijd verspilt aan inefficiënte gewoonten of er niet in slaagt om vooruit te plannen.

Een team van onderzoekers heeft een nieuwe aanpak voorgesteld om dit probleem op te lossen, genaamd Group Planning-aware Policy Optimization, of PlanPO. In plaats van simpelweg elke succesvolle uitkomst te belonen, leert deze methode de agent om onderscheid te maken tussen een goede oplossing en een geweldige oplossing door te kijken naar hoe de oplossing werd bereikt. De onderzoekers observeerden dat zelfs wanneer een agent een taak correct voltooit, de reis daarheen sterk kan variëren in lengte en kwaliteit. Sommige agenten kunnen door een virtueel huis dwalen, waarbij ze herhaaldelijk dezelfde laden controleren voordat ze een object vinden, terwijl anderen rechtstreeks naar de juiste locatie gaan. Op dezelfde manier, wanneer een agent zijn gedachten spreekt of schrijft, zijn sommige reacties beknopt en logisch, terwijl andere breedsprakig zijn of verwarde redeneringen bevatten, zelfs als de uiteindelijke actie die wordt ondernomen correct is. Het kernidee achter PlanPO is om deze verschillen in lengte en efficiëntie te gebruiken als een signaal voor het leren. Door de succesvolle pogingen van een agent met elkaar te vergelijken, kan het systeem identificeren welke paden directer waren en welke reacties efficiënter waren, en deze specifieke gedragingen hoger belonen dan de onhandige.

De onderzoekers testten dit idee door taalmodellen te trainen op drie verschillende en uitdagende omgevingen. De eerste was een gesimuleerd huishouden waar de agent taken moest uitvoeren zoals het oppakken van objecten, schoonmaken of het verwarmen van items. De tweede was een complexe webwinkelomgeving waar de agent specifieke producten moest vinden tussen duizenden opties op basis van gebruikersinstructies. De derde was een wetenschappelijke simulatie waarin de agent virtuele instrumenten moest manipuleren om experimenten uit te voeren. In deze tests vergeleken de onderzoekers hun nieuwe methode met verschillende bestaande technieken, inclusief standaard reinforcement learning-benaderingen die geen onderscheid maken tussen verschillende soorten succes. De resultaten toonden aan dat de agenten getraind met PlanPO consequent beter presteerden dan de anderen. Gemiddeld verbeterde de nieuwe methode de prestaties met 27,2 procent over deze moeilijke benchmarks. In de huishoudelijke omgeving behaalden de agenten getraind met PlanPO een succespercentage van meer dan 91 procent, een aanzienlijke sprong vergeleken met eerdere methoden.

Wat dit bevinding bijzonder opmerkelijk maakt, is hoe de agenten hun gedrag veranderden. De onderzoekers ontdekten dat de agenten getraind met PlanPO niet alleen leerden de taken op te lossen; ze leerden ze efficiënter op te lossen. Ze namen minder stappen om hun doelen te bereiken en genereerden kortere, meer gefocuste reacties. Bijvoorbeeld, in de huishoudelijke taken daalde het gemiddelde aantal interacties om een klus te voltooien van meer dan 26 beurten naar net onder de 14 beurten. De agenten stopten ook met het produceren van talrijke of repetitieve tekst, waardoor ze de gemiddelde reactielengte aanzienlijk verminderden. Deze verbetering kwam niet voort uit het simpelweg dwingen van de agenten om korter of sneller te zijn, wat de onderzoekers lieten zien dat de prestaties juist zou schaden. In plaats daarvan leerden de agenten efficiënt te zijn alleen wanneer het hen hielp om te slagen. Ze ontwikkelden een vorm van planning-bewustzijn, waarbij ze begrepen dat een direct pad en een heldere uitleg beter waren dan een lang, kronkelend pad, zelfs als beide uiteindelijk tot hetzelfde resultaat zouden leiden.

De studie onderzocht ook of deze agenten wat ze hadden geleerd konden toepassen op nieuwe situaties die ze nog niet eerder hadden gezien. Wanneer ze werden getest op taken die anders waren dan de taken die tijdens de training werden gebruikt, behielden de PlanPO-agenten een hoog niveau van succes en presteerden ze met een ruime marge beter dan andere methoden. Dit suggereert dat de agenten niet louter specifieke oplossingen voor specifieke problemen aan het memoriseren waren, maar een algemene vaardigheid voor planning en besluitvorming aan het leren waren. De onderzoekers merkten op dat deze verbetering werd bereikt zonder dat daar enorme hoeveelheden extra rekenkracht of complexe nieuwe hardware voor nodig was; de methode reorganiseerde simpelweg hoe de bestaande trainingsdata werd geëvalueerd. Door de verschillen in succesvolle pogingen te behandelen als waardevolle informatie in plaats van ruis, stelden de onderzoekers de agenten in staat om effectiever te leren. Het werk demonstreert dat in de complexe wereld van kunstmatige intelligentie de kwaliteit van een succes even belangrijk is als het succes zelf, en het aanleren van machines om dat verschil te herkennen, kan leiden tot slimmere, meer capabele digitale assistenten.

Technische Samenvatting: PlanPO – Groep-Planning-bewuste Beleidsoptimalisatie voor Multi-turn Agentic LLM's

Probleemstelling

In het domein van multi-turn agentic Large Language Models (LLM's) is Group Relative Policy Optimization (GRPO) een standaardparadigma geworden voor het trainen van agenten met verifieerbare uitkomstbeloningen. Echter, er bestaat een kritieke beperking in de manier waarop GRPO omgaat met succesvolle rollout-heterogeniteit.

Bestaande varianten kennen doorgaans identieke uitkomstbeloningen toe aan alle trajecten die een taak succesvol voltooien, ongeacht de efficiëntie van de interactie. Dit leidt tot "advantage collapse" (voordeel-instorting), waarbij:

Circulaire successen (trajecten met redundante staatsovergangen, lussen of doodlopende wegen) gelijk worden behandeld met optimale successen.
Verbaal rijke of logisch gebrekkige redeneringen binnen succesvolle antwoorden dezelfde krediet krijgen als beknopte, coherente redeneringen.
Het gebrek aan discriminatie tussen succesvolle trajecten voorkomt dat agenten generaliseerbare planningsvaardigheden leren, wat vaak ertoe leidt dat ze slechts specifieke hoogwaardige patronen imiteren in plaats van robuuste, taak-generieke strategieën te ontwikkelen.

Huidige oplossingen die dit proberen aan te pakken, vertrouwen vaak op waardemodellen (critics) of process reward models (PRM's), die schattingsbias, proxy-fouten en aanzienlijke geheugenoverhead introduceren. Andere methoden zijn afhankelijk van arbeidsintensief handmatig ontwerp of empirische heuristieken die geen algemeenheid bezitten over verschillende taakinstellingen heen.

Methodologie: PlanPO

De auteurs stellen Group Planning-aware Policy Optimization (PlanPO) voor, een eenvoudige maar effectieve reinforcement learning-methode die gebruikmaakt van natuurlijk beschikbare lengteprofielen om coarse-to-fine advantage-signalen te construeren. De kerninnovatie is het conditioneren van de lengte-normalisatie strikt op succesvolle trajecten binnen een groep, waardoor de valkuilen van standaard lengteminimale optimalisatie worden vermeden.

1. Succes-geconditioneerde Lengte-normalisatie

PlanPO opereert binnen het standaard groep-relatieve kader, maar introduceert twee onderscheidende niveaus van advantage-berekening, die beide geconditioneerd zijn op het behalen van het taaldoel ( $R(\tau) = 1$ ):

Traject-niveau Advantage ( $A^E$ ):
Voor een groep van $N$ gesamplede trajecten voor dezelfde taak, normaliseert PlanPO de uitkomstbeloning door de trajectlengte (aantal interactiebeurten, $T_i$ ) alleen voor succesvolle trajecten.
$R^E(\tau^i) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{T_i}$
De advantage $A^E$ wordt berekend via groep-relatieve normalisatie (gemiddelde en variantie) van deze lengte-genormaliseerde beloningen. Dit signaal moedigt de agent aan om kortere, directere interactiepaden te vinden tussen succesvolle rollouts.
Respons-niveau Advantage ( $A^S$ ):
Op turn-niveau vlakt PlanPO alle succesvolle responsen die voor dezelfde taak zijn gegenereerd af naar een enkele groep. Het normaliseert de uitkomstbeloning door de respons token-lengte ( $L_{i,t}$ ) voor elke beurt.
$R^S(a_{i,t}) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{L_{i,t}}$
De advantage $A^S$ wordt berekend binnen deze actieve responsgroep. Dit biedt fijnmazige supervisie, wat de agent aanmoedigt tot beknopte en coherente redeneerpaden binnen succesvolle interacties.

2. Coarse-to-Fine Beleidsoptimalisatie

De uiteindelijke advantage voor een token $a_{i,t}$ in traject $\tau^i$ is een gewogen combinatie van de traject-niveau en respons-niveau advantages:
$A^{\text{PlanPO}}(a_{i,t}) = A^E(\tau^i) + \alpha(k) A^S(a_{i,t})$

Gewogen Decay: De coëfficiënt $\alpha(k)$ neemt lineair af tijdens de training. Dit ontwerp geeft prioriteit aan het traject-niveau planningssignaal (coarse) in het begin en verfijnt dit geleidelijk met het respons-niveau signaal (fine).
Bias-Variance Trade-off: Theoretische analyse (Theorem 1) toont aan dat $\alpha(k)$ de bias-variance balans beheert. Een grotere $\alpha$ behoudt de turn-niveau verfijning maar verhoogt de sampling-variantie, terwijl een kleinere $\alpha$ de variantie vermindert ten koste van shrinkage-bias.

Het beleid wordt geoptimaliseerd met een clipped groep-relatief objectief vergelijkbaar met GRPO, inclusief een KL-divergentie straf tegen een referentiebeleid.

Belangrijkste Bijdragen

Identificatie van een Bottleneck: Het artikel identificeert dat succesvolle-rollout-heterogeniteit (redundante beurten en verbaal rijke redeneringen in succesvolle trajecten) een kritieke bottleneck is in groep-relatieve optimalisatie die de kwaliteit van de rollout maskeert en het beleidsleren beperkt.
Voorstel van PlanPO: Een nieuwe methode die succes-geconditioneerde lengte-genormaliseerde advantages construeert. In tegenstelling tot generieke lengte-gebaseerde reward shaping, past PlanPO lengte-normalisatie alleen toe binnen groepen van succesvolle rollouts, waardoor de agent leert om planning-bewust gedrag te vertonen in plaats van enkel de lengte te minimaliseren.
Empirische Validatie: Uitgebreide experimenten tonen aan dat PlanPO consequent sterke baselines (inclusief GRPO, GiGPO en PPO) verslaat over meerdere benchmarks met verwaarloosbare extra trainingskosten.

Experimentele Resultaten

De auteurs evalueerden PlanPO met Qwen2.5-1.5B-Instruct en Qwen2.5-7B-Instruct op drie uitdagende multi-turn benchmarks: ALFWorld, WebShop en SciWorld.

Prestatiewinsten:
- Gemiddeld verbetert PlanPO ten opzichte van GRPO met 27,2% over de benchmarks.
- In ALFWorld (1.5B model) bereikte PlanPO een algeheel succespercentage van 91,3%, een verbetering van +18,5 punten ten opzichte van GRPO.
- Op out-of-distribution (OOD) taken in ALFWorld behaalde PlanPO een succespercentage van 87,1%, waarmee het GRPO met +17,0 punten en GiGPO met +4,7 punten versloeg, wat wijst op sterke generalisatie.
- In SciWorld behaalde PlanPO-7B een algehele score van 68,46, wat de vorige beste RL-baseline (ScalingInter-7B met 57,00) aanzienlijk verslaat.
Efficiëntie en Gedrag:
- Interactie-efficiëntie: PlanPO-agenten verminderden het gemiddelde aantal interactiebeurten van 26,1 (GRPO) naar 13,8.
- Respons Beknoptheid: De gemiddelde respons token-lengte daalde van 95,1 (GRPO) naar 56,3.
- Kosten: De methode brengt een verwaarloosbare extra trainingskost met zich mee, aangezien de lengte-normalisatie en advantage-berekening lichtgewicht operaties zijn vergeleken met de forward/backward passes van de LLM.
Ablatie-studies:
- Het verwijderen van ofwel de traject-niveau ( $A^E$ ) of de respons-niveau ( $A^S$ ) advantage leidde tot een significante verslechtering van de prestaties.
- Onvoorwaardelijke lengte-shaping (zonder succes-conditionering) veroorzaakte een instorting van de prestaties, wat bevestigt dat het louter minimaliseren van lengte nadelig is.
- Succes-geconditioneerde lengte-shaping alleen was onvoldoende; de combinatie met groep-relatieve optimalisatie was noodzakelijk om winst te behalen.

Betekenis en Claims

Het artikel claimt dat PlanPO een eenvoudige, schaalbare en taak-generieke oplossing biedt voor het probleem van advantage collapse in agentic RL. Door gebruik te maken van de inherente heterogeniteit in succesvolle rollouts (specifiek interactie- en responslengtes) als een supervisiesignaal, stelt PlanPO agenten in staat om generaliseerbare planningsvaardigheden te leren in plaats van te overfitten op specifieke hoogwaardige gedragspatronen.

De auteurs benadrukken dat hun aanpak geen dure waardemodellen, handmatige reward engineering of complexe heuristieken vereist. In plaats daarvan maakt het gebruik van het "natuurlijk beschikbare maar onderbenutte" signaal van lengteprofielen binnen succesvolle groepen om agenten te leiden naar directere, efficiëntere en coherente interacties. De resultaten suggereren dat succesvolle-rollout-heterogeniteit een levensvatbaar en krachtig signaal is voor het trainen van planning-bewuste agentic LLM's.