🤖 AI

Agent-G $^2$ : Gaussian Guidance for Agentic Reinforcement Learning

Agent-G $^2$ is een nieuw reinforcement learning-framework dat de diepte van hint-gebaseerde sturing optimaliseert door te samplen uit een online geschatte Gaussische distributie, waardoor het bestaande deterministische en probing-gebaseerde methoden overtreft bij agentische taken terwijl de computationele kosten aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een computerprogramma voor dat probeert te leren hoe het door een complexe wereld moet navigeren, zoals een robot die door een huis beweegt of een virtuele agent die op een website winkelt. Deze taken vereisen vaak een lange keten van beslissingen, waarbij het programma vele stappen moet zetten voordat het uiteindelijk slaagt of faalt. Het kernprobleem is dat het programma pas aan het einde een signaal ontvangt dat vertelt of het gewonnen of verloren heeft. Dit maakt leren ongelooflijk moeilijk, vergelijkbaar met het proberen te leren fietsen door pas na een mijl te horen "goed gedaan" of "je bent gevallen", zonder tussentijdse feedback over of je wel recht stuurde. Om het programma te helpen leren, hebben onderzoekers geprobeerd het een "hint" te geven aan het begin van elke poging: een kort fragment van een perfect pad dat door een expert is afgelegd. Dit geeft het programma een voorsprong, waardoor het dichter bij de finishlijn komt te staan zodat het de resterende stappen kan leren. Echter, een cruciale vraag blijft: hoeveel van dat expertpad moet er getoond worden? Laat je te weinig zien, dan is het programma nog steeds verdwaald; laat je te veel zien, dan kopieert het simpelweg de expert zonder iets nieuws te leren.

Een lange tijd behandelden onderzoekers deze vraag alsof er één perfecte hoeveelheid hulp was die voor elke taak gold, of probeerden ze de juiste hoeveelheid voor een specifieke taak te raden door veel dure, extra oefenrondes uit te voeren om verschillende niveaus van hulp te testen. Een nieuwe studie door een team van de Zhejiang Universiteit en Baidu suggereert dat beide benaderingen de plank misslaan. De onderzoekers ontdekten dat het "sweet spot" voor hulp niet één precies punt is, maar een bereik. Voor elke gegeven taak is er een band van verschillende hoeveelheden hulp die goed werken, en deze band verschuift afhankelijk van hoe moeilijk de taak is. In plaats van te proberen één exact getal te pinpointen, ontwikkelde het team een methode die de juiste hoeveelheid hulp behandelt als een flexibel bereik dat verandert terwijl de computer leert. Ze noemen hun systeem Agent-G2.

De onderzoekers testten hun idee in twee uitdagende omgevingen: een tekstgebaseerde wereld waarin een agent huishoudelijke taken moet voltooien zoals het oppakken van objecten of schoonmaken, en een gesimuleerde online winkel waar de agent specifieke artikelen moet zoeken en kopen. Ze gebruikten een taalmodel als de hersenen van deze agents. In hun experimenten ontdekten ze dat de meest effectieve hoeveelheid hulp een klokvormige curve vormt rond het ideale punt. Dit betekent dat voor een moeilijke taak een brede reeks hulpniveaus kan werken, terwijl voor een makkelijkere taak de reeks misschien nauwer is. Cruciaal was dat ze ontdekten dat de moeilijkheid van een taak nauw samenhangt met de lengte van het expertpad. Een taak die twintig stappen vereist, is over het algemeen moeilijker dan een taak die slechts twee stappen vereist.

Om het probleem van het vinden van het juiste hulpniveau op te lossen zonder tijd te verspillen, groepeert Agent-G2 taken op basis van hun lengte en gebruikt vervolgens de resultaten van de huidige oefenrondes om de hulp voor de volgende ronde aan te passen. Als de groep korte taken te gemakkelijk slaagt, vermindert het systeem automatisch de hoeveelheid hulp die aan hen wordt gegeven. Als de lange taken falen, vergroot het systeem de hulp. Het systeem doet dit door een middelpunt en een spreiding voor elke groep taken te berekenen, wat in feite een dynamische kaart creëert van waar het leren moet plaatsvinden. Het kiest vervolgens willekeurig een specifieke hoeveelheid hulp uit die kaart voor elke nieuwe poging. Deze aanpak stelt het systeem in staat om gelijktijdig een verscheidenheid aan nuttige startpunten te verkennen, waardoor zowel gemakkelijke als moeilijke taken de juiste soort duwt krijgen zonder dat er extra tests nodig zijn om de instellingen te bepalen.

De resultaten waren opmerkelijk. In de omgeving van de huishoudelijke taken bereikte de nieuwe methode een succespercentage van 95,3 procent met een kleiner model en 98,4 procent met een groter model. Dit presteerde beter dan de sterkste bestaande methoden die hints gebruikten, evenals de methoden die probeerden te leren zonder enige hints. Misschien nog belangrijker is dat de nieuwe methode deze resultaten behaalde met veel minder computerbronnen dan de voorheen beste methoden die probeerden de juiste hulp-niveau per taak individueel te raden. Die oudere methoden vereisten het draaien van veel extra oefenrondes om het antwoord te vinden, wat traag en duur is. Het nieuwe systeem leerde de juiste instellingen "on the fly", gebruikmakend van dezelfde data die het al verzamelde om de agent te verbeteren.

De studie toonde ook aan dat het systeem goed werkt over verschillende groottes van computermodellen, wat bewijst dat de manier waarop de hulp wordt geleverd net zo belangrijk is als de omvang van de hersenen die het leren uitvoeren. Sterker nog, het kleinere model met dit slimme begeleidingssysteem presteerde beter dan veel grotere modellen met oudere, minder geavanceerde methoden. De onderzoekers merkten op dat hun methode ervan afhankelijk is dat er voor elke taak een perfect voorbeeldpad beschikbaar is om mee te starten. Als dergelijke perfecte paden niet bestaan, kan het systeem niet direct worden gebruikt. Echter, voor de vele echte problemen waarbij experts het juiste pad kunnen demonstreren, biedt deze aanpak een krachtige manier om kunstmatige intelligentie te leren van zijn eigen fouten, in plaats van alleen maar te kopiëren wat het ziet. Door de juiste hoeveelheid begeleiding te behandelen als een flexibel bereik in plaats van een vast getal, hebben de onderzoekers een efficiëntere en robuustere manier gevonden om machines te helpen meester te worden in complexe, langetermijndoelen.

Technische Samenvatting: Agent-G2: Gaussian Guidance voor Agentic Reinforcement Learning

1. Probleemstelling

Reinforcement Learning (RL) voor Large Language Model (LLM) agents staat voor een kritieke uitdaging bij besluitvormingstaken met een lange horizon: beloningsschaarsheid (reward sparsity). In omgevingen zoals webnavigatie of belichaamde controle (embodied control) ontvangen agents vaak pas een binaire succes-signaal bij de terminale staat na tientallen opeenvolgende beslissingen. Als gevolg hiervan bereikt exploratie vanuit de initiële staat tijdens on-policy training zelden een succesvolle terminale staat, wat leidt tot "advantage collapse" in trainingsalgoritmen zoals Group Relative Policy Optimization (GRPO).

Hint-gebaseerde RL probeert dit te verzachten door een prefix van een expert-traject te behouden vóór elke rollout, waardoor het beleid (policy) kan exploreren vanaf een staat die dichter bij succes ligt. De effectiviteit van deze aanpak hangt echter af van de guidance depth (begeleidingsdiepte) ( $d$ ): de proportie van het expert-traject die wordt behouden.

Te weinig begeleiding: Het beleid start te vroeg, wat resulteert in weinig succesvolle rollouts.
Te veel begeleiding: De beloning raakt verzadigd, waardoor het contrast verdwijnt dat nodig is voor effectieve advantage-estimatie.

Bestaande methoden behandelen deze diepte als een deterministische scalaire waarde, wat leidt tot twee suboptimale paradigma's:

Schema-gebaseerde methoden: Gebruiken een enkele diepte voor alle samples in een batch (bijv. gebaseerd op trainingsstappen). Dit negeert per-taak heterogeniteit, aangezien taken binnen dezelfde batch aanzienlijk kunnen variëren in moeilijkheidsgraad (bijv. een taak van 2 stappen versus een taak van 20 stappen).
Per-sample probing methoden: Schatten een optimale diepte voor elke sample via binaire zoekopdrachten of enumeratie. Hoewel nauwkeuriger, brengt dit een hoge computationele kost met zich mee ( $O(\log n)$ of $N \times$ extra rollouts per sample) en introduceert het ruis onder beperkte rollout-budgetten.

De auteurs identificeren een fundamentele structurele mismatch in deze benaderingen: ze gaan ervan uit dat er één optimale diepte per taak bestaat. Empirische analyse laat zien dat nuttige begeleiding een "band" van dieptes bezet rond een optimaal punt, met een informatieve profiel dat ongeveer Gaussisch is.

2. Methodologie: Agent-G2

De auteurs stellen Agent-G2 voor, een Gaussian guidance framework dat de begeleidingsdiepte modelleert als een per-taak Gaussische distributie ( $N(\mu_i, \sigma_i^2)$ ) in plaats van een scalaire waarde. Deze distributie wordt online geschat uit de statistieken van rollouts die worden verzameld tijdens de policy-optimalisatie, zonder dat extra probe-rollouts of geleerde diepte-voorspellers nodig zijn.

Kerncomponenten

Offline Clustering:
Taken worden gepartitioneerd in $K$ clusters op basis van de lengte van het expert-traject (een proxy voor moeilijkheidsgraad). Dit stelt het systeem in staat om heterogeniteit aan te pakken door aparte statistieken bij te houden voor verschillende moeilijkheidsgraden.
Adaptief Gaussisch Schema:
Voor elke taak $i$ in cluster $k$ worden de parameters $\mu_i$ (centrum) en $\sigma_i$ (spreiding) dynamisch berekend:

Global Baseline ( $\mu_{global}$ ): Houdt de algehele voortgang van de policy bij. Deze wordt aangepast op basis van de succesrate van de batch ( $acc_B$ ) ten opzichte van een doel-succesrate ( $p_{target} = 0.5$ ), het "just-learnable" regime.
Cluster Statistieken: Voor elke cluster $k$ houdt het systeem Exponential Moving Averages (EMA) bij van de empirische succesrate ( $A_k$ ) en variantie ( $V_k$ ).
Parameter Berekening:
- $\mu_i = \text{clip}(\mu_{global} + \lambda(p_{target} - A_k), 0, 1)$ : Past het centrum aan op basis van de moeilijkheid van de cluster relatief aan de globale baseline.
- $\sigma_i = \max(\gamma V_k, \sigma_{min})$ : Stelt de spreiding in op basis van de variantie binnen de cluster, wat zorgt voor een bredere dekking voor heterogene taken.

Sampling en Rollout:
Voor elke taak wordt een guidance ratio $r_i$ gesampled uit $N(\mu_i, \sigma_i^2)$ en afgeklemd naar $[0, 1]$ . Dit bepaalt de prefix-lengte $n_i$ . De agent voert de expert-prefix uit om een staat $s_i$ te bereiken, en voert vervolgens $R$ onafhankelijke rollouts uit vanaf $s_i$ .
Trainingslus:

Policy Update: De policy wordt bijgewerkt met een combinatie van de GRPO-loss (op de $R$ rollouts) en een hulp-loss ( $L_{aux}$ ) op de gesamplede expert-prefixes (imitation learning).
Schema Update: Dezelfde rollouts die gebruikt worden voor de policy-updates verversen de globale baseline en de cluster-statistieken ( $A_k, V_k$ ) voor de volgende batch. Dit creëert een closed-loop systeem waarbij de guidance-distributie meebeweegt met de capaciteiten van de policy.

3. Belangrijkste Bijdragen

Structureel Inzicht: Het artikel onthult dat informatieve begeleidingsdieptes een band vormen in plaats van een enkel punt. Het trainingssignaalprofiel binnen deze band is unimodaal, symmetrisch en laat zich goed beschrijven door een Gaussische distributie. Dit verklaart de faalmodi van zowel gedeelde-diepte schedulers (structurele mismatch) als per-sample probing (ruis/kosten-trade-off).
Agent-G2 Framework: Een nieuw framework dat per-taak diepte-distributies online schat met behulp van een globale-lokale decompositie. Het bereikt per-taak variatie in diepte zonder extra probe-rollouts of hulp-netwerken.
Empirische Superieuriteit: Uitgebreide evaluatie op ALFWorld en WebShop met Qwen2.5-1.5B en 7B modellen toont aan dat Agent-G2 de state-of-the-art baselines (inclusief hint-gebaseerde, hint-vrije en auxiliary-RL methoden) overtreft, terwijl het werkt met minder dan een derde van de rollout-kosten van per-sample probing methoden.

4. Experimentele Resultaten

ALFWorld: Agent-G2 behaalde 95.3% succes (1.5B model) en 98.4% (7B model). Dit vertegenwoordigt verbeteringen van +2.3 en +3.9 punten ten opzichte van de sterkste hint-gebaseerde en hint-vrije baselines, respectievelijk.
WebShop: Agent-G2 behaalde een reward score van 92.3 en een aankoopsucces van 84.4% (7B model), waarmee het alle niet-probing baselines verslaat.
Efficiëntie: Hoewel Agent-G2 een bescheiden per-stap overhead heeft vergeleken met eenvoudige schema-gebaseerde methoden, is het aanzienlijk goedkoper (3.24x–4.83x sneller) dan probing-gebaseerde methoden (Binary Search, Enumeration) omdat het extra rollouts vermijdt.
Ablatie Studies:
- Het verwijderen van de stochastische sampling (alleen het gemiddelde $\mu_i$ gebruiken) zorgde voor een daling van 5.5 punten in prestaties, wat de noodzaak bevestigt om de informatieve band te dekken.
- Het verwijderen van de cluster-specifieke adaptatie ( $K=1$ ) zorgde voor een daling van 6.2 punten, wat het belang benadrukt van het aanpakken van taak-heterogeniteit.
- De hulp-loss ( $L_{aux}$ ) zorgde voor stabiliteit (+8.6 punten) maar was niet de primaire drijfveer van de prestaties; de GRPO-learning op de post-prefix staten was cruciaal.

5. Betekenis en Claims

Het artikel claimt dat Agent-G2 een verschuiving vertegenwoordigt van het behandelen van de begeleidingsdiepte als een statische, deterministische hyperparameter naar een dynamische, probabilistische variabele. Door het "nabijheid" (neighborhood) van nuttige begeleiding te modelleren in plaats van een enkel punt, balanceert de methode effectief tussen exploratie en exploitatie in taken met een lange horizon.

De auteurs benadrukken dat schema-ontwerp kan dienen als substituut voor backbone scaling. Opvallend genoeg overtrof het 1.5B model met Agent-G2 de 7B BEACON baseline, wat suggereert dat intelligente begeleidingsstrategieën de beperkte modelcapaciteit kunnen compenseren.

Erkende Beperkingen:

De methode vereist één expert-traject per taak; het kan niet direct worden toegepast waar dergelijke data niet beschikbaar is.
De Gaussische parametrisering is empirisch gemotiveerd; taken met multimodale of sterk scheve diepteprofielen kunnen rijkere distributies vereisen.
De moeilijkheidsgraad-clustering is momenteel gebaseerd op offline trajectlengte; online moeilijkheidsgraad-estimatie is een potentiële toekomstige richting.

Samenvattend biedt Agent-G2 een kosteneffectieve, schaalbare oplossing voor beloningsschaarsheid in agentic RL door gebruik te maken van de statistische structuur van de begeleidingsdiepte, waardoor de noodzaak voor dure probing wordt geëlimineerd terwijl het zich in realtime aanpast aan taak-heterogeniteit.