🤖 AI

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

Dit paper introduceert een subdoel-gedreven framework met MiRA, een versterkende leerbenadering die dichte mijlpaalbeloningen gebruikt, waardoor open-source modellen zoals Gemma3-12B aanzienlijk beter presteren in langdurige webnavigatietaken dan bestaande gesloten systemen.

Oorspronkelijke auteurs: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Gepubliceerd 2026-03-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van het Wegvinden: Hoe AI Agents Leren Om niet Verdwaald te Raken

Stel je voor dat je een zeer slimme, maar nogal naïeve robot hebt die je wilt helpen bij het doen van boodschappen op internet. Je geeft hem de opdracht: "Vind het dichtstbijzijnde café binnen 50 mijl van de universiteit."

Voorheen was dit een nachtmerrie voor deze robots. Ze begonnen enthousiast, maar halverwege het proces raakten ze in de war. Ze klikten op de verkeerde link, bleven in een kringetje rondlopen op dezelfde pagina, of ze gaven simpelweg op omdat ze niet meer wisten waar ze waren. Het was alsof je iemand de weg vraagt in een enorme stad, en die persoon halverwege de route vergeet waar hij naartoe moet, en begint te dwalen.

Deze paper van Google DeepMind introduceert een slimme oplossing voor dit probleem, genaamd MiRA (Milestoning your Reinforcement Learning Enhanced Agent). Laten we kijken hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De "Verdwaalde Reis"

Stel je voor dat je een lange wandeling maakt door een donker bos. Je hebt alleen een kaart met de eindbestemming (het café), maar geen tussenstops. Als je een keer een verkeerd pad opgaat, weet je niet dat je fout zit tot je helemaal vastloopt.

Vroeger leerden AI-agenten op deze manier: ze kregen alleen een beloning als ze precies op het einddoel aankwamen. Als ze halverwege de weg vastliepen, kregen ze geen feedback. Ze wisten niet waar ze fout zaten, alleen dat ze niet hadden gewonnen. Dit leidde tot het "Midway Stuck"-probleem: de agent blijft hangen in een loop van fouten.

2. De Oplossing: De "Tussenstops" (Subdoelen)

De auteurs van dit paper zeggen: "Waarom proberen we niet om de lange reis op te splitsen in kleine, haalbare etappes?"

Ze introduceren het concept van Subdoelen (of "milestones").
In plaats van alleen te zeggen: "Ga naar het café," zegt het systeem tegen de agent:

Open de browser.
Zoek naar "CMU" op de kaart.
Filter op restaurants binnen 50 mijl.
Kies het dichtstbijzijnde café.

Dit werkt als een reisplanner of een stempelkaart. Elke keer als de agent een tussenstop haalt, krijgt hij een klein "stempel" (een beloning). Zelfs als hij nog niet bij het café is, voelt hij zich al een stukje dichter bij het doel.

3. Twee Slimme Trucs

De paper beschrijft twee manieren waarop ze dit toepassen:

A. De "Live-Navigatie" (Tijdens het werken)

Stel je voor dat de robot een spiegel heeft. Voordat hij een knop indrukt, kijkt hij in die spiegel en vraagt hij zichzelf: "Heb ik de vorige stap al gedaan? Ben ik nog steeds op het goede pad?"

Als hij ziet dat hij de verkeerde weg op is gegaan, stopt hij en pland hij opnieuw.
Dit voorkomt dat hij urenlang in de verkeerde richting loopt. Het is alsof je een GPS hebt die zegt: "U bent de route verlaten, berekenen..." in plaats van dat je blindelings blijft doorrijden tot je vastloopt.

B. De "Slimme Trainer" (Tijdens het leren)

Dit is de kern van MiRA. Stel je voor dat je een hond traint om een trucje te doen.

Oude methode: Je geeft de hond alleen een snoepje als hij perfect de truc doet. Als hij halverwege stopt, krijgt hij niets. Hij leert niet waarom hij stopte.
MiRA-methode: De trainer (de AI) deelt de truc op in kleine stukjes. Als de hond zijn poot optilt, krijgt hij een klein snoepje. Als hij draait, krijgt hij weer een snoepje.
Door deze dichte feedback (veel kleine snoepjes in plaats van één grote aan het einde) leert de hond veel sneller en betrouwbaarder. De AI "leert" dat het bereiken van tussenstops belangrijk is, waardoor het makkelijker wordt om de hele lange taak te voltooien.

4. De Resultaten: Een Revolutie

De resultaten zijn indrukwekkend:

Ze namen een open-source model (Gemma-3) dat eerder maar in 6,4% van de gevallen goed werkte.
Na het trainen met deze "tussenstops-methode" (MiRA) en het gebruik van live-navigatie, klom het succespercentage naar 43,0%.
Dit is zelfs beter dan veel dure, gesloten systemen van concurrenten (zoals GPT-4), die maar rond de 14-17% haalden.

Conclusie: Van Verdwaald naar Doelgericht

Kortom, deze paper leert ons dat AI-agenten niet hoeven te worden getraind om alleen het einddoel te zien. Ze moeten leren om tussenstops te nemen en te controleren of ze daar nog steeds zijn.

Het is alsof je een lange reis maakt: als je alleen naar de horizon kijkt, raak je snel de moed kwijt als je een heuvel op moet. Maar als je kijkt naar de volgende boom, de volgende steen en de volgende bocht, blijft je motivatie hoog en kom je uiteindelijk veilig aan.

Met deze methode maken de auteurs van Google DeepMind AI-agenten die niet alleen slimmer zijn, maar ook veerkrachtiger. Ze raken niet meer zo snel verdwaald, en kunnen zelfs complexe taken op het internet uitvoeren die tot nu toe onmogelijk leken.

Titel: Een Subdoel-gedreven Kader voor het Verbeteren van Lang-Horizon LLM Agenten

Auteurs: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva en Edward Grefenstette (Google DeepMind)
Datum: 23 maart 2026

1. Het Probleem: Lang-Horizon Planning en Belonings-Sparsiteit

Large Language Model (LLM)-gebaseerde agenten zijn krachtig geworden voor het besturen van digitale omgevingen (zoals webbrowsers en besturingssystemen). Echter, bij complexe taken met een lange reeks acties (long-horizon tasks), zoals webnavigatie, vertonen deze agenten significante tekortkomingen:

Verlies van de koers: Tijdens online uitvoering raken agenten de weg kwijt zodra nieuwe informatie binnenkomt. Ze hebben geen duidelijk, adaptief pad naar het einddoel.
Sparsiteit van beloningen: Bij Reinforcement Learning (RL) fine-tuning zijn beloningen vaak extreem schaars (pas aan het einde van de taak: succes of mislukking). Dit maakt het voor agenten moeilijk om te identificeren welke specifieke acties tot succes leiden (credit assignment probleem).
Foutpatronen: Empirische analyse toont aan dat de meest voorkomende fout "Get Stuck Midway" is (vastlopen in een lus of niet-productieve acties). Agenten verliezen hun vermogen om coherent te redeneren over een lange reeks stappen, wat leidt tot een drastische prestatiedaling naarmate de taakcomplexiteit toeneemt.

2. Methodologie: MiRA en Dynamische Milestoning

De auteurs introduceren een unificerend kader dat online planning tijdens inferentie combineert met offline RL fine-tuning via subdoelen. Het kader bestaat uit twee hoofdcomponenten:

A. Subdoel-Generator (SGG) en Online Planning

Om het probleem van vastlopen tijdens uitvoering aan te pakken, wordt een dynamisch planningssysteem gebruikt:

Subdoel Decompositie: Een krachtig "leraar"-model (Gemini-2.5-pro) decomposeert het hoog-niveau doel in een reeks gestructureerde, verifieerbare subdoelen (milestones).
Dynamische Milestoning Framework: Tijdens de inferentie voert de agent een iteratief zelfreflectieproces uit. Voordat een actie wordt uitgevoerd, beantwoordt de agent drie vragen op basis van de historische sporen:
1. Welke mijlpalen heb ik al bereikt?
2. Is het huidige subdoel voltooid?
3. Welke toekomstige mijlpalen moeten worden bereikt?
Zelfcorrectie: Als een subdoel niet is bereikt, gebruikt de agent deze expliciete status om zijn plan dynamisch bij te werken in plaats van blind door te gaan. Dit fungeert als een "rechter" (LLM-as-Judge) die hallucinaties voorkomt.

B. MiRA (Milestoning your Reinforcement Learning Enhanced Agent)

Om het probleem van schaarse beloningen tijdens training op te lossen, ontwikkelen de auteurs een RL-fine-tuning methode:

Dichtheid door Potentiaal: In plaats van alleen te wachten op een eindbeloning, worden de gesynthetiseerde subdoelen gebruikt om een Potentiaal Critic ( $P_\psi$ ) te trainen. Deze critic leert een dichte, continue "progress score" (van 0 tot 1) te voorspellen op basis van de voltooiing van subdoelen.
Reward Shaping: De beloning wordt aangepast (shaped) door het verschil in potentiaal tussen stappen toe te voegen aan de basisbeloning: $r' = r + \alpha(P(s_{t+1}) - P(s_t))$ . Dit geeft de agent constante feedback over zijn voortgang.
Policy Update via MSE: De auteurs gebruiken een regressie-gebaseerde policy update (MSE op log-probabiliteitsverhoudingen) in plaats van directe KL-divergentie-minimalisatie. Dit maakt het mogelijk om zowel goede acties te versterken als slechte acties te onderdrukken, zelfs met off-policy data.
Doubly-Robust Schatting: Voor het schatten van het voordeel (advantage) wordt een mix gebruikt van 1-stap TD-fouten en Monte-Carlo returns om stabiliteit te garanderen in de vroege trainingsfasen.

3. Belangrijkste Bijdragen

Automatische Foutanalyse: Een geautomatiseerde analyzer die systematisch de dominante faalmodi (zoals "Get Stuck Midway") in webnavigatie-taken identificeert en de exacte beslissingsstap van de afwijking pinpoint.
Inference-Time Planning met Subdoelen: Integratie van een lichtgewicht, subdoel-gedreven planning in de inferentielus, wat de redeneercapaciteit verbetert voor zowel open-source als proprietary modellen.
MiRA Framework: Een nieuwe RL-training methode die gebruikmaakt van mijlpaal-gebaseerde reward shaping om de credit assignment te verbeteren en training te stabiliseren zonder de uiteindelijke doelstelling te verstoren.

4. Resultaten

De methoden werden getest op de WebArena-Lite benchmark (165 taken in domeinen zoals e-commerce, GitLab, Reddit, etc.).

Open-Source Modellen:
- Het toepassen van MiRA op het Gemma3-12B model verhoogde de succes率 (SR) van 6,4% naar 43,0%.
- Dit presteert aanzienlijk beter dan de vorige state-of-the-art open model (WebRL op 38,4%) en verslaat ook grotere proprietary modellen zoals GPT-4-Turbo (17,6%) en GPT-4o (13,9%).
Proprietary Modellen:
- Het verbeteren van Gemini-2.5-Pro met het online planningssysteem (SGO) verhoogde de SR van 23,0% naar 32,1% (een absolute stijging van bijna 10%).
Foutanalyse:
- De "Get Stuck Midway" fouten (vastlopen in lussen) werden drastisch verminderd. Bij MiRA-agenten daalde dit van ~33% (bij SFT baselines) naar ~21%.
- Hoewel er een lichte toename was in "Wrong Termination" (verkeerd afsluiten), betekent dit dat de agenten nu wel het einde van de taak bereiken, in plaats van vast te lopen. Dit toont aan dat het planningprobleem is opgelost.

5. Betekenis en Conclusie

Dit paper toont aan dat de beperkingen van huidige LLM-agenten bij langdurige taken voornamelijk liggen in gebrek aan expliciete planning en schaarse feedback. Door subdoelen te gebruiken als:

Een planningshulpmiddel tijdens inferentie (voor zelfcorrectie), en
Een dichte beloningsbron tijdens training (via MiRA),

kunnen agenten hun redeneercapaciteit over lange horizon aanzienlijk verbeteren. De bevindingen suggereren dat de combinatie van expliciete planning en gestructureerde reward shaping essentieel is voor het ontwikkelen van robuuste, algemene autonome systemen. Het werk legt ook de basis voor "zelf-evoluerende" agenten die hun eigen curricula kunnen genereren op basis van foutanalyse, wat een stap is naar volledig autonome digitale medewerkers.