💬 NLP

Embodied Task Planning via Graph-Informed Action Generation with Large Language Model

Deze paper introduceert GiG, een nieuw raamwerk dat Large Language Models verbetert voor langdurig planningstaken in fysieke omgevingen door een graf-gebaseerde geheugenarchitectuur en symbolische lookahead te combineren, wat leidt tot aanzienlijk betere prestaties op bestaande benchmarks.

Oorspronkelijke auteurs: Xiang Li, Ning Yan, Masood Mortazavi

Gepubliceerd 2026-02-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiang Li, Ning Yan, Masood Mortazavi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die in een keuken moet koken. De robot krijgt de opdracht: "Maak een soep." Dit klinkt simpel, maar voor een computer is dit een enorme puzzel. De robot moet eerst water halen, dan een pan vinden, het water koken, en wachten tot het kookt. Maar wacht! Terwijl het water kookt, kan de robot niet gewoon stilzitten; hij kan intussen een kom halen of groenten snijden.

De meeste huidige slimme robots (die gebaseerd zijn op grote taalmodellen, ofwel AI) zijn goed in praten, maar slecht in dit soort lange, complexe plannen maken. Ze vergeten vaak wat ze al hebben gedaan, raken in de war, of blijven hangen in een cirkel van fouten. Ze denken: "Oh, ik moet water koken," en wachten dan stilletjes tot het klaar is, terwijl ze de rest van de keuken verwaarlozen.

De auteurs van dit paper hebben een nieuwe manier bedacht om dit op te lossen, genaamd GiG (Graph-in-Graph). Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het probleem: De "Boom" versus het "Net"

Stel je voor dat je een taakplanner maakt als een boom (zoals een stam met takken).

Hoe het werkt: Je begint bij de stam (de hoofddoel). Je moet eerst de eerste tak (water halen) volledig afmaken voordat je naar de tweede tak (kom halen) mag gaan.
Het probleem: Als het water koken 5 minuten duurt, staat de robot 5 minuten stil te wachten. Hij kan niets anders doen. In de echte wereld (en in een keuken) kun je echter veel dingen tegelijk doen. Een boom is te star; hij dwingt je om alles één voor één te doen, zelfs als je tijd kunt besparen.

De auteurs zeggen: "Nee, we hebben geen boom nodig, we hebben een net (een grafiek) nodig."

Hoe het werkt: In een net kun je nieuwe draden toevoegen terwijl je er al een paar aan het werk bent. Terwijl het water kookt (één draad), kan de robot direct een kom halen (een andere draad). Het systeem ziet alle mogelijke paden tegelijk en laat de robot slimme keuzes maken om tijd te besparen.

2. Het geheugen: De "Fotoalbum" versus de "Telefoonboek"

Stel je voor dat de robot een lange geschiedenis heeft van wat hij heeft gedaan.

Huidige robots: Ze lezen hun hele geschiedenis als een lang, saai tekstboek. Als ze 100 stappen hebben gezet, moeten ze die 100 pagina's opnieuw lezen om te onthouden wat ze deden. Dit is traag en ze raken de draad kwijt (vergeten ze de hoofddoel).
De GiG-oplossing: De robot maakt geen lange tekst, maar foto's van de situatie.
- Elke keer als de robot iets doet, maakt hij een "foto" van de keuken (waar staat de kom? waar staat de pan?).
- Deze foto's worden omgezet in een soort stempel (een wiskundige code).
- De robot heeft een fotoalbum (het geheugen) vol met eerdere succesvolle recepten. Als hij in een nieuwe situatie komt, kijkt hij niet naar de hele tekst, maar zoekt hij in zijn album naar een foto die erop lijkt.
- Vergelijking: In plaats van je hele dagboek te lezen om te weten hoe je een eierkoek maakt, kijk je naar één foto van een eierkoek die je eerder hebt gemaakt en zegt: "Ah, dit lijkt op die keer! Ik weet wat ik moet doen."

3. De "Voorspeller": De "Proeflokaal"

Soms denkt een robot: "Ik ga de pan pakken," maar hij realiseert zich niet dat de pan nog heet is van de vorige keer.

De nieuwe truc: Voordat de robot een daad werkelijk uitvoert, doet hij een mini-proef in zijn hoofd.
Hij zegt: "Stel dat ik deze stap doe, wat gebeurt er dan?"
Het systeem simuleert dit één stap vooruit. Als de proef laat zien dat de robot in de war raakt of vastloopt, zegt het systeem: "Stop! Dat is een slecht idee."
Dit is alsof je voor je echt gaat koken, eerst even in gedachten doorloopt of je de ingrediënten wel hebt. Dit voorkomt dat de robot in een cirkel van fouten blijft ronddraaien.

Wat levert dit op?

De onderzoekers hebben hun robot getest op drie verschillende "keukens" (testomgevingen):

Robotouille: Een keuken waar je sandwiches en soep moet maken.
ALFWorld: Een huis waar je moet opruimen en dingen moet vinden.

De resultaten:

De robot met GiG is veel slimmer dan de oude robots. Hij maakt minder fouten en lost taken veel sneller op.
Hij kan beter omgaan met dingen die tegelijkertijd gebeuren (zoals wachten op kookend water terwijl je snijdt).
Hij gebruikt zelfs minder rekenkracht, omdat hij niet hoeft te lezen in een dik boek, maar gewoon naar een foto in zijn album kijkt.

Samenvatting in één zin

GiG is als het geven van een robot een slim fotoalbum en een voorspelende bril: in plaats van alles uit het hoofd te leren of in een starre lijst te lopen, kijkt de robot naar eerdere foto's van succesvolle momenten en simuleert hij even vooruit, zodat hij slimme, simultane keuzes kan maken in een chaotische wereld.

Titel: Embodied Task Planning via Graph-Informed Action Generation met Large Language Models (GiG)

Auteurs: Xiang Li, Ning Yan, Masood Mortazavi (Purdue University & Futurewei Technologies)

1. Het Probleem

Hoewel Large Language Models (LLM's) sterke zero-shot redeneercapaciteiten hebben, kampen ze met fundamentele uitdagingen bij het plannen van taken voor embodied agents (robots of agents in een fysieke/simulatie-omgeving), vooral bij taken met een lange horizon (veel stappen).

De belangrijkste problemen zijn:

Contextverlies en Hallucinaties: LLM-planners verliezen vaak de coherentie van de strategie over lange reeksen stappen door beperkingen in het contextvenster. Ze hallucineren vaak transities die niet voldoen aan de fysieke of logische beperkingen van de omgeving.
Beperkingen van Boom-structuren: Bestaande frameworks (zoals ReCAP) gebruiken boomstructuren voor taakdecompositie. Deze zijn inefficiënt voor parallelle taken. In een boom moeten zuster-subdoelen wachten tot het huidige knooppunt voltooid is, wat leidt tot onnodige wachttijden (bijv. wachten tot water kookt terwijl de agent al een kom kan neerzetten).
Gebrek aan Structureel Geheugen: Agents missen vaak de mogelijkheid om hun huidige beslissingen te grondvesten op structurele patronen uit het verleden, wat leidt tot repetitieve fouten en het niet herkennen van cyclische patronen (loops).

2. Methodologie: Het GiG Framework

De auteurs stellen GiG (Graph-in-Graph) voor, een nieuw planningsframework dat het geheugen van een agent structureert met een tweelaags graf-architectuur.

A. Graph-in-Graph Architectuur

GiG gebruikt twee soorten grafen om het geheugen te beheren:

Scene Graph (Binnenste Graf):
- Vertegenwoordigt de directe ruimtelijke relaties in de omgeving op een bepaald tijdstip $t$ .
- Knopen zijn entiteiten (bijv. robot, kom, komkommer) en randen zijn relaties (bijv. "op", "in").
- Een Graph Neural Network (GNN), specifiek een Graph Attention Network (GAT), encodeert deze scene graph in een compacte, structureel bewuste embedding ( $z_t$ ). Dit vangt de topologie van de omgeving beter dan platte tekst.
State-Transition Graph (Buitenste Graf):
- Dit is een hoger niveau dat de volledige verkenningstraject van de agent traceert.
- Elke knoop in deze graf is een embedding ( $z_t$ ) van een scene graph.
- Randen vertegenwoordigen de transities veroorzaakt door acties.
- Deze structuur maakt het mogelijk om cyclische fouten (loops) te detecteren en parallelle subdoelen dynamisch te instantiëren, in plaats van ze sequentieel te forceren.

B. Geheugenretrieval en Experience Bank

De embeddings van scene graphs worden opgeslagen in een Experience Memory Bank.
Tijdens het plannen zoekt de agent naar structureel vergelijkbare situaties uit het verleden (gebaseerd op de Euclidische afstand tussen embeddings).
Als een vergelijkbare situatie wordt gevonden, wordt het succesvolle actiepatroon uit het verleden opgehaald en gebruikt als context (in-context learning) om de huidige beslissing te sturen. Dit voorkomt dat de agent dezelfde fouten herhaalt.

C. Bounded Lookahead (BL) Module

Om hallucinaties te verminderen, introduceert GiG een module voor Bounded Lookahead.
In plaats van dat de LLM alleen "mentaal" voorspelt wat er gebeurt, simuleert de agent de directe gevolgen van geldige acties (1-stap transities) via een symbolische transitielogica (bijv. PDDL).
Deze expliciete, gegrondde informatie over mogelijke toekomstige staten wordt aan de prompt van de LLM toegevoegd. De LLM selecteert dan de actie op basis van deze feitelijke projecties in plaats van pure fantasie.

3. Belangrijkste Bijdragen

Novel Memory Architecture: Een tweelaags "Graph-in-Graph" systeem dat lokale ruimtelijke relaties (Scene Graph) koppelt aan globale taakprogressie (State-Transition Graph), wat contextverlies en cyclische fouten effectief aanpakt.
Structurele Retrieval: Het gebruik van GNN-embeddings om historische uitvoeringspatronen te retrieven op basis van structurele gelijkenis, wat kennisoverdracht tussen vergelijkbare scenario's mogelijk maakt.
Bounded Lookahead: Een module die de redenering van de LLM grondvest op simuleerbare, symbolische transities, waardoor de agent proactief kan plannen zonder onrealistische aannames.
Efficiëntie: Het framework reduceert de computerkost aanzienlijk door geen volledige interactiegeschiedenis te hoeven doorgeven, maar alleen de gestructureerde grafen en relevante retrieved ervaringen.

4. Resultaten

GiG werd geëvalueerd op drie benchmarks voor embodied planning: Robotouille Synchronous, Robotouille Asynchronous, en ALFWorld.

Robotouille Synchronous: GiG presteerde significant beter dan state-of-the-art baselines (ReCAP, ReAct, CoT). Er werd een verbetering van tot 22% in Pass@1 (kans op succes bij één poging) behaald ten opzichte van ReCAP.
Robotouille Asynchronous: Dit is de meest uitdagende benchmark vanwege de noodzaak tot parallelle planning (wachten vs. handelen). GiG behaalde een verbetering van tot 37% in Pass@1. De "Asynchronous" modus toont aan dat GiG wachttijden effectief kan overbruggen door andere taken te interleave.
ALFWorld: GiG behaalde bijna perfecte prestaties (97% Pass@1) op Qwen3 en DeepSeek-modellen, wat de generalisatiekracht in gedeeltelijk waarneembare omgevingen bewijst.
Kleine Modellen: Een opvallende bevinding is dat GiG met een geheugenbank (GiG+Exp) de prestaties van kleinere LLM's (zoals Qwen3-30B) aanzienlijk verbetert (tot +15%), waardoor ze concurrerend worden met grotere modellen.
Rekenkosten: GiG vereist ordes van grootte minder rekenkracht (FLOPs) voor lange-horizon taken dan baselines zoals ReAct, omdat het geen cumulatieve geschiedenis hoeft te verwerken, maar werkt met compacte grafen.

5. Betekenis en Conclusie

Dit paper biedt een doorbraak in het gebied van embodied AI door te laten zien dat gestructureerd geheugen essentieel is voor robuust plannen.

Overcoming Tree Limitations: Door te bewegen van boom-structuren naar grafen, lost GiG het probleem van "geblokkeerde zusters" op en maakt het dynamische, parallelle planning mogelijk.
Grounding: De combinatie van GNN-embeddings en symbolische lookahead zorgt ervoor dat LLM's niet langer abstract redeneren, maar hun beslissingen grondvesten op de fysieke realiteit en historische patronen.
Toekomstperspectief: Hoewel de methode afhankelijk blijft van grote backbone-modellen voor de beste resultaten, toont het aan dat een goed ontworpen geheugenarchitectuur de efficiëntie en betrouwbaarheid van embodied agents drastisch kan verbeteren, zelfs met beperktere rekenmiddelen.

Kortom, GiG transformeert LLM-gebaseerde agents van passieve tekstgeneratoren naar actieve, structureel bewuste planners die leren van hun verleden en de fysieke wereld begrijpen.