🤖 AI

GroundAct: Can LLM Agents Ground Actions in Environmental States?

Het artikel introduceert GroundAct, een uitgebreide benchmark die aantoont dat LLM-agenten moeite hebben om acties te verankeren in omgevingsstaten wanneer instructies haalbaarheidsdetails weglaten, en blootlegt dat deze multidimensionale uitdaging niet opgelost kan worden door schaling alleen en specifieke vaardigheden vereist in redeneren over attributen, hulpmiddelen en coördinatie.

Oorspronkelijke auteurs: Zixuan Wang, Dingming Li, Hongxing Li, Yanrui Miao, Shuo Chen, Yuchen Yan, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zixuan Wang, Dingming Li, Hongxing Li, Yanrui Miao, Shuo Chen, Yuchen Yan, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent huurt om je huis te helpen schoonmaken. Je geeft hem een eenvoudige opdracht: "Maak de werkbank leeg."

Een mens zou direct naar de rommel kijken en drie dingen beseffen:

Dat koffiekopje is licht genoeg om op te tillen.
Die 50 kg zware kabelhaspel is te zwaar voor één persoon; je hebt een vriend nodig om te helpen.
Die koffievlek moet met een doek worden weggeveegd; je kunt er niet zomaar met je handen bij.

Het artikel GroundAct betoogt dat, hoewel huidige AI-modellen (LLM's) uitstekend zijn in het volgen van instructies wanneer het antwoord voor de hand ligt, ze vaak falen wanneer ze zelf de regels van de fysieke wereld moeten uitvinden. Ze zouden kunnen proberen de zware kabel alleen op te tillen, falen, en vervolgens gewoon zeggen: "Oké, ik ben klaar", zonder te beseffen dat ze een hulpmiddel of een partner nodig hadden.

De auteurs noemen deze ontbrekende vaardigheid "Action Grounding" (Handeling Verankering). Het is het vermogen om naar de omgeving te kijken, de verborgen beperkingen (zoals gewicht, temperatuur of vereisten voor hulpmiddelen) te begrijpen en te beslissen wat er werkelijk mogelijk is om te doen.

De Drie Soorten "Verankering"

De onderzoekers onderverden dit in drie specifieke vaardigheden, gebruikmakend van een slimme analogie met een videospel:

Attribuutredenering (De "Vergelijkings"-vaardigheid):
- Het Scenario: "Pak het zwaarste doosje op."
- De AI-uitdaging: De AI kan niet gewoon zoeken naar een doosje met het label "Zwaar". Het moet naar alle doosjes kijken, hun gewichten vergelijken (die getallen zijn, niet zomaar "zwaar" of "licht"), en de wiskunde doen om de winnaar te vinden.
- De Metafoor: Het is alsof je wordt gevraagd de langste persoon in een menigte te vinden. Je kunt niet gewoon zoeken naar een bordje met "Lang"; je moet iedereen tegen elkaar afwegen.
Hulpmiddelredenering (De "Ontgrendel"-vaardigheid):
- Het Scenario: "Maak de vlek schoon."
- De AI-uitdaging: De AI begint niet met een knop "Schoonmaken". Het moet beseffen: "Ik kan niet met blote handen schoonmaken. Ik moet eerst een doek vinden." Zodra het de doek grijpt, "ontgrendelt" het het vermogen om schoon te maken. Als het de doek laat vallen, verliest het dat vermogen.
- De Metafoor: Denk aan een videospel waarin je een afgesloten deur niet kunt openen totdat je de sleutel hebt gevonden. De AI moet beseffen dat de deur op slot zit, de sleutel vinden, en dan weten dat de sleutel het nu mogelijk maakt om de deur open te maken.
Coördinatiaredenering (De "Teamwerk"-vaardigheid):
- Het Scenario: "Verplaats de piano."
- De AI-uitdaging: De instructie zegt niet "Krijg hulp". De AI moet naar het gewicht van de piano kijken, beseffen dat het te zwaar is voor één robot, en vrijwillig een tweede robot vragen om te helpen.
- De Metafoor: Het is alsof je probeert een bank te verplaatsen. Als je probeert hem alleen op te tillen en faalt, beseft een slimme persoon: "Ik heb een maatje nodig", en roept er één. Een minder slimme persoon blijft gewoon proberen hem alleen op te tillen totdat hij opgeeft.

De Nieuwe Test: GroundAct

Om te testen of AI deze vaardigheden bezit, bouwde het team een enorme testsuite genaamd GroundAct.

De Opzet: In plaats van een echte 3D-robot (wat traag en duur is), bouwden ze een tekstgebaseerde simulatie. Stel je een zeer gedetailleerde tekstbeschrijving van een kamer voor, waarin elk object, zijn gewicht, zijn kleur en zijn locatie worden vermeld.
De Schaal: Ze creëerden 1.500 verschillende "kamers" en meer dan 16.000 verschillende taken, variërend van eenvoudige commando's ("Zet de beker hier") tot complexe puzzels ("Maak de zwaarste tafel schoon, maar je hebt een doek en een partner nodig").
De Twist: De instructies vertellen de AI nooit iets over de gewichtslimieten of de behoefte aan hulpmiddelen. De AI moet dit afleiden uit de beschrijving van de omgeving.

Wat Ze Vonden

De onderzoekers testten 15 verschillende AI-modellen (van kleine tot enorme super-slimme) en vonden enkele verrassende resultaten:

"Slim" Zijn Betekent Niet "Verankerd" Zijn: Een model kan geweldig zijn in wiskunde en logica (Attribuutredenering) maar vreselijk in beseffen dat het een hulpmiddel of een partner nodig heeft. Omgekeerd kan een model geweldig zijn in teamwerk maar slecht in het vergelijken van gewichten. Het zijn verschillende vaardigheden, niet zomaar "meer intelligentie".
Alles Weten Kan Een Slechte Zaken Zijn: Toen ze de AI een "spiekbriefje" gaven met de complete plattegrond van de kamer (niets verbergend), werd het beter in het vinden van hulpmiddelen (omdat het niet hoefde te zoeken). Maar het werd slechter in teamwerk! Waarom? Omdat het zien van elk detail het afleidde van het simpele feit dat "dit object te zwaar is". Het raakte verdwaald in de ruis.
Training Heeft Grenzen: Ze probeerden een klein AI-model te "leren" door het voorbeelden te tonen van hoe taken uitgevoerd moeten worden. Het model werd veel beter in het volgen van directe orders (zoals "pak de beker op"). Maar het verbeterde nauwelijks in het uitvinden wanneer het om hulp moet vragen. Het leerde wat te doen, maar niet wanneer zijn strategie te veranderen.

De Grote Conclusie

Het artikel concludeert dat het simpelweg groter maken van AI-modellen of ze trainen op meer data niet voldoende is om ze echt "geëmbodiment" te maken (in staat om te interageren met de fysieke wereld).

Om een robot te bouwen die je echt kan helpen in een rommelig huis, moeten we het leren om zijn handelingen te verankeren in de realiteit. Het moet leren dat de wereld regels heeft (zwaartekracht, gewicht, vereisten voor hulpmiddelen) die niet in het instructieboekje staan, maar verborgen zijn in de omgeving zelf. Totdat AI dit kan, blijft het een briljante conversatiepartner die vreselijk is in het daadwerkelijk uitvoeren van de klus.

Technische Samenvatting: GroundAct

Probleemstelling

Huidige Large Language Model (LLM)-agenten vertonen hoge succespercentages (85–96%) bij taken waarbij instructies de vereiste acties volledig specificeren. Echter, de prestaties dalen drastisch (29–53%) wanneer de uitvoerbaarheid van een actie afhankelijk is van omgevingsstaten die niet expliciet in de instructie worden vermeld. Bestaande benchmarks (bijv. ALFRED, BEHAVIOR-1K, PARTNR) lossen deze beperkingen vaak vooraf op door discrete statvariabelen, statische actieruimtes of expliciete collaboratie-instructies te bieden. Bijgevolg evalueren ze actie-uitvoering onder vooraf vastgestelde beperkingen, in plaats van het vermogen om beperkingen uit de omgeving zelf af te leiden.

De auteurs identificeren een ontbrekend vermogen dat actie-grounding wordt genoemd: het vermogen om uit gestructureerde omgevingsstaten af te leiden of een actie uitvoerbaar is, welke precondities ontbreken, en of deze de individuele capaciteit overschrijdt. Dit vermogen wordt ontbonden in drie dimensies:

Attribuutredenering: Het afleiden van doelen op basis van continue objecteigenschappen (bijv. gewicht, temperatuur) die vergelijking vereisen in plaats van predikaatopzoeking.
Tool-redenering: Het afleiden van precondities op basis van dynamische beschikbaarheid van capaciteiten (bijv. het grijpen van een tool breidt de actieset uit; het loslaten ervan trekt deze capaciteiten in).
Coördinatie-redenering: Het afleiden van uitvoerbaarheid op basis van individuele capaciteitslimieten (bijv. herkennen wanneer het gewicht van een object de laadlimiet van een enkele agent overschrijdt, wat samenwerking vereist zonder expliciete instructie).

Methodologie

Het GroundAct-kader

De auteurs introduceren GroundAct, een benchmark ontworpen om deze drie redeneringsdimensies onafhankelijk en in combinatie te evalueren. Het kader bestaat uit twee hoofdbestanddelen:

GA-Sim (Omgevingssimulatie):
- Representatie: Omgevingen worden gemodelleerd als gerichte grafen ( $G_t = (V_t, E_t, A_t)$ ) met behulp van tekstuele gestructureerde representaties in plaats van continue 3D-simulatie. Knopen vertegenwoordigen ruimtes, objecten en agenten; randen coderen ruimtelijke relaties.
- Dynamische Capaciteiten: In tegenstelling tot statische benchmarks implementeert GA-Sim dynamische tool-capaciteitsbinding. Het grijpen van een tool breidt dynamisch de actieset van een agent uit, en het loslaten ervan trekt deze capaciteiten in.
- Emergente Samenwerking: Samenwerking wordt getriggerd door fysieke beperkingen (bijv. gewichtslimieten) in plaats van expliciete richtlijnen. Het systeem valideert precondities voor alle agenten om realistische multi-agent-interacties te waarborgen.
GA-Bench (Evaluatiematrix):
- Schaal: 1.500 gevalideerde scenario's over 11 domeinen (bijv. laboratorium, kantoor, industrieel) met 64.057 interactieve objecten en 6.381 distincte attribuuttypes.
- Taaktaxonomie: Taken zijn georganiseerd in zeven categorieën langs twee assen: cognitieve complexiteit (L0–L2) en agentconfiguratie (enkelvoudig versus multi-agent).
  - L0 (Instructievolging): Direct Commando (DC) en Expliciete Samenwerking (EC).
  - L1 (Dimensionale Redenering): Tool-gebruik (TU), Attribuutredenering (AR) en Impliciete Samenwerking (IC).
  - L2 (Samengestelde Taken): Samengestelde Redenering (CR) en Samengestelde Samenwerking (CC).
- Generatiepijplijn: Een viertraps geautomatiseerde pijplijn combineert LLM-gedreven generatie met regelgebaseerde validatie en menselijke verificatie in de lus om fysieke consistentie en oplosbaarheid te waarborgen.

Experimentele Opstelling

De auteurs evalueerden 15 representatieve LLM's (variërend van 3B tot 671B parameters), waaronder gesloten-bronmodellen (GPT-4o, Claude-Opus-4.6), open-source fundamentele modellen (Qwen2.5, Llama3.1, Deepseek-V3) en op redenering gespecialiseerde modellen (Deepseek-R1).

Protocol: Modellen opereerden onder gedeeltelijke waarneembaarheid, wat exploratie vereiste om objectlocaties en eigenschappen te ontdekken.
Finetuning-analyse: Een experiment met supervised fine-tuning (SFT) werd uitgevoerd op Qwen2.5-3B met behulp van trajecten gedistilleerd van Qwen2.5-72B om de overdraagbaarheid van redeneervermogens te beoordelen.
Ablatie: Een "World Graph"-conditie werd getest waarbij de volledige omgevingsgrafiek werd blootgesteld aan aparte zoekgebonden knelpunten, gescheiden van beperkingsfilterende knelpunten.

Belangrijkste Resultaten

1. Diagnostische Patronen in Modelprestaties

Zwakke Correlatie van Dimensies: Attribuutredenering is zwak gecorreleerd met tool- en coördinatie-redenering ( $r \in [-0.03, 0.02]$ ). Modellen vertonen distincte vermogensprofielen; bijvoorbeeld, GPT-4o blinkt uit in Attribuutredenering (77,8%) maar worstelt met Samengestelde Samenwerking (32,0%), terwijl DeepSeek-R1 het omgekeerde patroon vertoont.
Aggregate Scores Maskeren Verschillen: Modellen met vergelijkbare algehele succespercentages (bijv. GPT-4o op 74,7% versus DeepSeek-R1 op 73,9%) bezitten kwalitatief verschillende faalmodi. Aggregate metrieken slagen er niet in deze structurele verschillen vast te leggen.
Effecten van Schaling en Redeneringstraining:
- Schaling: Het vergroten van de modelgrootte (Qwen2.5-serie van 3B tot 72B) verbetert instructievolging significant (van 0,6% tot 89,7%), maar levert afnemende meeropbrengsten op voor Attribuutredenering (bereikt slechts 57,4%).
- Redeneringstraining: Op redenering gespecialiseerde modellen (Deepseek-R1) verbeteren samenwerking en samengestelde taken, maar presteren slechter op Attribuutredenering in vergelijking met hun basis-gegenen, ondanks het gebruik van aanzienlijk meer tokens per traject.

2. Knelpuntenanalyse

Impact van Waarneembaarheid: Het blootleggen van de volledige omgevingsgrafiek (World Graph) verbetert de Tool-gebruikprestaties (tot +27,6%) door de zoekstap te verwijderen. Omgekeerd verslechtert dit de prestaties van Impliciete Samenwerking (tot -22,9%) omdat de complete staat taak-irrelevante attributen introduceert die de fysieke noodzaak voor samenwerking verduisteren. Dit geeft aan dat Tool-gebruik "zoekgebonden" is terwijl Impliciete Samenwerking "beperkingsfiltergebonden" is.
Beperkingen van Finetuning: Supervised fine-tuning op Qwen2.5-3B verbeterde Direct Commando-prestaties dramatisch (van 0,6% tot 76,3%), maar had een minimaal effect op Impliciete Samenwerking (van 1,5% tot 5,5%). Dit suggereert dat imitatieleer uitvoeringspatronen overdraagt, maar faalt in het leren van de latente triggers voor wanneer samenwerking fysiek vereist is.

3. Uitdagingen bij Samengestelde Taken

Prestaties op Samengestelde Taken (L2) dalen significant in vergelijking met L1-taken. Bijvoorbeeld, GPT-4o scoort gemiddeld 78,4% op L1-categorieën maar zakt naar 32,0% op Samengestelde Samenwerking. Dit geeft aan dat L2-taken niet louter moeilijkere versies zijn van L1-taken, maar een regime vertegenwoordigen waarin meerdere grounding-dimensies interageren, waardoor nieuwe knelpunten ontstaan.

Betekenis en Beweringen

Het artikel vestigt actie-grounding als een multidimensionale uitdaging die niet herleidbaar is tot eenvoudige schaling of uniforme redeneringstraining. De auteurs beweren dat:

Actie-grounding is Distinct: Het is geen monolithische vaardigheid, maar een set van distincte vermogens (attribuut-, tool- en coördinatie-redenering) die specifieke architecturale of trainingsinterventies vereisen.
Huidige Benchmarks zijn Onvoldoende: Bestaande benchmarks evalueren uitvoering onder vooraf vastgestelde beperkingen, en falen in het diagnosticeren van de specifieke redeneringsfouten die optreden wanneer agenten beperkingen uit de omgeving moeten afleiden.
Diagnose Vereist Granulariteit: Vooruitgang in agentbekwaamheid vereist benchmarks die grondingseisen onafhankelijk variëren. Aggregate succespercentages verbergen het "gegradueerde leerbaarheidsprofiel" over dimensies heen, waarbij sommige vermogens (zoals instructievolging) gemakkelijk via SFT worden aangeleerd, terwijl andere (zoals triggers voor impliciete samenwerking) resistent blijven.

De auteurs concluderen dat toekomstige vooruitgang in embodied agents gerichte interventies vereist voor specifieke grounding-dimensies in plaats van uniforme schaling, en dat het diagnosticeren van dergelijke vooruitgang benchmarks vereist die deze dimensies isoleren.