🤖 AI

STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration

Het artikel stelt STEP voor, een state-aware framework dat Multi-modale Grote Taalmodellen inzet om systeemtoestanden expliciet te schatten en toestandsvergangen te voorspellen, waardoor hallucinaties en ambiguïteit in mens-robotcollaboratie worden overwonnen om de uitvoerbaarheid van acties aanzienlijk te verbeteren en fouten in de eindtoestand bij industriële assemblage taken te verminderen.

Oorspronkelijke auteurs: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Gepubliceerd 2026-08-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de bruisende wereld van de moderne industrie wordt de droom van naadloze samenwerking tussen mens en machine werkelijkheid, maar het blijft getekend door een fundamenteel misverstand. Om een robot echt te laten assisteren, moet deze meer doen dan simpelweg een lijst met commando's opvolgen; de robot moet de intentie van de mens begrijpen en anticiperen op wat er volgt. Deze uitdaging ligt in het hart van een vakgebied dat bekend staat als 'long-term action anticipation', waarbij computers proberen een reeks toekomstige gebeurtenissen te voorspellen op basis van wat ze zojuist hebben gezien. In de afgelopen jaren zijn krachtige kunstmatige intelligentiesystemen, die zowel afbeeldingen als tekst kunnen verwerken, opgekomen als veelbelovende hulpmiddelen voor deze taak. Deze systemen kunnen naar een video van een werkende persoon kijken en raden wat diegene probeert te bouwen. Er blijft echter een aanzienlijke kloof bestaan: hoewel deze intelligente systemen uitstekend zijn in taal en patroonherkenning, missen ze vaak een echt begrip van de fysieke wereld. Ze houden niet van nature bij hoe de staat van een kamer verandert wanneer een object wordt verplaatst, wat ertoe leidt dat ze acties voorstellen die onmogelijk zijn of het uiteindelijke doel uit het oog verliezen.

Om deze kloof te overbruggen, hebben onderzoekers van het Honda Research Institute en de University of North Carolina at Chapel Hill een nieuwe methode ontwikkeld genaamd STEP, wat staat voor State-Aware Task Estimation and Planning. Het team richtte zich op een veelvoorkomend industrieel scenario waarbij een menselijke operator een structuur assembleert met behulp van houten blokken op een werkbank, terwijl een robot toekijkt en wacht om het over te nemen. In hun experimenten begon de mens met het bouwen van een specifieke vorm, zoals een brug of een toren, en stopte vervolgens, waarbij de verantwoordelijkheid voor de planning werd overgedragen aan de robot. De onderzoekers wilden zien of ze de robot konden leren om niet alleen te raden hoe de uiteindelijke structuur eruit zou moeten zien, maar ook om constant zijn mentale kaart van de werkruimte bij te werken terwijl hij de volgende stappen plant. In tegen tegenstelling tot eerdere benaderingen die de robot simpelweg vroegen om de volgende stap in een zin te voorspellen, dwingt dit nieuwe systeem de robot om expliciet de huidige opstelling van elk blok te beschrijven, te voorspellen hoe die opstelling zal veranderen na elke actie, en vervolgens die bijgewerkte beschrijving te gebruiken om de daaropvolgende stappen te plannen.

De kerninnovatie van STEP is de nadruk op het bijhouden van een gestructureerd, digitaal verslag van de fysieke wereld. Wanneer de robot de werkbank observeert, genereert hij niet alleen een vaag idee van "een toren bouwen". In plaats daarvan creëert hij een gedetailleerde, georganiseerde lijst van feiten over de scène: waar elk van de vijf houten blokken zich bevindt, of een blok rechtop staat of plat ligt, en precies hoe het georiënteerd is ten opzichte van de camera en andere objecten. Het systeem gebruikt vervolgens deze precieze beschrijving om de toekomst te simuleren. Het vraagt zichzelf af: "Als ik dit blok hierheen beweeg, hoe ziet de scène er dan het volgende uit?" en herhaalt die vraag vervolgens voor de volgende beweging. Door zijn eigen voorspellingen voortdurend te controleren aan de hand van het doel, kan het systeem meten hoe ver het nog van het voltooien van de taak verwijderd is. Als een geplande reeks bewegingen leidt tot een doodlopende weg of een staat die ver van het doel afligt, herkent het systeem deze fout en verkort het zijn plan, waarbij het een ander pad kiest dat het dichter bij het gewenste resultaat brengt. Dit proces van plannen, het resultaat simuleren en de koers corrigeren wordt meerdere keren herhaald om ervoor te zorgen dat de robot op koers blijft.

De onderzoekers testten deze aanpak in een gesimuleerde omgeving met behulp van een dataset van menselijke operators die twee robotarmen teleopereren om houten blokken te assembleren. Ze vergeleken hun methode met een vooraanstaande bestaande techniek die de staat van de omgeving niet op deze gestructureerde manier bijhield. De resultaten toonden een duidelijk voordeel voor het nieuwe systeem. De plannen gegenereerd door STEP waren aanzienlijk praktischer; de onderzoekers ontdekten dat de acties voorspeld door hun methode 32,8 procent vaker succesvol uitgevoerd konden worden door de robot dan die van de baseline-methode. Bovendien was de uiteindelijke structuur die de robot bouwde, wanneer deze klaar was met zijn taak, 14,8 procent dichter bij het beoogde doel dan de structuren geproduceerd door de oudere methode. De studie onthulde ook dat hoewel de oudere methode soms langere lijsten met acties produceerde die overeenkwamen met de oorspronkelijke sequentie van de mens, die extra stappen vaak onnodig of onjuist waren, terwijl de nieuwe methode kortere, efficiëntere plannen produceerde die betrouwbaar het doel bereikten.

Het team ontdekte dat het succes van deze aanpak sterk afhing van de nauwkeurigheid van de eerste stappen. Als het systeem correct identificeerde wat de mens probeerde te bouwen en de huidige staat van de blokken accuraat beschreef, was de daaropvolgende planning zeer effectief. Echter, als het systeem een fout maakte in het raden van het doel of de positie van een blok verkeerd inschatte, zouden die fouten doorwerken in de rest van het plan. Dit bevinding onderstreept het belang van het vermogen van het systeem om voortdurend de fysieke realiteit van de werkruimte te evalueren. De onderzoekers merkten op dat hoewel hun methode momenteel is ontworpen voor dit specifieke scenario van het bouwen met blokken, het onderliggende principe van het expliciet bijhouden van staatswijzigingen kan worden aangepast voor andere industriële taken, zoals het assembleren van machines of het construeren van modulaire onderdelen. Ze erkenden ook dat het huidige systeem aanzienlijke rekentijd vereist om deze meerdere planningscycli uit te voeren, waardoor het langzamer is dan eenvoudigere methoden, maar zij geloven dat naarmate de technologie vordert, deze vertragingen kunnen worden verminderd. Uiteindelijk demonstreert dit werk dat door kunstmatige intelligentie een manier te geven om een lopende telling bij te houden van de fysieke wereld, we robots kunnen creëren die niet alleen reactief zijn, maar ook werkelijk collaboratieve partners die in staat zijn complexe taken naast mensen te begrijpen en te voltooien.

Technische Samenvatting: State-Aware Task Estimation and Planning with Multi-Modal LLMs (STEP)

Probleemstelling

Effectieve mens-robot samenwerking (HRC) in industriële omgevingen vereist dat robots de intenties van mensen kunnen afleiden en actiebare plannen voor de lange termijn kunnen genereren. Hoewel Multi-Modal Large Language Models (MM-LLMs) veelbelovend zijn gebleken voor Long-Term Action Anticipation (LTA) via in-context leren, kampen ze met twee kritieke beperkingen in de robotica:

Gebrek aan staatbewustzijn (State Awareness): MM-LLMs zijn vooraf getraind op statische tekst- en beeldgegevens zonder interactie met de echte wereld. Hierdoor hebben ze moeite met het bijhouden van systeemtoestandsveranderingen, wat vaak leidt tot "gehallucineerde" acties die afwijken van het beoogde doel. Bestaande benaderingen die staatstracking proberen te implementeren, vertrouwen vaak op natuurlijke taalbeschrijvingen (die een gebrek aan precisie hebben) of vereisen toegang tot grondwaarheid-initialtoestanden (ground-truth initial states), wat onrealistisch is in dynamische industriële scenario's.
Actie-ambiguïteit: Standaard MM-LLM-outputs zijn vaak beperkt tot hoogwaardige "werkwoord-zelfstandig naamwoord"-paren (bijv. "plaats op tafel"). Deze abstractie slaagt er niet in om noodzakelijke uitvoeringsparameters vast te leggen, zoals specifieke plaatsingscoördinaten, objectoriëntatie of ruimtelijke relaties, wat leidt tot ambiguïteit tijdens de fysieke uitvoering.

Methodologie: Het STEP-framework

De auteurs stellen STEP (State-Aware Task Estimation and Planning) voor, een pipeline die een MM-LLM stimuleert om expliciet systeemtoestanden te schatten en toestandsveranderingen te voorspellen naast actieplannen. Het framework werkt zonder directe interactie met de omgeving of grondwaarheid-toestandsinputs te vereisen.

De pipeline bestaat uit vijf opeenvolgende stadia:

1. Taakschatting (Task Estimation)

Het systeem neemt de reeks acties uitgevoerd door een menselijke operator ( $A_1, ..., A_k$ ) en een afbeelding van de huidige werkplek ( $I$ ). Met behulp van een kleine set in-context voorbeelden schat de MM-LLM de algehele taak ( $T$ ) die de operator beoogt te voltooien (bijv. "Bouw een Boog"). De output wordt beperkt tot een vooraf gedefinieerde lijst van mogelijke taken om het model te sturen.

2. Generatie van de Staat-representatie (State Representation Generation)

Gelijktijdig analyseert de MM-LLM de afbeelding van de werkplek ( $I$ ) om een gestructureerde staat-representatie ( $S$ ) in JSON-formaat te genereren. In tegenstelling tot natuurlijke taalbeschrijvingen legt deze gestructureerde output het volgende vast:

Locatie: Positie van elke blok (bijv. op de tafel, bovenop een specifere blok).
Oriëntatie: Staand, liggend op de zijde, of liggend met de onderkant naar boven.
Bovenkant Oriëntatie: Parallel of loodrecht aan de camera.
Relatieve Positionering: Specifieke locatie (links/rechts/midden) indien gestapeld.

Dit gestructureerde formaat maakt kwantitatieve analyse van de werkruimte mogelijk.

3. Actievoorspelling (Action Prediction)

Gebruikmakend van de geschatte taak ( $T$ ) en de geschiedenis van acties ( $A_1, ..., A_k$ ), voorspelt de MM-LLM de reeks toekomstige acties ( $A_{k+1}, ..., A_n$ ) die nodig zijn om de taak te voltooien. Opvallend genoeg ontdekten de auteurs dat het opnemen van beeldgegevens in deze specifieke prompt de prestaties verslechterde; daarom vertrouwt deze fase uitsluitend op de tekstuele taak en de actiegeschiedenis.

4. Staatsproperagatie (State Propagation)

Om het gebrek aan staatstracking aan te pakken, propageert STEP de staat expliciet. De MM-LLM wordt geprompt met de huidige staat ( $S$ ), de actiegeschiedenis en de volgende voorspelde actie ( $A_{k+1}$ ) om de volgende staat ( $S_{k+1}$ ) als een JSON-object te produceren. Dit wordt iteratief uitgevoerd om een reeks toekomstige staten ( $S_{k+1}, ..., S_n$ ) te genereren die overeenkomen met de voorspelde acties. Een chain-of-thought benadering wordt gebruikt, waarbij het model eerst veranderingen in natuurlijke taal beschrijft voordat het de volgende staat in JSON-formaat zet.

5. Rollouts en Afkapping (Rollouts and Truncation)

STEP gebruikt een iteratief "rollout"-mechanisme om het plan te verfijnen:

Afstandsberekening: Het systeem berekent een kwantitatieve afstand ( $d_T$ ) tussen de huidige/voorspelde staten en de geschatte doelstaat. Dit is het totaal aantal verschillen over de 5 blokken en hun 4 kenmerken (max $d_T = 20$ ).
Afkapping (Truncation): Het systeem evalueert meerdere rollouts en kapt de actiesequentie af bij de staat met de laagste $d_T$ .
Iteratie: De afgekapte staat wordt het nieuwe startpunt voor de volgende rollout. Dit proces herhaalt zich totdat $d_T = 0$ of een maximaal aantal rollouts is bereikt, wat ervoor zorgt dat het plan convergeert naar het doel.

Experimentele Opstelling

Dataset: Een gesimuleerd scenario van blokassemblage met 495 instanties van 19 gebruikers. Gebruikers bedienden via teleoperatie twee Franka robotarmen om vijf identieke houten blokken te assembleren tot een van acht structuren (bijv. Stemvork, Brug, Paard).
Baseline: Een state-of-the-art LTA-benadering geïnspireerd door AntGPT, die taakschatting en een enkele actievoorspellings-rollout uitvoert zonder staatstracking of gestructureerde staat-representatie.
Metrieken:
- Uitvoerbaarheid (Executability): Percentage acties dat voldoet aan logische en fysieke beperkingen (bijv. precondities, objecthoudingen).
- Eindstaat-fout (Final-State Error): Het verschil tussen de bereikbare eindstaat en de ware doelstaat.
- Longest Common Subsequence (LCS): Meet de overlap in de volgorde van acties tussen voorspelde en opgenomen sequenties.
- Taakcorrectheid & Huidige Staat Fout: Nauwkeurigheid van taakinferentie en staat-schatting.

Belangrijkste Resultaten

Geëvalueerd op een scenario van 50% taakvoltooiing met GPT-4o, demonstreerde STEP significante verbeteringen ten opzien van de baseline:

Uitvoerbaarheid: Het artikel rapporteert een algemene verbetering van 32,8% in de uitvoerbaarheid van acties vergeleken met de state-of-the-art. In de specifieke GPT-4o ablatie (Tabel III) bereikte STEP een uitvoerbaarheid van 78,12% vergeleken met de 71,68% van de baseline.
Eindstaat-fout: Het artikel rapporteert een algemene verbetering van 14,8% in de eindstaat-fout. In de specifieke GPT-4o ablatie (Tabel III) verminderde STEP de fout naar 4,38 vergeleken met de 4,53 van de baseline.
LCS: De baseline behaalde een hogere LCS. De auteurs schrijven dit toe aan het feit dat de baseline langere, minder efficiënte actiesequenties genereert die toevallig meer overlap vertonen met de opgenomen gegevens, terwijl de afkappingsstrategie van STEP kortere, directere plannen produceert.
Robuustheid: STEP presteerde beter dan de baseline over diverse MM-LLM groottes (GPT-4o, GPT-4.1, GPT-5.1, GPT-5.2), hoewel de prestaties afnamen bij kleinere modellen (GPT-4o mini) vanwege een lagere nauwkeurigheid in de taakschatting.

Betekenis en Claims

Het artikel beweert dat STEP de kloof overbrugt tussen het hoogwaardige redeneren van MM-LLMs en de precieze eisen van robotische uitvoering in industriële settings. Door staatsovergangen expliciet te modelleren en gestructureerde JSON-representaties te gebruiken, maakt de methode het volgende mogelijk:

Mitigeert Hallucinatie: Voorkomt het genereren van acties die fysiek onmogelijk zijn of afwijken van het doel door de staat-afstand kwantitatief bij te houden.
Maakt Geparametriseerde Uitvoering Mogelijk: Gaat verder dan "werkwoord-zelfstandig naamwoord"-paren om de specifieke assistentieparameters (locatie, oriëntatie) te bieden die nodig zijn voor real-world uitvoering.
Werkt Zonder Grondwaarheid: In tegen tegenstelling tot eerdere werken die grondwaarheid-statussen vereisen, schat STEP de staat af van visuele input, wat de methode toepasbaar maakt voor real-world scenario's waar dergelijke gegevens niet beschikbaar zijn.

De auteurs erkennen beperkingen, met name dat de huidige implementatie is toegesneden op blokassemblage en dat het iteratieve rollout-proces latentie introduceert (ongeveer 148 seconden versus 18 seconden voor de baseline), wat moet worden aangepakt voor real-time inzetbaarheid. Ze suggereren dat toekomstig werk zich kan richten op het automatiseren van promptgeneratie voor nieuwe scenario's en het optimaliseren van de inferentiesnelheid via lokale hosting of model fine-tuning.