🤖 AI

Towards the Harness of Embodied Agents

Dit artikel introduceert Thea, een harnas voor belichaamde agenten dat het paradigma van de coderende agent aanpast aan de fysieke wereld door een persistente symbolische scène-graaf te integreren voor staatbewustzijn en een evaluatiemechanisme voor actiefeedback, waardoor de succesvolle uitvoering van taken met een lange horizon mogelijk wordt via een gesloten agentische lus.

Oorspronkelijke auteurs: Qi Wang, Tianyi Wang, Chengyang Li, Shikun Ban, Yurun Chen, Yizhong Ge, Jason Qin, Chengtai Li, Wentao Zhu

Gepubliceerd 2026-08-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qi Wang, Tianyi Wang, Chengyang Li, Shikun Ban, Yurun Chen, Yizhong Ge, Jason Qin, Chengtai Li, Wentao Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om jouw huishoudelijke taken te doen. Een lange tijd dachten wetenschappers dat het geheim van een slimme robot erin zat om simpelweg een "brein" te bous dat slim genoeg was om alles zelf uit te vogelen. Maar er is een addertje onder het gras: de echte wereld is rommelig, onvoorspelbaar en heeft geen "save button" zoals een videogame. Als een robot een kopje laat vallen, is het kapot. Als hij tegen een muur loopt, zit hij vast. Dit is het domein van embodied AI — kunstmatige intelligentie die in een fysiek lichaam leeft en interageert met de echte wereld.

Om de uitdaging te begrijpen, denk aan hoe je een computer gebruikt. Wanneer je code schrijft, als je een fout maakt, geeft de computer direct een melding: "Error: Line 5." Het geeft een duidelijk signaal dat er iets misging, en je kunt het herstellen. Dit wordt een closed loop genoemd: je handelt, je krijgt feedback, en je past je aan. In de digitale wereld is deze feedback gratis en onmiddellijk. Maar in de fysieke wereld krijgt de robot niet even een pop-upmelding met "Grijpen mislukt". Hij sluit gewoon zijn hand, en misschien valt het kopje, of misschien heeft hij het helemaal niet gepakt. De robot moet raden wat er is gebeurd. Deze paper stelt een grote vraag: Kunnen we een robot bouw die van zijn fouten leert, net zoals een programmeur dat doet, zelfs wanneer de wereld geen makkelijke antwoorden geeft?

De "Harnas" van de Robot: Een Brein Veranderen in een Lichaam

Maak kennis met Thea. De auteurs van deze paper bouwen niet alleen een slimmer robotbrein; ze bouwen een "harnas". Denk aan een harnas als het zadel en de teugels van een paard. Het paard (het lichaam van de robot) is sterk, en de ruiter (het AI-brein) is slim, maar zonder het harnas kan de ruiter het paard niet effectief besturen. Thea is dat harnas. Het neemt een krachtig AI-model en verbindt het met een robotlichaam op een manier die de robot in staat stelt om te leren, te herstellen van fouten en complexe, langdurige taken te voltooien.

De paper suggereert dat het geheim niet alleen is om de AI in een vacuüm "slimmer" te maken. In plaats daarvan gaat het erom de juiste infrastructuur eromheen te bouwen. De auteurs laten zien dat door de vaardigheden van de robot (zoals bewegen, grijpen of kijken) te verpakken in eenvoudige "tools" die de AI kan aanroepen, en door een systeem te creëren dat constant controleert of die tools hebben gewerkt, de robot taken kan uitvoeren die voorheen onmogelijk waren.

De Twee Grote Problemen: De Wereld Lezen en Weten Wanneer Je Wint

De paper identificeert twee enorme kloven tussen de digitale wereld (waar coding agents leven) en de fysieke wereld (waar robots leven).

1. De Wereld is Moeilijk te Lezen (De "Scene Graph" Oplossing)
In een computerprogramma weet de computer precies waar elk bestand zich bevindt. Het kan de hele "codebase" in één keer lezen. Maar een robot ziet slechts een klein deel van de wereld door zijn camera's, alsof hij door een rietje kijkt. Hij ziet een kopje voor een seconde, draait dan om en ziet een tafel. Hij heeft geen geheugen van waar het kopje was, tenzij hij er een opbouwt.

De Oplossing: Thea bouwt een Scene Graph. Stel je dit voor als een persistent, magisch notitieboekje dat de robot bij zich draagt. Elke keer dat de robot iets ziet, schrijft hij het op in het notitieboekje: "Kopje staat op de tafel, nabij de lamp." Zelfs als de robot zijn hoofd draait, onthoudt het notitieboekje dit. Dit verandert de chaotische, wazige wereld in een heldere, leesbare kaart die de AI kan begrijpen, net zoals een programmeur code leest.

2. De Wereld Geeft Geen "Exit Codes" (De "Evaluator" Oplossing)
Wanneer een computerprogramma draait, eindigt het en zegt "Success" of "Error". Als een robot probeert een fles op te pakken, krijgt hij geen signaal dat het "Succes" is. Hij blijft gewoon bewegen. Hoe weet hij of hij de fles daadwerkelijk heeft gegrepen of dat hij alleen maar lucht heeft samengeknepen?

De Oplossing: Thea introduceert een Evaluator. Dit is als een strenge scheidsrechter die direct naast de robot staat. Nadat de robot iets heeft geprobeerd te grijpen, kijkt de Evaluator naar het resultaat en zegt: "Je miste," of "Je hebt hem, maar hij gleed weg," of "Goed gedaan!" Het fungeert als de "exit code" die de fysieke wereld mist. Als de robot faalt, zegt de Evaluator niet alleen "Nee"; het legt uit waarom (bijv. "Je was te ver weg"), zodat de robot het opnieuw kan proberen met een beter plan.

Hoe het Werkt: De Loop van het Leren

De magie gebeurt in een loop. De AI kijkt naar zijn "notitieboekje" (de Scene Graph), besluit wat te doen, en kiest een tool (zoals "grijp kopje"). De robot probeert het. Daarna controleert de Evaluator het resultaat.

Als het werkt: De robot werkt zijn notitieboekje bij en gaat naar de volgende stap.
Als het faalt: De Evaluator geeft een reden. De AI leest die reden, past zijn plan aan en probeert het opnieuw.

Dit klinkt misschien eenvoudig, maar het verandert alles. De paper laat zien dat zonder deze loop, als een robot 10 stappen moet zetten om een taak te voltooien en hij een kans van 85% heeft om elke stap goed uit te voeren, de kans om de hele taak te voltooien minuscuul is (minder dan 20%). Maar met het harnas, als de robot een stap faalt, probeert hij het opnieuw totdat hij het goed heeft. Plotseling springt de kans om de hele taak te voltooien naar meer dan 90%.

Wat Ze Vonden (en Wat Ze Niet Vonden)

De onderzoekers testten Thea op drie verschillende robots: een mensachtige met wielen (Astribot S1), een mobiele arm (AgileX Cobot Magic), en een kleinere robot met behendige handen (Unitree G1). Ze gaven ze taken variërend van het oppakken van één object tot het navigeren door een kamer, het vinden van een specifiek item in een rommelige kast, en het afleveren daarvan op een andere tafel.

De Resultaten: Thea was het meest succesvolle systeem in elke test. Wanneer de taken moeilijker en langer werden, begonnen de andere systemen (die geen dit "harnas" met een evaluator hadden) te falen en konden ze niet herstellen. Thea bleef echter proberen, paste zijn positie aan en vroeg om hulp wanneer hij vastzat.
De "Active Perception": In een demo kreeg de robot de opdracht om een powerbank te vinden. Deze lag niet op de tafel. In plaats van op te geven, gebruikte de robot zijn "notitieboekje" om te beseffen dat hij de kast nog niet had gecontroleerd. Hij ging naar de kast, opende de laden en vond het item. Hij volgde niet alleen een script; hij bedacht dat hij ergens anders moest kijken.
De Nauwkeurigheid van de "Exit Code": De Evaluator was erg goed in het beoordelen van succes of falen, en had in ongeveer 93% van de gevallen gelijk. De paper merkt op dat deze hoge nauwkeurigheid cruciaal is; als de rechter te vaak fout zit, raakt de robot in de war.

Waarom Dit Belangrijk Is

De paper suggereert dat we niet hoeven te wachten op een "superintelligent" robotbrein dat nooit fouten maakt. In plaats daarvan kunnen we een systeem bouwen dat fouten maakt, ervan leert en herstelt. Het "harnas" is de sleutel. Het stelt verschillende robotlichamen in staat om hetzelfde slimme brein te gebruiken, en het laat hetzelfde brein op verschillende robots werken.

De auteurs benadrukken dat dit geen perfect, afgewerkt product is. Het "notitieboekje" (Scene Graph) is nog niet perfect; soms raakt het in de war over waar dingen zich bevinden. De "scheidsrechter" (Evaluator) is niet 100% accuraat. En de robot is nog steeds een beetje traag omdat hij voor elke beweging door een taalmodel moet nadenken. Maar de richting is duidelijk: door de juiste infrastructuur rond de AI te bouwen, kunnen we onhandige robots transformeren in betrouwbare helpers die door onze rommelige, echte huizen kunnen navigeren. De toekomst van robotica gaat niet alleen over betere breinen; het gaat over betere harnassen.

Technische Samenvatting: Naar de Harness van Belichaamde Agenten (Thea)

1. Probleemstelling

Het succes van programmeeragenten in de digitale wereld heeft een paradigma gevestigd waarbij het vermogen van een agent minder afhangt van het onderliggende model alleen, en meer van de "harness" (het harnas)—de omliggende infrastructuur die tools orkestreert, context beheert en de cirkel tussen intentie en resultaat sluit door middel van evaluatie en herstel. Het overbrengen van dit paradigma naar belichaamde agenten in de fysieke wereld wordt echter geconfronteerd met twee fundamentele kloven die softwareomgevingen niet hebben:

Leesbaarheid van de Wereld: In tegenstelling tot softwarecodebases, die gestructureerd, symbolisch en persistent zijn, is de fysieke wereld ongestructureerd, hoogdimensionaal en vluchtig. Een agent neemt slechts lokale, momentane sensorstromen waar (RGB-D frames) in plaats van een volledige, leesbare staat.
Verifieerbaarheid van Resultaten: Softwareomgevingen bieden expliciete terminatiesignalen en exitcodes (bijv. PASS/FAIL, stack traces). De fysieke wereld biedt dergelijke signalen niet; een robotactie (bijv. een grijpbeweging) heeft geen ingebouwd "klaar"-signaal, en succes of falen moet worden afgeleid zonder een natuurlijke "stderr" of exitcode.

Zonder deze kloven aan te pakken, falen taken met een lange horizon in de fysieke wereld omdat fouten geometrisch toenemen (open-loop executie), en de agent niet kan herstellen van fouten die hij niet kan detecteren.

2. Methodologie: Thea Harness

Thea is een harness ontworpen om deze kloven te overbruggen door de architectuur van programmeeragenten aan te passen aan de fysieke wereld. Het ontkoppelt orchestratie van executie, waardoor diverse fundamentele modellen, policies en robotlichamen in een verenigd systeem kunnen worden aangesloten.

Kernarchitectuur

Het systeem werkt via een Agentic Loop waarbij een Vision-Language Model (VLM) per beurt één tool selecteert, deze uitvoert, het resultaat observeert en de volgende actie beslist.

Tool Protocol: Elke robotcapaciteit (navigatie, manipulatie) is verpakt als een aanroepbare tool met een gestandaardiseerde interface (Model Context Protocol). Tools bevatten precondities, beschrijvingen en postcondities.
Context Engineering: De context wordt beheerd over drie levenscycli:
- Resident: Systeemprompts, geheugen en belichamingsprofielen.
- Refreshed: Actuele sensordata en een Scene Graph Brief (zie hieronder).
- Accumulated: Taakgeschiedenis, aantekeningen en tool-resultaten.
Geheugen: Een lifecycle-systeem dat Task Notes bijhoudt voor de huidige sessie, MEMORY.md voor voorkeuren over verschillende sessies heen, en tool_experience bestanden die specifieke faalmodi en herstelstrategieën voor individuele tools vastleggen.
Veiligheid: Deterministische veiligheidscontroles (bijv. afstandmetingen) worden afgedwongen via pre-executie hooks, onafhankelijk van de discretie van het model.

De Kloven Overbruggen (Kerninnovaties)

Thea introduceert twee specifieke mechanismen om de ontbrekende infrastructuur van de fysieke wereld te vervangen:

A. Scene Graph als Context (Herstel van Leesbaarheid)

Om de wereld leesbaar te maken, onderhoudt Thea een persistente, object-gecentreerde Scene Graph.

Structuur: Nodes representeren objecten (met ID's, grove 3D bounding boxes, betrouwbaarheid en versheid) en containers. Edges coderen ruimtelijke relaties (op, binnenin, nabij).
Update Mechanisme: De grafiek wordt bijgewerkt door twee stromen: perceptie (visuele/diepte bewijsvoering) en executie (door de evaluator bevestigde actieresultaten). Alleen bevestigde uitkomsten (bijv. een succesvolle greep) wijzigen de grafiekstatus.
Toegang: Het model ontvangt in elke beurt een compacte Scene Graph Brief (lijst van objecten, posities en robotstatus). Voor specifieke details kan het model ref-keyed queries uitvoeren (bijv. get_image, get_object_relations) om weggelaten bewijslast op aanvraag op te halen. Dit transformeert vluchtige sensordata in een stabiele, adresseerbare symbolische representatie.

B. Evaluatie als Exitcodes (Herstel van Verifieerbaarheid)

Om uitkomsten verifieerbaar te maken, implementeert Thea een expliciet Evaluator module die fungeert als een structurele post-hook na elke manipulatietool.

Onafhankelijkheid: De evaluator is een aparte component die de redenering of zelfrapportage van het model niet ziet. Het observeert enkel de huidige camerabeelden en de specifieke postconditie van de tool.
Output: Het geeft een driestands verdict terug (Success, Failure, In Progress) samen met een gestructureerde faalreden (bijv. "gripper gesloten zonder te tillen", "robot te ver weg").
Functie: Dit verdict fungeert als de "exitcode" van de fysieke wereld. Als een fout wordt gedetecteerd, gebruikt de agent de reden om de volgende stap aan te passen (bijv. herpositioneren) in plaats van blindelings te blijven proberen.

C. Embodiment Profile

Om draagbaarheid te garanderen, gebruikt Thea een Embodiment Profile, een document dat de specifieke fysieke limieten van de robot beschrijft (voetafdruk, reikwijdte, sensormodaliteiten, camerastandpunten). Dit stelt de harness-logica in staat om verschillende robotlichamen (bijv. wieltjes-humanoids versus dual-arm cobots) te besturen zonder architecturale wijzigingen.

3. Belangrijkste Bijdragen

Paradigma Transfer: Demonstreert dat het "harness"-paradigma, dat succesvol is bij programmeeragenten, kan worden aangepast voor belichaamde agenten door de leesbaarheid van de wereld en de verifieerbaarheid van uitkomsten expliciet te reconstrueren.
Scene Graph als Context: Introduceert een persistente, symbolische wereldstatus die het mogelijk maakt voor agenten om over de fysieke omgeving te redeneren alsof het een codebase is, wat planning met een lange horizon en herstel mogelijk maakt.
Evaluatie als Exitcodes: Stelt een structurele evaluatiemodule voor die expliciete succes/faal-signalen en diagnostische redenen genereert, waardoor de perceptie-actie lus wordt gesloten in omgevingen die geen natuurlijke terminatiesignalen missen.
Draagbaarheid en Uitbreidbaarheid: Toont aan dat de harness diverse policies en robotlichamen kan orkestreren door capaciteiten als vervangbare tools en lichamen als configureerbare profielen te behandelen.

4. Experimentele Resultaten

De auteurs evalueerden Thea op echte robots in echte omgevingen over drie taakniveaus van toenemende complexiteit:

L1 (Korte horizon): Enkele pick-and-place handelingen.
L2 (Lange horizon): Meerdere pick-and-place cycli op een enkele tafel.
L3 (Navigatie + Manipulatie): Navigeren tussen kamers om objecten op te halen en af te leveren.

Prestaties:

Succesratio's: Thea behaalde de hoogste succesratio's over alle drie de niveaus vergeleken met baselines, waaronder end-to-end VLA-policies (ACT, $\pi0.5$ , LingBot-VLA-V2), Coding-as-Policy (CaP-X) en hiërarchische planning (SayCan).
Schaalbaarheid: Terwijl end-to-end policies en andere baselines aanzienlijk in prestatie afnamen naarmate de taaklengte toenam (door foutenaccumulatie), behield Thea hoge succesratio's. Dit wordt toegeschreven aan het vermogen om fouten te detecteren via de evaluator en te herstellen via tool-compositie.
Evaluator Nauwkeurigheid: De evaluator bereikte een nauwkeurigheid van 93,3% in het classificeren van taakstatussen (Success, Failure, In Progress) over drie verschillende robotbelichamingen. De analyse toonde aan dat met een evaluator-nauwkeurigheid van $\alpha \approx 0,93$ en maximaal 5 pogingen per stap, de theoretische succeswaarschijnlijkheid voor een 5-staps taak springt van 0,33 (open-loop) naar 0,91 (harness).
Emergente Capaciteiten: Het systeem vertoonde emergent gedrag zoals actieve perceptie (zoeken in kasten wanneer objecten ontbreken uit de grafiek), foutherstel (herpositioneren op basis van evaluator-feedback) en gebruikersinteractie (vragen aan gebruikers bij ambigue doelen).

5. Betekenis en Claims

Het artikel beweert dat belichaamde AI een paradigmashift ondergaat die vergelijkbaar is met software engineering, waarbij de harness (infrastructuur) net zo cruciaal wordt als het model zelf.

Betrouwbaarheid als Systeemprobleem: De auteurs stellen dat betrouwbaarheid in robotica kan worden ingenierd op het niveau van de harness (via evaluatie- en retry-lussen) zonder dat hiervoor perfecte single-step policies of het hertrainen van modelgewichten nodig is.
Additieve Capaciteit: Nieuwe policies en nieuwe robotlichamen kunnen worden geïntegreerd als tools en profielen zonder de kernorchestratielogica te hertrainen, waardoor bouwers van policies en systeembouwers parallel kunnen voortschrijden.
De Lus als Trainingsdoel: De auteurs suggereren dat de gedragingen zoals het lezen van een scene graph, het selecteren van tools en het herstellen van fouten leerbare gedragingen zijn, die potentieel de doelstellingen kunnen worden voor de volgende generatie belichaamde foundation models.

Het artikel concludeert bescheiden en erkent beperkingen: de scene graph is afhankelijk van de kwaliteit van de onderliggende perceptie (posities zijn grof), de evaluator is een benadering met false positives/negatives, en het systeem werkt momenteel trager dan real-time vanwege de latentie van taalmodellen. Het stelt echter dat dit engineering-uitdagingen zijn die oplosbaar zijn door betere representaties, compacte lokale evaluatoren en edge-acceleratie.