Cybo-Waiter: A Physical Agentic Framework for Humanoid Whole-Body Locomotion-Manipulation

Each language version is independently generated for its own context, not a direct translation.

Cybo-Waiter: De slimme, mensachtige kelner die nooit de weg kwijtraakt

Stel je voor dat je een robot hebt die eruitziet als een mens en je vraagt: "Zorg dat het bureau opgeruimd is" of "Breng me een drankje." Voor een robot is dit niet zo simpel als voor ons. Het is alsof je een kind vraagt om door een drukke supermarkt te lopen, een specifiek product te vinden, het vast te pakken, en het veilig naar de kassa te brengen, terwijl het kind tegelijkertijd moet balanceren en niet tegen de schappen mag lopen.

Dit artikel introduceert Cybo-Waiter, een nieuw systeem dat mensachtige robots (humanoids) slim en betrouwbaar maakt voor deze soort taken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Grote Probleem: "Ik dacht dat je dat bedoelde..."

Vroeger waren robotplanners vaak te vaag. Ze kregen een opdracht, probeerden iets te doen, en als het misging, wisten ze niet waarom of hoe ze het moesten oplossen. Het was alsof een kok een recept volgt, maar als de pan te heet wordt, gewoon doorgaat met bakken tot alles verbrand is.

Bij mensachtige robots is dit extra lastig. Als ze een beetje scheef staan, kunnen ze niet meer goed reiken. Als ze een object verkeerd inschatten, vallen ze om. De "locomotie" (lopen) en "manipulatie" (handen gebruiken) zijn zo nauw met elkaar verbonden dat één kleine fout een hele keten van problemen veroorzaakt.

2. De Oplossing: Een Strakke Chef-Kok met een Controleur

Cybo-Waiter lost dit op door drie slimme trucs te gebruiken, die we kunnen vergelijken met een professioneel restaurantteam:

A. De Chef-Kok (De VLM Planner)

In plaats van dat de robot zomaar "ga maar aan de slag" doet, vertaalt een slimme AI (een Vision-Language Model) je zinnen naar een stevig recept.

Hoe het werkt: Als je zegt "Zet de fles in het dienblad", maakt de AI geen vaag plan, maar schrijft hij een lijstje met exacte stappen in een strak formaat (zoals een computercode).
De truc: Elke stap heeft een checklist. Bijvoorbeeld: "Voordat ik de fles pak, moet ik zeker weten dat ik hem kan zien (voorwaarde). Als ik hem vast heb, moet hij stabiel op mijn hand liggen (succesvoorwaarde)."
Analogie: Het is alsof de chef niet zegt "bak een ei", maar zegt: "Haal het ei uit de koelkast. Check of het ei heel is. Klop het in de pan. Wacht tot het stolt. Pas dan is de stap klaar."

B. De Oogjes van de Robot (3D-Geometrie & SAM3)

De robot moet weten waar de objecten echt zijn, niet alleen waar ze eruitzien.

Hoe het werkt: De robot gebruikt camera's en een slim hulpmiddel (SAM3) om elk object in de kamer in 3D te "meten". Het weet precies hoe groot een beker is, waar de rand van het dienblad zit, en hoe hoog de tafel is.
De truc: Het robotbrein kijkt niet naar één foto, maar naar een reeks foto's. Als de robot twijfelt ("Is dat nu een beker of een vaas?"), wacht hij even en kijkt hij opnieuw.
Analogie: Stel je voor dat je in het donker een glas water probeert te pakken. Je zou niet direct je hand uitsteken; je zou eerst je hand zachtjes voelen, kijken of het glas er echt is, en pas dan grijpen. De robot doet dit met zijn "digitale ogen" en meet de afstand millimeter voor millimeter.

C. De Kwaliteitscontroleur (De Supervisor)

Dit is het meest belangrijke nieuwe onderdeel. Er is een speciale "controleur" die constant kijkt of de robot nog steeds op het juiste spoor zit.

Hoe het werkt: Terwijl de robot een stap uitvoert, checkt de controleur: "Zie ik de fles nog? Staat hij stabiel? Is de robot niet te veel naar voren gebogen?"
De truc: Als de robot een fout maakt (bijvoorbeeld: de fles is net iets te ver weg), zegt de controleur niet "Stop alles, begin opnieuw", maar: "Je bent een beetje te ver weg. Maak een stapje naar voren en probeer het opnieuw."
Analogie: Het is als een danspartner die je vasthoudt. Als je een stap zet en je voelt dat je evenwicht verliest, trekt je partner je niet naar beneden, maar helpt hij je om je evenwicht te herstellen zodat je kunt doordansen.

3. Wat gebeurt er als het misgaat? (Replanning)

Als de robot vastloopt, is het oude systeem vaak bang en stopt het. Cybo-Waiter is anders.

Als de controleur ziet dat een stap niet lukt, stuurt hij een signaal naar de "Chef-Kok".
De Chef-Kok kijkt naar de fout en zegt: "Oké, we konden de fles niet pakken omdat hij onder een krant ligt. Laten we eerst de krant opzij schuiven en dan de fles pakken."
De robot past zijn plan direct aan zonder de hele opdracht te annuleren.

4. De Resultaten in de Praktijk

De onderzoekers hebben dit getest met een echte mensachtige robot (Unitree G1) in een rommelig kantoor.

Taken: De robot moest flessen pakken, dozen verplaatsen, en zelfs een drankje brengen aan een mens.
Resultaat: Met dit nieuwe systeem slaagde de robot veel vaker dan zonder de "controleur". Zonder controleur gaf de robot vaak op bij kleine obstakels. Met de controleur kon hij zich herstellen, opnieuw proberen, en uiteindelijk de taak voltooien.

Samenvatting

Cybo-Waiter is een systeem dat robots leert om niet alleen te "doen", maar ook om te "denken" en "controleren". Het combineert een slim plan (de Chef), een nauwkeurige meetmethode (de Oogjes), en een slimme controleur die helpt bij fouten. Hierdoor kunnen mensachtige robots nu veel betrouwbaarder taken uitvoeren in onze rommelige, echte wereld, zonder dat ze bij elke kleine hapering in paniek raken.

Het is de stap van een robot die "probeerde" te werken, naar een robot die werkelijk werkt.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "Cybo-Waiter: A Physical Agentic Framework for Humanoid Whole-Body Locomotion–Manipulation" in het Nederlands.

Titel: Cybo-Waiter: Een fysiek agentframework voor mensachtige volledige-lichaam locomotie-manipulatie

1. Het Probleem

Robotica staat voor de uitdaging om open-ended natuurlijke taalopdrachten uit te voeren in menselijke omgevingen (bijv. "maak het bureau op" of "breng me een drankje"). Deze taken zijn kenmerkend door:

Lange horizon: Taken vereisen een reeks van stappen over een langere tijd.
Gedeeltelijke waarneembaarheid: De robot moet navigeren en manipuleren in omstandigheden met rommel en occlusie.
Koppeling van locomotie en manipulatie: Voor mensachtige robots (humanoids) zijn lopen en grijpen sterk met elkaar verbonden via houding, bereikbaarheid en balans. Kleine fouten in positie of houding kunnen leiden tot een cascade van falen in latere stappen.
Fragiliteit van bestaande systemen: Bestaande frameworks zijn vaak te broos voor de echte wereld. Ze hebben te maken met ongespecificeerde modeloutput, gevoeligheid voor waarnemingsruis en moeite om fouten te diagnosticeren en te herstellen zonder de hele taak te herstarten.

2. Methodologie: Het Cybo-Waiter Framework

Het voorgestelde systeem is een trainings-arm (training-light) framework dat open-ended VLM-plannen (Vision-Language Models) omzet in verifieerbare taakprogramma's en de lus sluit met multi-object 3D-geometrische supervisie. Het systeem bestaat uit de volgende kerncomponenten:

Gestructureerde VLM-taakdecompositie:
- Een VLM-planner vertaalt een natuurlijke taalopdracht naar een gestructureerde JSON-sequentie van subtaken.
- Elke subtaak bevat expliciete predicaat-gebaseerde precondities en succescondities (bijv. "object zichtbaar", "object ondersteund door tafel").
- Deze condities vereisen temporele stabiliteit (ze moeten een bepaald aantal frames gelden) om ruis te filteren.
Conditionele Segmentatie en 3D-Geometrische Schatting:
- Het systeem gebruikt SAM3 (Segment Anything Model 3) in combinatie met RGB-D waarnemingen om alle taakrelevante entiteiten (doelobjecten, bestemmingen, referentieobjecten) te segmenteren.
- Maskers worden omgezet in 3D-geometrische toestanden: centroid, ruimtelijke uitbreiding en vertrouwen.
- Er wordt een object-gerichte werkruimtestatus ( $W_t$ ) bijgehouden met paarsgewijze geometrische relaties (afstand, hoogteverschil, uitlijning).
Supervisor (Taakmonitoring):
- Een supervisor verifieert voortgang in een gesloten lus door de predicaatcondities te evalueren over de stabiele frames.
- Het genereert diagnostische feedback (bijv. hoe groot is de fout in uitlijning?) in plaats van alleen een binair "succes/fout".
- Bij onzekerheid kan een VLM als semantische verifier worden ingeschakeld, maar geometrische verificatie heeft prioriteit.
Feedback-gedreven herbewerking (Replanning) en Herstel:
- Als condities niet worden voldaan, triggert de supervisor gerichte herstelacties:
  1. Opnieuw waarnemen: Aanpassen van het gezichtspunt.
  2. Opnieuw gronden: Hersegmentatie met aangepaste prompts.
  3. Aanpassing van vaardigheden: Micro-aanpassingen van de greep of het doel.
  4. Taakherziening: Volledige herbewerking van het plan door de VLM.
Geïntegreerde Uitvoering (Humanoid Control):
- Locomotie: Gebruikt een Reinforcement Learning (RL) beleid dat is getraind op diverse gangen (lopen, rennen, draaien) en wordt gestuurd via een discrete gait_id.
- Manipulatie: Gebruikt Model Predictive Control (MPC) voor de bovenkant van het lichaam, terwijl de onderkant onafhankelijk wordt gestuurd om balans te behouden.
- Een coördinator schakelt naadloos tussen locomotie en manipulatie op basis van de supervisor-feedback.

3. Belangrijkste Bijdragen

Gestructureerde en verifieerbare taakinterface: Vertaling van VLM-output naar typen JSON-subtaken met expliciete, temporeel stabiele predicaatcondities.
Multi-object 3D-gronding: Gebruik van SAM3 + RGB-D om object-gerichte geometrische toestanden en relaties te herstellen voor verificatie.
Geometrisch onderbouwde supervisor: Een supervisor die temporele stabiliteit en conditie-niveau diagnostiek biedt, wat gerichte herstelacties en feedback-gedreven herbewerking mogelijk maakt.
Geïntegreerde uitvoeringslaag: Een brug tussen geometrische supervisie en volledige-lichaam controle voor robuuste lange-horizon locomotie-manipulatie.

4. Resultaten

Experimenten zijn uitgevoerd op een Unitree G1 humanoid robot met een Dex3-1 hand en een RGB-D camera in een rommelige kantooromgeving.

Vergelijking met Being-0: Op een reeks multi-stap taken (zoals "Fles ophalen", "Doos neerzetten") presteert Cybo-Waiter gelijkwaardig of beter dan de bestaande Being-0 methode, met name bij taken die precisie vereisen (bijv. 10/10 succes voor "Grasp-bottle" vs 8/10 bij Being-0).
Lange-horizon taken: Op complexere taken zoals "Bureau opmaken" (Tidy-desk), "Sorteren op tafel" en "Drankje brengen" toonde het volledige systeem met supervisor een significante verbetering ten opzichte van een ablatieversie zonder supervisor:
- Tidy-desk: Van 5/10 naar 7/10 succes.
- Tabletop-sorting: Van 6/10 naar 8/10 succes.
- Bring-me-a-drink: Van 7/10 naar 9/10 succes.
Conclusie uit resultaten: De supervisor voorkomt voortijdige overgangen door waarnemingsruis, detecteert afwijkende toestanden en triggert gerichte herstelacties in plaats van de hele taak te herstarten.

5. Betekenis en Impact

Cybo-Waiter adresseert een cruciale lacune in de mensachtige robotica: de noodzaak van een verifieerbare en diagnoseerbare uitvoeringslus. In tegenstelling tot systemen die vertrouwen op "black-box" leermodellen of statische plannen, biedt dit framework:

Robuustheid: Door expliciete verificatie van geometrische condities en temporele stabiliteit.
Veiligheid: Door balans- en bereikbaarheidsbeperkingen te respecteren tijdens lange-horizon taken.
Herstelbaarheid: Het vermogen om op te treden bij fouten door gerichte correcties, wat essentieel is voor het uitvoeren van complexe taken in dynamische, menselijke omgevingen zonder menselijke tussenkomst.

Dit werk legt de basis voor betrouwbare mensachtige agenten die niet alleen plannen kunnen maken, maar deze ook fysiek kunnen uitvoeren en corrigeren in de echte wereld.