Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation

Dit paper introduceert HERO, een nieuw paradigma voor humanoïde robots dat de sterke generalisatie van grote visuele modellen combineert met een nauwkeurige, gesimuleerd getrainde end-effector-besturingsstrategie om open-vocabulaire loco-manipulatie van diverse objecten in de echte wereld mogelijk te maken.

De kern

Titel: De Robot die Eindelijk "Kijk en Pak" Kan (Zonder te Struikelen)

Stel je voor dat je in een drukke keuken staat. Je ziet een oranje mok, een blikje spam en een oude boek. Je vraagt je hond (of je robot): "Pak die oranje mok voor me." Een mens doet dit moeiteloos: je buigt je rug, draait je heupen, hurkt even en pakt de mok. Je weet precies waar je hand moet zijn, zelfs als je niet perfect kunt zien.

Dit is precies wat de onderzoekers van de Universiteit van Illinois hebben laten zien met hun nieuwe robot, genaamd HERO. Maar in plaats van een hond, is het een mensachtige robot (een humanoid) die net zo beweegt als wij.

Hier is hoe het werkt, vertaald in simpele taal:

1. Het Probleem: Robots zijn vaak "Dwaas" en "Blind"

Vroeger waren robots die dingen moesten pakken, als een blindeman die probeert een vlieg te vangen. Ze wisten vaak niet precies waar hun hand was.

• Het probleem: Als een robot zegt "mijn hand is hier", is dat vaak 10 tot 13 centimeter naast de waarheid. Dat is als proberen een speld in een hooiberg te vinden terwijl je een handschoen van een halve meter dik draagt.
• De uitdaging: Mensen gebruiken hun hele lichaam om te reiken (buigen, draaien, hurken). Robots doen dit vaak niet goed, of ze vallen om als ze proberen iets van een lage tafel te pakken.

2. De Oplossing: Een Slimme Splitsing (Het "Chef en de Koks" Model)

De onderzoekers hebben een slimme truc bedacht. In plaats van één enorme, ingewikkelde hersenen voor de robot te bouwen, hebben ze het werk opgesplitst in twee teams:

• Team 1: De Chef-kok (De "Oog" van de robot)
  Dit team gebruikt super-slimme AI-modellen (zoals Google of ChatGPT voor beelden) die al op internet zijn getraind. Als je zegt "pakt de rode Coca-Cola", herkent deze Chef de rode fles in de chaos van de kamer. Hij weet wat het is en waar het ongeveer is. Hij is de visuele expert.
• Team 2: De Koks (De "Handen" van de robot)
  Dit team is de echte motor. Zij moeten de robotarm precies naar die plek sturen. Dit is het moeilijke deel. De onderzoekers hebben een nieuwe, super-nauwkeurige methode bedacht om de hand van de robot te sturen.

3. De Magische Truc: De "Residual" (De Correctie)

Dit is het hart van de uitvinding.
Stel je voor dat je een robotarm bestuurt met een ouderwetse kaart. De kaart zegt: "Ga 1 meter naar voren." Maar door slijtage en trillingen is de robot eigenlijk 10 cm te ver gegaan.

• De oude manier: De robot probeert gewoon harder te gaan, maar blijft fouten maken.
• De HERO-methode: De robot heeft een "tweede mening". Hij heeft een klein, slim neuraal netwerk (een soort innerlijk kompas) dat zegt: "Hé, volgens de kaart zou je hier moeten zijn, maar je voelt dat je eigenlijk 10 cm te ver bent. Laten we die 10 cm terugrekenen."

Ze noemen dit een "residuale" correctie. Het is alsof je een GPS hebt die niet alleen de route aangeeft, maar ook constant zegt: "Je bent een beetje naar links gedreven, draai even terug." Hierdoor wordt de fout van 13 centimeter verkleind naar slechts 2,5 centimeter. Dat is het verschil tussen een mislukte poging en het grijpen van een blikje.

4. Het Resultaat: Een Robot die "Leert" Zonder Te Vallen

Omdat ze de "Chef" en de "Koks" hebben gescheiden, kan de robot:

1. Alles begrijpen: Hij kan op een nieuwe taalcommando reageren (bijv. "pakt die rare paarse bloem") omdat de Chef-kok dit al kent van internet.
2. Precies bewegen: De Koks gebruiken de slimme correctie-methode om de hand precies op de bloem te zetten, zelfs als de robot moet hurken of zijn rug moet buigen.

In de praktijk:
In hun tests hebben ze de robot in echte kantoren, koffiezaken en zelfs rommelige kamers gestopt. Ze vroegen hem om van alles te pakken: een oranje mok, een speelgoedhond, een blikje spam, zelfs een boek.

• Succes: In 90% van de gevallen pakte de robot het juiste object, op de juiste hoogte, zonder te vallen.
• Vergelijking: Vroeger zouden robots hierbij vaak vallen of de verkeerde dingen pakken. Nu gedraagt hij zich bijna als een mens die even naar zijn hand kijkt en dan pakt.

Samenvatting in één zin

De onderzoekers hebben een robot gemaakt die niet alleen kan zien wat hij moet pakken (door slimme AI), maar ook precies weet hoe hij zijn hand moet bewegen (door slimme correcties), zodat hij als een mens door een kamer kan lopen en van alles kan oppakken zonder te struikelen.

Het is alsof je een robot hebt die niet alleen "kijken" en "grijpen" kan, maar ook "nadenken" over hoe hij zijn lichaam moet bewegen om die taak perfect uit te voeren.

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdaging om humanoïde robots in staat te stellen om loco-manipulatie uit te voeren: het autonoom navigeren en manipuleren van objecten in onbekende, realistische omgevingen. Specifiek richt het zich op het oppakken van nieuwe objecten (open-vocabulary) in nieuwe scènes op basis van natuurlijke taalopdrachten (bijv. "pak de oranje mok").

De kernproblemen die worden geïdentificeerd zijn:

1. Beperkte Generalisatie: Bestaande methoden die op imitatielearning in de echte wereld zijn gebaseerd, hebben moeite om te generaliseren naar nieuwe objecten of omgevingen vanwege de moeilijkheid om grote datasets te verzamelen.
2. Onnauwkeurige End-Effector (EE) Besturing: Bestaande humanoïde besturingsmethoden (vaak gericht op acrobatische bewegingen zoals salto's) hebben een te grote foutmarge (8–13 cm) voor het nauwkeurig manipuleren van objecten. Voor manipulatie moet de hand precies op de juiste plek zijn.
3. Systeemfouten: Analytische kinematica (forward kinematics) en odometrie op goedkope humanoïde robots (zoals de Unitree G1) zijn onnauwkeurig door mechanische toleranties en elastische vervormingen, wat leidt tot systematische fouten in de positieberekening.
4. Complexiteit van Hele-Lichaamscontrole: Het bereiken van objecten vereist vaak het buigen van de taille, draaien van de romp en hurken, terwijl het evenwicht behouden blijft. Dit maakt de besturing van alle 29 vrijheidsgraden (DoF) complex.

Methodologie: HERO-systeem

De auteurs stellen HERO (Humanoid End-Effector Control) voor, een modulair systeem dat visuele generalisatie combineert met nauwkeurige, in simulatie getrainde besturing. Het systeem splitst de taak op in twee hoofdblokken:

1. Visuele Perceptie en Planning (Hoog niveau)

• Open-Vocabulary Detectie: Het systeem gebruikt grote visuele modellen (Large Vision Models - LVMs) zoals Grounding DINO en SAM (Segment Anything) om objecten te detecteren en te segmenteren op basis van vrije tekstopdrachten.
• Grijpvoorspelling: Het model AnyGrasp genereert mogelijke grijpposities (parallelle kaken) voor het gedetecteerde object.
• Retargeting: Deze grijpposities worden aangepast (retargeted) naar de specifieke Dex-3 hand van de Unitree-robot, waarbij de duim en vingers worden gepositioneerd voor een robuuste grip.
• Trajectplanning: Een klassieke bewegingsplanner (cuRobo) genereert een referentietraject voor het bovenlichaam om de hand naar de doelpositie te brengen, rekening houdend met botsingsvermijding.

2. Nauwkeurige End-Effector Tracking (Laag niveau)

Dit is de kerninnovatie van het paper. In plaats van een monolithische leerstrategie, combineert HERO klassieke robotica met machine learning:

• Residuele Neuronale Forward Kinematics (FK): Omdat de analytische FK onnauwkeurig is, traint het systeem een neurale netwerkmethode die een correctie (residu) leert op de analytische output. Dit model leert de fouten in de kinematica te compenseren.
• Residuele Neuronale Odometrie: Voor het hele lichaam is de basisbeweging (voeten op de grond) dynamisch. Het systeem gebruikt een ander neuronaal model om de positie van de robotbasis nauwkeurig te schatten op basis van de onderlichaamsgewrichten, aannemende dat de voeten stilstaan.
• Tracking Policy ($\pi_t$): Een versterkingsleer (RL) policy die de referentietrajecten volgt. De input bevat niet alleen de gewenste hoeken, maar ook de residuele fout tussen de geschatte en de gewenste EE-positie.
• Doelbijstelling (Goal Adjustment): Om systematische fouten te corrigeren, wordt het doel voor de policy continu bijgesteld in de tegenovergestelde richting van de huidige fout (met een factor $\alpha = 1.6$).
• Closed-Loop Herplanning: Elke 6 seconden wordt het traject opnieuw gepland om drift te corrigeren en de robot binnen de distributie van de training te houden.

Kernbijdragen

1. Nauwkeurige EE-Tracking: Ontwikkeling van een besturingsstrategie die de trackingfout reduceert van 8–13 cm (state-of-the-art) naar 2,44 cm in de echte wereld.
2. Hybride Architectuur: Een succesvolle integratie van klassieke robotica (IK, motion planning) met geleerde componenten (neuronale FK, odometrie, tracking policy) om de "Sim-to-Real" kloof te overbruggen zonder enorme datasets in de echte wereld.
3. Open-Vocabulary Loco-Manipulatie: Het eerste systeem dat een humanoïde robot in staat stelt om willekeurige objecten in willekeurige omgevingen op te halen op basis van tekst, met behulp van alleen onboard sensoren.
4. Systeemidentificatie: Het aantonen dat analytische kinematica op humanoïden systematische fouten heeft en dat deze effectief kunnen worden gecorrigeerd met offline getrainde neurale modellen.

Resultaten

Het systeem werd getest op een Unitree G1 humanoïde robot met Dex-3 handen in diverse realistische omgevingen (kantoren, cafés, laboratoria) en met verschillende objecten.

• Succespercentages:
  • 90% succes op het oppakken van 10 dagelijkse objecten op standaard en lage tafels.
  • 73,3% succes bij generalisatie naar 10 nieuwe, complexe scènes.
  • 80% succes in verstopte (cluttered) scènes.
• Trackingnauwkeurigheid:
  • In simulatie: 2,21 cm translatiefout (tegenover 11,12 cm bij FALCON en 8,32 cm bij AMO).
  • In de echte wereld (MoCap): 2,44 cm gemiddelde translatiefout.
• Werkruimte: Door het gebruik van de taille (buigen en draaien) verdubbelde het bereikbare werkruimtevolume (van 0,248 m³ naar 0,523 m³ voor twee armen).
• Foutanalyse: De belangrijkste faalmodi waren het uitglijden van objecten (door beperkte dexteriteit van de hand) of het omverduwen van objecten tijdens het bereiken, wat de noodzaak van extreme precisie benadrukt.

Betekenis en Impact

Dit paper is een mijlpaal in de robotica omdat het aantoont dat modulaire systemen superieur kunnen zijn aan end-to-end imitatielearning voor complexe humanoïde taken.

• Schaalbaarheid: Door de perceptie en planning te ontkoppelen van de uitvoering, kunnen grote, vooraf getrainde visuele modellen worden gebruikt voor generalisatie, terwijl de besturing wordt geoptimaliseerd in simulatie.
• Praktische Toepasbaarheid: Het opent de deur voor humanoïde robots die echt nuttig kunnen zijn in huishoudens en kantoren, waar ze onbekende objecten moeten vinden en oppakken.
• Technische Inzicht: Het benadrukt dat voor manipulatie de nauwkeurigheid van de end-effector cruciaal is en dat "simpele" analytische modellen vaak onvoldoende zijn voor goedkope hardware, wat de weg vrijmaakt voor data-gedreven systeemidentificatie.

Kortom, HERO bewijst dat humanoïde robots, door de juiste combinatie van visuele AI en nauwkeurige, hybride besturing, in staat zijn om complexe, dagelijkse taken uit te voeren in de onvoorspelbare echte wereld.