💻 computer science

Pro-HOI: Perceptive Root-guided Humanoid-Object Interaction

Dit artikel introduceert Pro-HOI, een generaliseerbaar raamwerk voor robuuste humanoid-objectinteractie dat gebruikmaakt van een worteltrajectorie als universele interface en een persistente objectschattingsmodule voor zelfstandige slipdetectie, wat leidt tot betrouwbare uitvoering in complexe real-world scenario's.

Oorspronkelijke auteurs: Yuhang Lin, Jiyuan Shi, Dewei Wang, Jipeng Kong, Yong Liu, Chenjia Bai, Xuelong Li

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuhang Lin, Jiyuan Shi, Dewei Wang, Jipeng Kong, Yong Liu, Chenjia Bai, Xuelong Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een mensachtige robot voor die niet alleen kan lopen, maar ook een zware doos kan dragen terwijl hij over een rommelige vloer loopt, struikelt over obstakels, en zelfs de doos weer oppakt als hij hem per ongeluk laat vallen. Dat is precies wat Pro-HOI doet.

Deze paper introduceert een slimme manier om robots te leren hoe ze met objecten om moeten gaan, zonder dat ze een "supercomputer" of dure camera's in de kamer nodig hebben. Alles gebeurt op de robot zelf.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Stijve Danser"

Vroeger waren robots die dingen droegen als een danser die een choreografie uit zijn hoofd heeft geleerd. Als je de muziek (de situatie) een beetje veranderde, of als de danspartner (het object) een stapje naar links deed, raakte de robot in paniek en viel hij om. Ze waren te star en konden niet goed improviseren.

2. De Oplossing: De "Onzichtbare Lijn" (Root-guided)

Pro-HOI verandert de manier waarop de robot leert. In plaats van de robot te dwingen om elke spierbeweging na te bootsen van een mens, geven we de robot slechts één simpele opdracht: "Beweg je in die richting."

De Analogie: Stel je voor dat je een hond traint om een bal te halen.
- De oude methode: Je zegt: "Buig je linkerpoot, til je rechterpoot op, draai je nek..." (Te veel details, de hond raakt in de war).
- De Pro-HOI methode: Je zegt gewoon: "Loop naar die bal." De hond (de robot) bedenkt zelf hoe hij zijn poten moet bewegen om daar te komen.
Het Resultaat: De robot leert de essentie van het dragen. Hij kan nu een doos dragen terwijl hij loopt, stopt, draait of zelfs een obstakel omzeilt, omdat hij zich richt op de beweging van zijn lichaam als geheel (de "wortel" of root), niet op elke losse beweging.

3. De "Digitale Tweeling" (Digital Twin): De Voorspeller

Wat gebeurt er als de robot de doos laat vallen? Een normale robot zou paniek krijgen en stilstaan. Pro-HOI heeft een slimme truc: een Digitale Tweeling.

De Analogie: Stel je voor dat je een bal laat vallen in het donker. Je kunt hem niet zien, maar je weet precies hoe de zwaartekracht werkt. Je "voelt" in je hoofd waar de bal zal landen.
Hoe het werkt: De robot heeft een virtuele versie van zichzelf en de doos in zijn hoofd (de Digitale Tweeling). Als de doos uit beeld valt (bijvoorbeeld onder een tafel of achter een muur), simuleert de robot in zijn hoofd: "Als ik de doos nu laat vallen, waar landt hij dan?"
De actie: Zodra de robot merkt dat de doos is gevallen, berekent hij direct waar hij moet kijken om hem weer te vinden. Hij draait zijn hoofd, zoekt de doos op en pakt hem weer op. Geen hulp van buiten nodig!

4. Alles in Eén Doosje (Onboard)

Veel robots hebben enorme computers in de kamer nodig om te denken. Pro-HOI draait volledig op de robot zelf (een Unitree G1 robot met een kleine computer erop).

Vergelijking: Het is alsof je een smartphone hebt die niet alleen belt, maar ook een supercomputer is die in real-time een hele film regisseert, terwijl je erop loopt.

Wat kan deze robot nu echt?

De onderzoekers hebben getest of het werkt in de echte wereld:

Lopen en dragen: De robot kan rennen terwijl hij een doos vasthoudt, zonder hem te laten vallen.
Obstakels: Hij loopt om meubels heen terwijl hij draagt.
Herstel: Als de doos valt, pakt hij hem zelf weer op.
Herhaling: Hij kan dit 15 keer achter elkaar doen zonder moe te worden of fouten te maken.

Samenvatting

Pro-HOI is als het geven van een kompas in plaats van een stuurwiel aan de robot.

Het kompasseert de richting (waar moet ik naartoe?).
De robot regelt zelf hoe hij zijn benen en armen gebruikt om daar te komen.
Als er iets misgaat (de doos valt), gebruikt hij zijn "hersenen" (de digitale tweeling) om te voorspellen waar de doos is en hem te redden.

Dit maakt robots veel meer als echte mensen: ze kunnen improviseren, vallen en weer opstaan, en hun werk afmaken, zelfs als de situatie niet precies is zoals ze hadden geoefend.

Probleemstelling

Het uitvoeren van betrouwbare Humanoid-Object Interaction (HOI) taken, zoals het dragen van objecten, blijft een grote uitdaging voor humanoïde robots. Bestaande methoden kampen met drie hoofdproblemen:

Gebrek aan generalisatie: Traditionele modelgebaseerde methoden vereisen specifieke optimalisatie doelen en zijn moeilijk aan te passen aan onbekende scenario's.
Moeilijke integratie met planners: Veel RL-gebaseerde (Reinforcement Learning) methoden vereisen ingewikkelde beloningstuning (reward engineering) en bieden geen universele interface voor hoog-niveau planners, wat het moeilijk maakt om navigatie en manipulatie simultaan uit te voeren.
Gebrek aan robuustheid en herstel: Bestaande systemen missen vaak gesloten-lus perceptie. Als een robot een object laat vallen, kan het dit niet autonoom detecteren of het object opnieuw grijpen, wat leidt tot falen in real-world omgevingen.

Methodologie: Pro-HOI

De auteurs introduceren Pro-HOI, een generaliseerbaar en robuust RL-framework dat de interactie tussen humanoïde robots en objecten regelt. De kern van de methode bestaat uit drie pijlers:

1. Root-gestuurde Policy Training (Ontkoppeling van Observatie en Beloning)

In tegenstelling tot traditionele imitatie-lering die volledige lichaamsreferentiebewegingen als input gebruikt, ontkoppelt Pro-HOI de bewegingsdoelen van de observatieruimte:

Observatie: Het beleid (policy) wordt uitsluitend gevoed met de gewenste root-trajectorie (positie en oriëntatie van het robotcentrum) en een binaire contactstatus ( $c_t \in \{0, 1\}$ ). Dit vormt een minimalistische, maar voldoende observatieruimte.
Beloning: De volledige lichaamsbeweging (whole-body tracking) wordt uitsluitend gebruikt als beloningssignaal (reward), niet als directe input.
Voordeel: Dit stelt de robot in staat om de dynamische correlatie tussen de root-beweging en de taakstatus te leren zonder afhankelijk te zijn van specifieke referentiebewegingen voor elke objectpositie. De root-trajectorie fungeert als een universele interface voor hoog-niveau planners (bijv. voor navigatie en obstakelontwijking).

2. Data Voorbereiding en SDF-Optimalisatie

Om realistische bewegingen te genereren die geschikt zijn voor de fysieke beperkingen van de robot:

Menselijke bewegingen (verzameld via motion capture) worden getransfereerd naar de robot (SMPL naar robot).
Een Signed Distance Field (SDF) loss wordt geïmplementeerd om "penetratie-artefacten" (waarbij robotledematen door objecten heen gaan) te minimaliseren. Dit zorgt voor fysiek haalbare referentiebewegingen voordat het trainen begint.

3. Perceptie en Herstelmechanisme (Digital Twin)

Om onzekerheden in de echte wereld (zoals het laten vallen van objecten) aan te pakken, introduceert het systeem een Persistent Object Estimation Module:

Perceptie: Combineert real-time objectdetectie (FoundationPose) met een Digital Twin (MuJoCo simulator).
Herstel: Als het contact verbroken wordt terwijl de robot denkt dat het object nog wordt vastgehouden, detecteert het systeem een "drop". De Digital Twin simuleert de val van het object om de nieuwe positie te voorspellen.
Actie: De robot past zijn blikrichting aan om het object weer in het gezichtsveld te krijgen en voert een autonome hergrijp-maneuver uit.

Belangrijkste Bijdragen

Root-gestuurde RL-framework: Een nieuwe aanpak die generaliseerbare HOI-capaciteiten bereikt zonder uitgebreide referentiebewegingen of complexe beloningstuning. De root-trajectorie dient als flexibele interface voor hoog-niveau planners.
Persistent Object Estimation: Een module die real-time detectie combineert met een Digital Twin voor autonoom herstel bij vallen, wat de robuustheid in real-world scenario's aanzienlijk verhoogt.
Volledige Onboard Implementatie: Het complete systeem is gedeployeerd op een Unitree G1 humanoïde robot, waarbij alle modules (perceptie, planning, controle) draaien op één onboard Jetson NX computer.

Resultaten

De methode is uitgebreid getest in simulatie (MuJoCo) en in de echte wereld op de Unitree G1.

Generalisatie (OOD): In Out-of-Distribution scenario's (willekeurige objectposities) behaalde Pro-HOI met herstelmechanisme een grijpsuccescijfer van 99,93%, vergeleken met 82,54% voor de state-of-the-art baseline (PhysHSI).
Plaatssprecisie: De methode behaalde de hoogste precisie bij het plaatsen van objecten (gemiddelde fout van slechts 5,80 cm in OOD scenario's).
Robuustheid: Het systeem slaagde erin om meer dan 15 opeenvolgende draaicirkels (carry cycles) succesvol uit te voeren, inclusief het hergrijpen van gevallen objecten.
Navigatie: De robot kon succesvol objecten dragen terwijl het obstakels omzeilde, dankzij de naadloze integratie met de TEB (Timed Elastic Band) planner.
Sim-to-Real: Het systeem werkt stabiel op fysieke hardware met verschillende snelheidsprofielen (langzaam tot snel), waarbij de grijpsuccescijfers boven de 60% bleven, zelfs onder zware verstoringen.

Betekenis

Pro-HOI vertegenwoordigt een kritieke stap in de overgang van humanoïde robots van laboratoriumdemonstraties naar praktische toepassingen in mensgerichte omgevingen. Door de ontkoppeling van de besturingsinterface (root-trajectorie) van de bewegingsstijl, en door een autonoom herstelmechanisme voor fouten te integreren, lost het paper de belangrijkste beperkingen op van bestaande HOI-systemen: gebrek aan generalisatie, gebrek aan controleerbaarheid voor planners en fragiliteit bij onverwachte gebeurtenissen. Dit maakt humanoïde robots veel praktischer inzetbaar voor complexe, langdurige taken zoals logistiek en verzorging.