Ego-Vision World Model for Humanoid Contact Planning

Dit artikel presenteert een framework dat een geleerde wereldmodel combineert met modelvoorspellende regeling om mensachtige robots in staat te stellen robuust fysiek contact te plannen in ongestructureerde omgevingen, wat leidt tot verbeterde sample-efficiëntie en multi-taakcapaciteit vergeleken met traditionele methoden.

De kern

Stel je voor dat je een robot hebt die eruitziet als een mens, maar die nog niet echt "slim" is in het omgaan met zijn omgeving. Traditionele robots zijn vaak bang om ergens tegenaan te lopen; ze proberen alles te vermijden. Maar wat als die robot juist moet leren gebruik maken van aanrakingen? Wat als hij tegen een muur moet leunen om niet te vallen, of een vliegende bal moet blokkeren met zijn hand?

Dit is precies wat de onderzoekers in dit paper hebben gedaan. Ze hebben een slimme manier bedacht om een mensachtige robot (een humanoid) te leren hoe hij veilig en snel contact kan maken met de wereld om hem heen, zonder dat iemand hem stap-voor-stap heeft getraind.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Grote Uitdaging: "Leren zonder een boekje"

Normaal gesproken leer je een robot iets door hem duizenden keren te laten oefenen (zoals een kind dat een bal vangt). Of je geeft hem een strikt stappenplan.

• Het probleem: Robots zijn traag om te oefenen (het kost tijd en energie), en een stappenplan werkt niet als de situatie verandert (bijvoorbeeld als de bal net iets harder wordt gegooid).
• De oplossing: De onderzoekers hebben de robot niet laten oefenen in de echte wereld. In plaats daarvan hebben ze een digitaal brein (een "wereldmodel") getraind op een enorme verzameling van oude, willekeurige bewegingen. Het is alsof je iemand een miljoen uur aan tv-programma's over sport laat kijken, zodat hij het spel begrijpt zonder zelf ooit een bal te hebben vastgehouden.

2. Het "Droombrein": De Wereld in een Korte Samenvatting

De robot kijkt naar de wereld via een camera op zijn hoofd (een "ego-centric" camera, alsof hij door zijn eigen ogen kijkt). De beelden zijn echter rommelig en ruisig.

• De analogie: Stel je voor dat je probeert een film te onthouden. Als je elke pixel van elke frame probeert te onthouden, word je gek. Je onthoudt liever de essentie: "De bal komt van links, ik moet mijn hand omhoog."
• Hoe het werkt: Het systeem van de onderzoekers vertaalt de rommelige beelden naar een samenvatting (een "latente ruimte"). Het denkt niet in pixels, maar in concepten. Het leert: "Als ik mijn hand hier zet en de muur raak, val ik niet om."

3. De "Toekomstvoorspeller" en de "Kompasnaald"

Dit is het meest creatieve deel. De robot heeft twee superkrachten die samenwerken:

1. De Crystal Ball (Het Wereldmodel): De robot kan in zijn hoofd simuleren wat er gebeurt als hij een bepaalde beweging maakt. "Als ik nu naar links stap, raak ik de muur en val ik om. Als ik naar rechts stap, pak ik de bal." Hij doet dit in een fractie van een seconde.
2. De Kompasnaald (De Waarde-functie): Omdat het simuleren van duizenden scenario's lastig is, heeft de robot een "gevoel" voor wat goed is. Dit is een ingebouwd kompas dat zegt: "Die beweging voelt goed, die voelt slecht." Het helpt de robot om snel de beste route te kiezen zonder elke mogelijkheid tot in het oneindige te berekenen.

4. De Praktijk: Van Simulatie naar Echt Leven

De onderzoekers hebben dit getest op een echte robot (de Unitree G1). Ze lieten de robot drie moeilijke dingen doen:

• Aan de muur leunen: Als iemand de robot duwt, leunt hij tegen de muur om niet te vallen.
• Een bal blokkeren: Als er een bal vliegt, pakt de robot hem op met zijn hand.
• Onder een boog doorlopen: De robot moet zich buigen om niet met zijn hoofd tegen een lage boog te stoten.

Het mooie resultaat: De robot deed dit allemaal alleen op basis van wat hij zag en voelde. Hij was niet geprogrammeerd om "te vallen" of "te blokkeren". Hij had het geleerd door te dromen over wat er zou gebeuren.

Waarom is dit zo speciaal?

• Efficiëntie: Het heeft geen duizenden uren oefening nodig in de echte wereld. Het leert van "oud materiaal" (offline data).
• Veiligheid: Omdat de robot eerst in zijn hoofd simuleert wat er gebeurt, is hij minder snel geneigd om iets kapot te maken of zichzelf te laten vallen.
• Flexibiliteit: Dezelfde robot kan verschillende taken doen zonder opnieuw te hoeven leren. Hij past zich aan, net als een mens.

Kortom:
De onderzoekers hebben een robot gebouwd die niet alleen "reageert" op wat hij ziet, maar voorspelt wat er gaat gebeuren. Het is alsof ze de robot een droomvermogen hebben gegeven, zodat hij in zijn slaap al duizenden scenario's heeft doorgenomen voordat hij de eerste stap in de echte wereld zet. Hierdoor kan hij moeiteloos omgaan met chaos, contact maken met objecten en veilig blijven staan.

Technische samenvatting

Probleemstelling

Het doel van mensachtige robots (humanoids) verschuift van dynamische locomotie naar intelligent interageren in ongestructureerde omgevingen. Dit vereist het doelbewust benutten van fysiek contact (bijv. tegen een muur leunen voor balans, voorwerpen blokkeren of onder obstakels door kruipen) in plaats van alleen botsingen te vermijden.
Bestaande methoden hebben hier moeite mee:

• Optimalisatiegebaseerde planners: Struikelen over de complexiteit van real-time contactplanning en zijn gevoelig voor modelonnauwkeurigheden.
• On-policy Reinforcement Learning (RL): Is zeer monsterinefficiënt (vereist veel data), heeft moeite met visuele input en leert slecht over meerdere taken heen (multi-task learning).
• Sensoren en Contact: Contacttoestanden zijn vaak niet direct waarneembaar en sensorgeluid maakt het moeilijk om beloningen (rewards) voor contact nauwkeurig te voorspellen.

Methodologie

De auteurs stellen een framework voor dat een geleerde wereldmodel combineert met steekproefgebaseerde Model Predictive Control (MPC). Het systeem werkt volledig offline zonder demonstraties.

1. Data Collectie en Training:

• Er wordt een offline dataset verzameld in simulatie door willekeurige hoog-niveau acties (positie van het eind-effect en lichaamshoogte) toe te passen op een mensachtige robot met een reeds getrainde laag-niveau controller.
• De data bevat geen menselijke demonstraties, maar wordt gegenereerd door de robot te laten "spelen" met objecten (ballen, muren, bogen).
• De input bestaat uit egocentrische dieptbeelden (64x48 pixels) en proprioceptieve signalen (joint posities, snelheden, zwaartekrachtvector).

2. Het Ego-Vision World Model:
In plaats van ruwe pixels te voorspellen (wat leidt tot cumulatieve fouten), leert het model de dynamiek in een gecomprimeerde latente ruimte.

• Architectuur: Het model gebruikt een recurrente neurale net (RNN) om een deterministische dynamische latente staat ($h_t$) bij te houden. Een stochastische latente staat ($z_t$) wordt afgeleid uit de observatie en $h_t$.
• Componenten:
  • Encoder/Decoder: Reconstructie van de observatie om een compacte latente representatie te garanderen.
  • Surrogaat Waardefunctie ($\hat{Q}_t$): Schat direct de verwachte cumulatieve opbrengst voor een actie, gebaseerd op de latente staat. Dit lost het probleem van schaarse contactbeloningen op.
  • Terminatie Voorspelling ($\hat{d}_t$): Voorspelt de kans op falen (bijv. vallen). Als deze boven een drempel (0.9) komt, wordt de waarde van die trajecten op nul gezet.
• Verliesfunctie: Bestaat uit reconstructieverlies, een joint-embedding predictieverlies (voor consistentie in de latente ruimte) en een Q-loss (voor het trainen van de waardefunctie).

3. Value-Guided Sampling MPC:
Tijdens de uitvoering (inference) gebruikt de planner het wereldmodel om toekomstige trajecten te simuleren.

• Proces: De huidige observatie wordt gecodeerd naar een latente staat. De planner steekt $M=1024$ kandidaat-actie-sequenties over een horizon van $N=4$ stappen.
• Voorspelling: Het wereldmodel rekent recursief de toekomstige latente staten en de bijbehorende surrogate waarden ($\hat{Q}$) door.
• Optimalisatie: De Cross-Entropy Method (CEM) wordt gebruikt om de actie-sequentie te vinden die de geschatte totale waarde ($\hat{J}_N$) maximaliseert. Alleen de eerste actie wordt uitgevoerd, waarna het proces opnieuw wordt gestart (receding horizon).
• Voordeel: Door gebruik te maken van een surrogate waardefunctie in plaats van alleen directe beloningen, wordt de planning robuuster tegen sensorruis en gedeeltelijke waarneembaarheid.

Belangrijkste Bijdragen

1. Schaalbaar Visueel Wereldmodel: Een model dat dynamiek van diverse contacttaken leert, getraind op een volledig offline, demonstratievrije dataset.
2. Planning vanuit Pixels met Waardegeleiding: Een MPC-framework dat een geleerde surrogate waardefunctie gebruikt om de planning te sturen, waardoor robuustheid en efficiëntie worden verbeterd.
3. Agile Real-World Contact Planning: Validatie op een fysieke mensachtige robot (Unitree G1) die complexe contacttaken succesvol uitvoert uitsluitend op basis van egocentrische dieptbeelden en proprioceptie.

Resultaten

De methode is getest op drie kern-taken:

1. Ondersteuning van de Muur: Stabiliseren door tegen een muur te leunen bij verstoringen.
2. Blokkeren van de Bal: Een vliegend object blokkeren met de hand.
3. Doorkruisen van de Boog: Door een lage boog gaan zonder het hoofd te stoten.

Vergelijking met Baselines:

• Sample Efficiency: De methode bereikt hoge prestaties met slechts 0,5 miljoen data-stappen (offline). Vergelijkbare prestaties met on-policy PPO vereisen aanzienlijk meer data en tijd, vooral bij visuele taken.
• Multi-Task Capabiliteit: Een enkel model getraind op een gemengde dataset van alle taken presteert even goed als gespecialiseerde single-task modellen, zonder last te hebben van "catastrophic forgetting".
• Ablatie Studies:
  • Een planning horizon van $N=4$ bleek de optimale balans tussen bias en variantie.
  • Het gebruik van een autoregressief wereldmodel (ARWM) bleek schadelijk voor de waarde-schatting in offline RL.
  • Methoden die puur op beloningen (Rew-MPC) of TD-errors (TD-MPC) vertrouwen, presteerden slechter door de moeilijkheid om contactbeloningen nauwkeurig te voorspellen.

Real-World Validatie:
Op de Unitree G1 robot werd real-time planning (25 Hz) succesvol uitgevoerd. De robot toonde reactief gedrag: hij leunt alleen tegen de muur als hij wordt verstoten en keert terug naar een neutrale houding zodra het evenwicht is hersteld. Het systeem generaliseerde ook naar onbekende objecten (bijv. een doos blokkeren die niet in de trainingsdata zat).

Significantie

Dit werk is een belangrijke stap vooruit in het autonoom maken van mensachtige robots in complexe omgevingen. Het demonstreert dat robots complexe, contactrijke interacties kunnen leren zonder dure menselijke demonstraties of onbeperkte simulatie-interactie. Door de combinatie van een wereldmodel in een latente ruimte en waardegeleide planning, overwint het systeem de beperkingen van traditionele optimalisatie en sample-inefficiënte RL-methoden. Dit maakt robuuste, visiegebaseerde controle mogelijk voor taken die fysiek contact vereisen, wat essentieel is voor de volgende generatie service- en hulprobots.