VIGOR: Visual Goal-In-Context Inference for Unified Humanoid Fall Safety

Probleemstelling

Mensachtige robots (humanoids) opereren in ongestructureerde, rommelige omgevingen en zijn kwetsbaar voor vallen. In tegenstelling tot viervoeters of wielenrobots, ervaren humanoids tijdens een val hoge-energie impacten, complexe contacten over het hele lichaam en grote veranderingen in het gezichtspunt. Bestaande methoden voor valveiligheid zijn vaak gefragmenteerd:

1. Gescheiden taken: Valontwijkking, impactmitigatie en het weer opstaan worden als losse problemen behandeld, vaak met controllers die alleen op platte grond zijn getraind.
2. Gebrek aan visie: Veel leer-methoden (RL of imitatie) vertrouwen uitsluitend op proprioceptie (lichaamssensatie) zonder visuele waarneming van de omgeving. Dit leidt tot kwetsbaarheid op oneffen terrein.
3. Data-complexiteit: Bestaande benaderingen behandelen pose, dynamica en terrein als één monolithisch data-probleem, wat schaalbaarheid en generalisatie beperkt omdat het vereist dat alle combinaties worden afgedekt.

Het paper stelt dat valveiligheid een geïntegreerd probleem is waarbij de manier waarop een robot valt, direct bepaalt welke steunpunten beschikbaar zijn voor herstel. Dit vereist een nauwe koppeling tussen terreinperceptie en gecoördineerde lichaamsbeweging.

Methodologie: VIGOR

De auteurs introduceren VIGOR (Visual Goal-In-Context Inference for Unified Humanoid Fall Safety), een unified framework dat valmitigatie en opstaan in één beleid (policy) integreert. De aanpak rust op twee kerninzichten en een leerarchitectuur met een leraar-leerling (teacher-student) structuur.

1. Kerninzichten

• Gefactoriseerde data-complexiteit: Natuurlijke val- en herstelposities van mensen zijn beperkt en overdraagbaar van platte grond naar complex terrein via ruimtelijke uitlijning. Pose en terrein kunnen dus als onafhankelijke factoren worden behandeld. Een paar demonstraties op platte grond volstaan als prior voor kinematica, terwijl variatie in terrein wordt gehanteerd door interactie met de omgeving.
• Doel-in-context representatie: Snelle reacties vereisen dat perceptie en actie direct gekoppeld zijn. In plaats van het terrein en de doel-pose apart te voorspellen, infereert het systeem een compacte "goal-in-context" latent representatie. Deze combineert de volgende doel-pose met de lokale terreincontext, wat direct de informatie levert voor actieplanning.

2. Leerarchitectuur (Teacher-Student)

• Privileged Teacher: Een leraar-beleid wordt getraind via Reinforcement Learning (PPO) in simulatie. Deze leraar heeft toegang tot "geprivilegieerde" informatie:
  • Proprioseptie.
  • Lokale terreinhoogte (via een scan).
  • Sparse Keyframes: Een beperkt aantal sleutelframes uit menselijke demonstraties (op platte grond) die als structurele priors dienen.
    De leraar leert een goal-in-context latent ($z_{goal}$) die de doel-pose en het terrein samenvoegt.
• Deployable Student: Een student-beleid dat is bestemd voor de echte wereld. Deze heeft geen toegang tot terrein-scans of expliciete referentieposities.
  • Input: Alleen egocentrische dieptekaarten (van een camera op het hoofd) en een korte geschiedenis van proprioceptie.
  • Leren: De student wordt getraind om de goal-in-context latent van de leraar te reconstrueren en de acties van de leraar na te bootsen (Behavioral Cloning + Latent Matching). Hierdoor leert de student hoe hij moet reageren op basis van visuele input, zonder de complexe subproblemen van terreinherkenning en poseplanning expliciet op te lossen.

3. Training en Data

• Motion Collection: Menselijke val- en herstelvideo's (voorwaarts, zijwaarts, achterwaarts) worden omgezet naar 3D-bewegingen en getransfereerd naar de Unitree G1 robot.
• Reward Design: Een samengestelde beloningsfunctie omvat:
  • Imitatie: Tracking van relatieve lichaamsconfiguraties (niet absolute posities) om artefacten door projectie op oneffen terrein te vermijden.
  • Regularisatie & Veiligheid: Straffen voor het schenden van gewrichtslimieten, ongewenste contacten (bijv. aan de rand van een trap) en hoge momentumveranderingen.
  • Stabilisatie: Beloning voor het rechtop houden van het lichaam na het herstel.
• Domain Randomization: Om sim-to-real transfer mogelijk te maken, worden wrijving, elastische terugslag, initiële posities, externe duwen en visuele ruis (dieptekleuring, occlusies) gevarieerd.

Kernbijdragen

1. Unified Policy: Eén beleid dat valmitigatie, impactreductie en opstaan integreert, in plaats van losse modules.
2. Visie-gedreven Generalisatie: Het eerste werk dat egocentrische dieptewaarneming gebruikt voor robuuste valherstel op diverse, niet-platte terreinen zonder fine-tuning in de echte wereld.
3. Gefactoriseerde Leerstrategie: Het gebruik van sparse menselijke priors gecombineerd met RL voor terreinvariatie, wat de data-efficiëntie drastisch verhoogt ten opzichte van monolithische benaderingen.
4. Goal-in-Context Latent: Een nieuwe representatie die perceptie en actie doelen direct koppelt, waardoor de student beleid effectief kan leren zonder expliciete terreinmodellen.

Resultaten

De methoden zijn geëvalueerd in simulatie (IsaacGym/IsaacLab) en op een echte Unitree G1 robot.

• Simulatie:

  • VIGOR bereikte een succescijfer van ~90% bij valherstel en ~89% bij opstaan over diverse terreinen (rotsachtig, trappen, hellingen, golven).
  • Dit is een aanzienlijke verbetering ten opzichte van bestaande baselines (zoals HOST en FIRM), die successpercentages van 15-30% hadden op deze complexe terreinen.
  • Veiligheid: VIGOR toonde een veel hoger percentage "veilige successen" (geen hoofdcontact met de grond), vooral dankzij visuele input.
  • Ablatie-studies: Het verwijderen van de gedeelde latent-supervisie had de grootste negatieve impact, wat aantoont dat het distilleren van de "goal-in-context" representatie cruciaal is. Visie verbeterde vooral de veiligheid op oneffen terrein, terwijl tijdelijke geschiedenis vooral helpt bij het opstaan.

• Real-World (Unitree G1):

  • Zero-shot Transfer: De student-politiek werd direct op de echte robot gedeployed zonder enige fine-tuning.
  • De robot slaagde erin om zich te herstellen van duwen op platte grond, van een verhoogd platform, en op trappen (inclusief asymmetrische contacten bij diagonale duwen).
  • Visie bleek essentieel voor veilige herstelbewegingen op trappen en bij oneven contacten, waar een "blind" beleid vaak onveilige valbewegingen maakte.

Betekenis en Impact

VIGOR biedt een praktische route naar veilige, autonome humanoids in de echte wereld. Door valherstel niet als een reeks losse reflexen te zien, maar als een geïntegreerd, visueel geleid proces, overwint het de beperkingen van eerdere methoden die afhankelijk waren van platte grond of blind vertrouwen op proprioceptie.

De aanpak demonstreert dat:

1. Menselijke bewegingspriors (zelfs spaarzaam) krachtig kunnen zijn als ze worden gecombineerd met RL voor terreinadaptatie.
2. Een compacte, visueel geconditioneerde latent representatie het "realisatiekloof" (gap tussen simulatie en realiteit) kan overbruggen.
3. Humanoids in de toekomst veilig kunnen opereren in complexe, ongestructureerde omgevingen zonder dat ze voor elke situatie specifiek getraind hoeven te worden.

Dit werk legt een fundament voor toekomstige systemen die vallen kunnen voorkomen én herstellen tijdens continue locomotie, een cruciale stap voor de inzet van humanoids in huishoudens en industriële omgevingen.