Technische Samenvatting: PressMimic

Probleemstelling

De imitatie van menselijke bewegingen door humanoïde robots staat voor een kritieke flessenhals: bestaande pipelines vertrouwen primair op visuele bewegingsopvang (MoCap) en kinematische imitatie, waarbij de fysieke interacties tussen het lichaam en de omgeving grotendeels worden genegeerd. Hoewel kinematische methoden gewrichtsconfiguraties kunnen schatten, slagen ze er vaak niet in om contactdynamiek te vangen, wat leidt tot fysiek onwaarschijnlijke artefacten zoals voetverschuiving, vloerpenetratie, temporele jitter en instabiele gangen. Zuiver visuele benaderingen kampen met diepte-ambiguïteit en occlusie, wat het moeilijk maakt om grondcontacttoestanden en steunpatronen af te leiden die essentieel zijn voor stabiele lokomotie. Als gevolg hiervan falen robots die worden aangestuurd door kinematisch geschatte referenties vaak in het reproduceren van de fysieke verankering van menselijke bewegingen, wat resulteert in verminderde prestaties of hardwarebeschadiging in contactrijke scenario's.

Methodologie

De auteurs stellen PressMimic voor, een uniek framework dat drukgevoeligheid integreert als een kernmodaliteit door de gehele pipeline van humanoïde bewegatieimitatie, van menselijke bewegingsopvang tot robotbesturing. Het framework werkt in twee primaire stadia:

1. Drukgestuurde Bewegingsopvang (FRAPPE++)

Het eerste stadium introduceert FRAPPE++, een multimodale methode die ontworpen is om gezamenlijk de 3D menselijke pose en globale bewegingstrajecten te schatten door RGB-video te fuseren met druksignalen.

• Input: Gesynchroniseerde RGB-video en 2D-drukverdelingskaarten.
• Architectuur:
  • Sparse Pressure Encoder (SPE): Converteert ijle 2D-drukkaarten naar compacte 1D-sequenties met behulp van een Hilbert ruimtevullende curve om de ruimtelijke topologie te behouden, waarbij kenmerken worden gecodeerd via Fourier-embeddings.
  • Temporal Context Aggregation Module (TCAM): Modelleert temporele afhankelijkheden binnen vaste vensters met behulp van Gated Recurrent Units (GRU's) en self-attention, terwijl context van naburige vensters wordt geïntegreerd via cross-attention om bewegingsgladheid te waarborgen.
  • Fusion Cross-Attention Module (FCAM): Fuseert modaliteiten door drukkenmerken te behandelen als queries en visuele kenmerken als keys/values. Dit stelt druksignalen in staat om visuele aandacht naar mens-grond contactgebieden te leiden.
• Trainingsdoel: Een gezamenlijke verliesfunctie beperkt poseparameters, 3D-gewrichtsposities, globale translatie en grondcontacttoestanden. Orthografische gelijkenis en contactbeperkingen voor het hele lichaam worden opgelegd om ambiguïteiten in visuele schatting op te lossen.

2. Drukgesuperviseerde Besturing (PSP)

Het tweede stadium introduceert de Pressure-Supervised Policy (PSP), een reinforcement learning (RL) framework dat drukafgeleide signalen incorporeert om fysieke consistentie tijdens robotexecutie af te dwingen.

• Drukmodellering: Het systeem berekent een "drukoffset" ($o$) die de bilaterale gewichtsverdeling tussen de linker- en rechtervoet vertegenwoordigt. Deze scalaire waarde onderscheidt tussen dubbel voetcontact, enkel voetcontact en zweeftoestanden.
• Beloningsfunctie: De RL-beloningsfunctie bevat standaard kinematische imitatie-termen plus een drukoffset-beloning. Deze beloning stimuleert de grondreactiekrachten van de robot om de drukoffsetverdeling van de menselijke demonstrator te evenaren.
• Tweestaps-curriculum:
  • Fase 1: De policy wordt getraind om de vaste menselijke referentie-drukoffset te imiteren.
  • Fase 2: Zodra een prestiedrempel is bereikt, wordt de referentiedruk dynamisch bijgewerkt met behulp van een Exponential Moving Average (EMA) van de eigen optimale contactverdeling van de robot. Dit stelt de robot in staat om zich aan te passen aan zijn specifieke fysieke beperkingen terwijl de contactdynamiek geleerd van de mens behouden blijft.

Dataset: MotionPRO

Om deze methoden te ondersteunen, hebben de auteurs de MotionPRO dataset geconstrueerd, een grootschalige multimodale dataset die de volgende bevat:

• Schaal: 70 subjecten, 400 bewegingstypen en 12,4 miljoen poseframes.
• Modaliteiten: Gesynchroniseerde RGB-video (30Hz), drukmatgegevens (100Hz) en hoogprecisie optische motion capture (120Hz), die allemaal zijn geresampled naar 30Hz.
• Inhoud: Diverse activiteiten inclusief dagelijkse taken, traditionele oefeningen en robotgerichte bewegingen.

Belangrijkste Resultaten

Experimenten uitgevoerd op de MotionPRO-dataset en de Unitree G1 humanoïde robot demonstreren de effectiviteit van de voorgestelde aanpak:

• Bewegingsschatting: FRAPPE++ presteert beter dan state-of-the-art RGB-gebaseerde methoden (bijv. WHAM, GVHMR, PhysPT) over alle metrieken. Het bereikt een Mean Per Joint Position Error (MPJPE) van 33,2 mm en een Root Translation Error (RTE) van 25,9 mm, wat de trajectdrift en voetverschuiving aanzienlijk vermindert vergeleken met visuele baselines.
• Stabiliteit van Bewegatieimitatie:
  • Wanneer FRAPPE++ als referentie wordt gebruikt, bereikt de robot een succespercentage (SR) van 90,56% met de baseline BeyondMimic-policy, wat vergelijkbaar is met het gebruik van ground-truth Optical MoCap-referenties (92,78%).
  • Referenties van lage kwaliteit (bijv. WHAM) resulteren in bijna volledige mislukking (SR < 3,33%), wat het belang van nauwkeurige contactschatting onderstreept.
• Besturingsprestaties: Het integreren van de PSP-policy verbetert de prestaties verder. Met FRAPPE++ referenties bereikt PSP een SR van 94,44% en een Motion Completion (MC) van 98,46%, waarmee het zelfs de Optical MoCap + BeyondMimic baseline overtreft.
• Fysieke Plausibiliteit: Kwalitatieve resultaten tonen aan dat FRAPPE++ + PSP stabiele, natuurlijke lokmotie produceert met correcte voetcontactdynamiek, terwijl baselines vaak gedraaide houdingen, instabiliteit of conservatieve voetplaatsing vertonen.

Betekenis en Claims

Het artikel beweert dat PressMimic het eerste systeem is dat systematisch druksignalen exploiteert in zowel de perceptie- als de besturingsfase van humanoïde bewegatieimitatie. De betekenis ligt in:

1. Overbruggen van Perceptie en Besturing: Door druk als een uniforme modaliteit te gebruiken, creëert het framework een consistent fysiek verankeringssignaal dat de bewegingsschattingsfase afstemt op de besturingsfase, waardoor de kloof tussen kinematische imitatie en fysiek consistente executie wordt verkleind.
2. Oplossen van Ambiguïteit: Druksignalen bieden expliciete beperkingen op contact en ondersteuning, waardoor de inherente ambiguïteiten van visuele pose-schatting (bijv. diepte en occlusie) worden opgelost en artefacten zoals vloerpenetratie worden voorkomen.
3. Mogelijk maken van Stabiele Lokmotie: De drukgesuperviseerde policy stelt robots in staat om de onderliggende contactdynamiek van menselijke demonstranten te reproduceren, wat leidt tot aanzienlijk hogere stabiliteit en succespercentages in complexe, contactrijke scenario's.
4. Dataconclusie: De introductie van MotionPRO biedt een noodzakelijke bron voor het trainen en evalueren van multimodale, fysiek verankerde bewegatieimitatiesystemen.

De auteurs concluderen dat hoewel er beperkingen bestaan met betrekking tot complexe scenario's met meerdere contacten met externe objecten, het integreren van fysieke sensorische modaliteiten zoals druk een cruciale stap is naar het bereiken van robuuste en fysiek verankerde belichaamde intelligentie.