Technische Samenvatting: Human2Humanoid

Probleemstelling

Het retargeten van menselijke bewegingen naar humanoïde robots is een cruciale enabler voor teleoperatie, imitatie-leren en mens-robotinteractie. Deze taak staat echter voor twee primaire, gekoppelde uitdagingen:

1. Morfologische Discrepanties: Er bestaan significante verschillen tussen menselijke en robotische belichamingen wat betreft skelettopologie, ledemaatverhoudingen en vrijheidsgraden (DoF's). Eenvoudige geometrische uitlijning faalt vaak in het behouden van actiesemantiek wanneer lichaamsgroottes en gewrichtsstructuren drastisch variëren.
2. Datatekort: Hoogwaardige, gesynchroniseerde mens-robot bewegingsparen zijn moeilijk te verkrijgen en schalen niet over verschillende robotbelichamingen heen.
3. Fysieke Plausibiliteit: Bestaande ongepaarde methoden (vaak uit de computergraphics) geven prioriteit aan visuele plausibiliteit, maar falen in het waarborgen van uitvoerbare gewrichtsruimte-trajecten, stabiele grondcontacten of naleving van robotspecifieke kinematische limieten. Dit leidt tot artefacten zoals voet-skating, grondpenetratie en zwevend lichaam, wat bewegingen onbruikbaar maakt voor echte hardware.

Traditionele optimalisatiemethoden (bijv. inverse kinematica) zijn interpreteerbaar maar gevoelig voor begincondities en afstemming, en produceren vaak semantisch vertekende poses bij grote morfologische mismatches. Omgekeerd vereisen supervised learning-methoden gepaarde data die zelen zeldzaam beschikbaar zijn, terwijl bestaande unsupervised generatieve benaderingen een gebrek hebben aan de fysieke beperkingen die nodig zijn voor robotische inzetbaarheid.

Methodologie

Het paper stelt Human2Humanoid voor, een unsupervised motion retargeting framework ontworpen om menselijke bewegingen over te dragen naar humanoïde robots zonder gepaarde data. Het framework is gebouwd op een CycleGAN-stijl architectuur, maar integreert specifieke mechanismen om morfologie en fysica aan te pakken.

1. Netwerkarchitectuur

• Skeleton-Aware Generators: In tegen tegenstelling tot methoden die poses behandelen als platte vectoren, maken de generatoren gebruik van Skeleton-Aware Graph Convolutional Networks (GCNs). Deze maken gebruik van adjacency matrices om expliciet de natuurlijke topologische structuur van skeletbewegingen te modelleren, waarbij lokale gewrichtscorrelaties worden gevangen. De architectuur bevat encoders met SkeletonConv-lagen, een latente ruimte en decoders met unpooling-operaties om de doeltopologie te herstellen.
• Frame-wise Pose Discriminator: De discriminator werkt op een frame-per-frame basis en evalueert de realiteitsgraad op gewrichtsniveau in plaats van te reduceren tot één enkele scalaire score. Het gebruikt een dual-branch aanpak: een joint-wise branch voor lokale realisme en een full-body branch voor pose-coherentie, die beide combineren om elk gewricht onafhankelijk te scoren.

2. Belangrijke Verliesfuncties en Beperkingen

Om de domeingap te overbruggen en fysieke haalbaarheid te garanderen, introduceert het framework drie specifieke componenten:

• Morphology-Invariant End-Effector Consistency Loss ($L_{EE}$):
  Om schaalverschillen (bijv. menselijke armen versus compacte robotarmen) op te vangen, vermijdt de methode het uitlijnen van absolute Cartesiaanse coördinaten. In plaats daarvan worden end-effector trajecten uitgelijnd ten opzichte van de T-pose van elke belichaming. Door de verplaatsingen vanaf de T-pose te normaliseren met de lichaamsomvang van de belichaming, behoudt de loss de bewegingssemantiek over verschillende morfologieën heen.
  $$L_{EE} = \mathbb{E} \left[ \frac{1}{T|E|} \sum_{t=1}^{T} \sum_{k \in E} \left\| \frac{FK_k(q_B, t) - FK_k(q_B^{Tpose})}{S_B} - \frac{FK_k(\hat{q}_A, t) - FK_k(q_A^{Tpose})}{S_A} \right\|_2^2 \right]$$

• Physics-Aware Feasibility Constraints:
  Expliciete beperkingen worden tijdens de training opgelegd om artefacten te onderdrukken die gebruikelijk zijn bij unsupervised generatie:

  • Foot Contact Constraint ($L_{con}$): Concludeert contacttoestanden uit de bronmenselijke beweging (gebaseerd op voetsnelheid) en straft de doelvoetssnelheid af wanneer contact wordt verwacht, wat voet-skating onderdrukt.
  • Foot Height Constraint ($L_{hei}$): Bestraft "zweven" door te zorgen dat wanneer de bronvoet in contact is, de doelvoet dicht bij zijn nominale grondhoogte blijft.
  • Joint Limit Constraints ($L_{lim}$): Bestraft voorspelde gewrichtshoeken die de mechanische limieten van de robot overschrijden ($[q_{min}, q_{max}]$) om hardwarebeschadiging of noodstops te voorkomen.

• Full Objective:
  De totale generator loss combineert de standaard CycleGAN objectieven (Adversarial, Cycle-consistency, Identity) met de voorgestelde morfologie en fysica losses:
  $$L_G = \lambda_{GAN}L_{GAN} + \lambda_{cyc}L_{cyc} + \lambda_{idt}L_{idt} + \lambda_{EE}L_{EE} + \lambda_{con}L_{con} + \lambda_{hei}L_{hei} + \lambda_{lim}L_{lim}$$

Experimentele Resultaten

De methode werd gevalideerd op de Unitree G1 humanoïde robot met ongepaarde data uit de Motion-X dataset (mens) en de PHUMA dataset (robot).

• Downstream Controllability: Geëvalueerd met een vaste tracking policy in simulatie. Human2Humanoid behaalde de hoogste Success Rate (88,5%) en de laagste Tracking Error (0,12) onder alle baselines (inclusclusief optimalisatie-gebaseerde methoden zoals PHC en GMR, en een industriële referentie).
• Physical Feasibility: De methode demonstreerde superieure onderdrukking van contactartefacten. Het behaalde de laagste Ground Penetration (0,05 cm) en concurrerende Foot Skating rates (4,7%), waarmee het de optimalisatie-gebaseerde baselines overtrof die vaak leden onder joint-limit discontinuïteiten of per beweging afstemming vereisten om jitter te voorkomen.
• Ablation Study: Het verwijderen van de morphology-invariant loss ($L_{EE}$) degradeerde de tracking success aanzienlijk en verhoogde de fout, wat de rol ervan in semantische preservatie bevestigt. Het verwijderen van de fysieke constraints ($L_{con}, L_{hei}$) verhoogde voet-skating en grondpenetratie, wat de noodzaak ervan voor fysieke plausibiliteit valideert.

Belangrijkste Bijdragen

1. Human2Humanoid Framework: Een unpaired motion retargeting framework voor heterogene humanoïde robots dat de afhankelijkheid van robotspecifieke gepaarde datasets vermindert.
2. Morphology-Invariant End-Effector Consistency Loss: Een nieuwe loss functie die bewegingssemantiek behoudt onder grote schaalverschillen door end-effector trajecten te aligneren die genormaliseerd zijn ten opzichte van de T-pose van elke belichaming.
3. Physics-Aware Feasibility Constraints: De integratie van expliciete contact-, hoogte- en gewrichtslimietbeperkingen in het generatieve trainingsproces om deployment-kritieke artefacten zoals voet-skating en grondpenetratie te mitigeren.

Betekenis en Claims

Het paper claimt dat Human2Humanoid er succesvol in slaagt de kloof tussen menselijke bewegingspriors en uitvoerbaar robotgedrag te overbruggen zonder gepaarde data te vereisen. Door unpaired learning te combineren met morfologie-invariante semantische uitlijning en expliciete fysieke priors, bereikt het framework een robuuste balans tussen semantische getrouwheid (het behouden van de intentie van de menselijke beweging) en fysieke uitvoerbaarheid (ervoor zorgen dat de beweging veilig en stabiel is voor de robot).

De auteurs benadrukken dat waar bestaande methoden ofwel vertrouwen op gevoelige optimalisatie ofwel dure constructie van gepaarde data vereisen, hun aanpak een schaalbare oplossing biedt die hoogwaardige, trackbare referentiebewegingen produceert. De resultaten suggereren dat de voorgestelde methode bijzonder effectief is in het aanpakken van de "embodiment gap", waardoor humanoïde robots complexe menselijke bewegingen met hogere betrouwbaarheid kunnen repliceren dan huidige state-of-the-art baselines. Toekomstig werk richt zich op het generaliseren naar niet-humanoïde robots en end-to-end koppeling met whole-body control policies.