Technische Samenvatting: Contractieve Mapping Embeddings voor Robuuste Humanoid Locomotie op Ongestructureerd Terrein (CMR)

Probleemstelling

Robuuste verstoringrepressie blijft een kritieke uitdaging voor de locomotie van humanoids, met name binnen ongestructureerde omgevingen die worden gekenmerkt door terreinonregelmatigheden, actuatie-perturbaties en onbetrouwbare sensoren. Hoewel perceptiedata (bijv. hoogtemaps) het terreinbewustzijn verbetert, kunnen sensorruis en sim-to-real gaten de controlebeleid (control policies) destabiliseren. Bestaande benaderingen kampen met significante beperkingen:

• Modelgebaseerde controllers (bijv. ZMP, LIP) vertrouwen op restrictieve aannames (vaste CoM-hoogte, vereenvoudigde dynamica) en hebben moeite met meetonzekerheid.
• Leergebaseerde methoden falen vaak in het handhaven van robuustheid wanneer exteroceptieve sensoren ruis introduceren, vooral op complexe terreinen zoals trappen of balansbalken.
• Huidige robuustheidstechnieken, zoals low-pass filters of smoothness rewards, vereisen uitgebreide afstemming, verminderen de exploratiecapaciteit en falen vaak bij het generaliseren over diverse robotische systemen.
• Bestaande sensitiviteitscontrolemethoden (bijv. Lipschitz-restricties via gradiëntstraffen) zijn vaak beperkt tot basisloopgedrag op terreinen met lage complexiteit.

Het kernprobleem dat wordt geadresseerd is het gebrek aan een systematische methode om robuustheid tegen observatieruis te garanderen in complexe, hoog-vrijheidsgraden (DOF) humanoid locomotie-taken zonder dat dit ten koste gaat van de taakprestaties of excessieve engineering-overhead vereist.

Methodologie

De auteurs stellen Contractive Mapping for Robustness (CMR) voor, een framework dat hoog-dimensionale, storingsgevoelige observaties naar een latente ruimte mapt waar lokale perturbaties in de loop van de tijd worden gedempt.

Theoretische Fundering

De benadering is geworteld in de Contraction Mapping Theorem. De auteurs leiden theoretische grenzen af voor de "return gap" (prestatiedegradatie) onder observatieruis:

1. Standaard Systemen: In systemen met Lipschitz-constanten $L_f \geq 1$ kan observatieruis leiden tot exponentiële foutgroei over de tijdshorizon $H$, wat ernstige prestatiedegradatie veroorzaakt.
2. Contractieve Systemen: Door staten te mappen naar een latente ruimte met een contractiefactor $0 < \kappa < 1$, zorgt het framework ervoor dat verschillen tussen trajecten in de loop van de tijd krimpen. Theoretische analyse (Theorem 2) stelt vast dat de return gap begrensd is door $O(\frac{\eta}{1-\kappa})$, waarbij $\eta$ de verwachte actie-discrepantie begrenst. Cruciaal is dat deze grens onafhankelijk is van de horizonlengte $H$, wat superieure long-horizon robuustheid biedt vergeleken met niet-contractieve benaderingen.

Framework Architectuur

Het CMR-framework integreert drie sleutelcomponenten in een standaard Deep Reinforcement Learning (RL) pipeline (specifiek Proximal Policy Optimization, PPO):

1. Contrastive Representation Learning: Maakt gebruik van een InfoNCE-loss om semantische discriminatie te behouden, waardoor de latente ruimte de taakrelevante geometrie behoudt en excessief informatieverlies wordt voorkomen.
2. Lipschitz Regularisatie: Introduceert een specifieke loss-term ($L_{Lipschitz}$) om de evolutie van verschillen in de embedding-ruimte expliciet te beperken, waarbij de contractieve eigenschap ($\kappa < 1$) wordt afgedwongen.
3. Gezamenlijke Optimalisatie: De totale trainingsdoelstelling combineert de PPO-loss, de contrastieve loss en de Lipschitz-regularisatie:
   $$L_{CMR} = L_{InfoNCE} + \lambda \cdot L_{Lipschitz} + L_{PPO}$$
   waarbij $\lambda$ de balans bewaart tussen semantische discriminatie en dynamische contractie.

Implementatiedetails

• Observaties: Het systeem verwerkt ruisgevoelige proprioceptieve data (gewrichtsposities/snelheden, base pose) en exteroceptieve data (egocentrische hoogtekaarten).
• Ruisinjectie: Tijdens de training wordt ruis geïnjecteerd in de perceptie-observaties om degradatie in de echte wereld te simuleren.
• Compatibiliteit: De formulering fungeert als een hulp-loss term, wat minimale aanpassingen aan bestaande deep RL-pipelines vereist.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van CMR, een contractief-embedding framework dat systematisch observatie-perturbaties dempt terwijl de taakrelevante structuur behouden blijft.
2. Theoretische Vooruitgang: De eerste toepassing van de contraction mapping theorem op leergebaseerde humanoid locomotie, wat rigoureuze grenzen biedt voor de door observatieruis veroorzaakte return gaps.
3. Praktische Integratie: Ontwikkeling van een eenvoudig, effectief trainingssysteem dat naadloos integreert met moderne deep RL-pipelines, wat robuuste controle mogelijk maakt met minimale technische inspanning.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op de Unitree G1 humanoid robot in simulatie (Isaac Gym en MuJoCo) over diverse terreinen (ongelijkmatige grond, stapstenen, balansbalken) en verschillende ruisniveaus.

• Ruisrepressie: Onder hoge ruiscondities (Noise Case I en III-V) presteerde CMR significant beter dan de baselines (HIM, LCP, Naive PPO). Het behield stabiele locomotie, bereikte grotere afstanden en vertoonde een lager gewrichtsenergieverbruik en gladdere controle-acties.
• Generalisatie (Sim-to-Sim): In zero-shot transfer scenario's van Isaac Gym naar MuJoCo onder ruisige verstoringen, demonstreerde CMR superieure command tracking en energie-efficiëntie vergeleken met de HIM-baseline.
• Ablatie Studies: Analyse van hyperparameters ($\tau$, $\lambda$, $\kappa$) bevestigde een trade-off tussen trajectaccuratesse en energieverbruik, wat de gekozen standaardconfiguratie als een gebalanceerd compromis valideert.
• Latente Ruimte Visualisatie: t-SNE visualisaties toonden aan dat de latente trajecten van CMR aanzienlijk minder afwijken onder ruis vergeleken met baselines, wat de zelfstabiliserende eigenschappen van de contractieve ruimte bevestigt.

Betekenis en Claims

Het artikel claimt dat CMR een significante stap voorwaarts is in robuuste humanoid controle door:

• Systematisch de ruisrobuustheid aan te pakken in complexe locomotie-taken, een gebied dat eerder als een open onderzoeksvraagstuk werd geïdentificeerd.
• Theoretische garanties te bieden die de prestatiedegradatie door observatieruis beperken, waarmee men verder gaat dan heuristische afstemming.
• Potentieel voor robuuste sim-to-real transfer te faciliteren door contractieve state embeddings te leren die de propagatie van ruis bewezen beperken.

De auteurs merken op dat hoewel het huidige werk zich richt op simulatie, zij de transferprestaties verifiëren via real-robot experimenten om de praktische geloofwaardigheid te versterken. Toekomstig werk beoogt multi-modale perceptie (bijv. dieptecamera's) te integreren om nog preciezere en complexere terreinen aan te kunnen.