Technische Samenvatting: HuMam – Humanoid Bewegingsbesturing via End-to-End Deep Reinforcement Learning met Mamba

1. Probleemstelling

Humanoid lokomotie presenteert unieke uitdagingen vergeleken met quadrupede of wielgedreven systemen, primair vanwege een hoger zwaartepunt, gekoppelde dynamiek van het boven- en onderlichaam, en strikte veiligheidseisen. Hoewel end-to-end reinforcement learning (RL) een compacte perceptie-actie mapping biedt, lijdt praktische implementatie vaak onder trainingsinstabiliteit, inefficiënte feature fusie en hoge actuatiekosten.

Bestaande benaderingen kampen met specifieke beperkingen:

• Feedforward backbones maken vaak onvoldoende gebruik van gestructureerde observatiedata, zoals gangfase en georiënteerde voetstapdoelen.
• Zware sequentiemodellen (bijv. Transformers of diepe RNN's) leggen ongunstige reken-geheugenafwegingen op, wat on-board realtime implementatie belemmert.
• Trainingsdynamiek vertoont frequent instabiliteit, hoge variantie tussen seeds en inefficiënt gebruik van samples, wat leidt tot policies die ofwel instabiel ofwel energie-inefficiënt zijn.

Het artikel adresseert de behoefte aan een controller die zowel vooruitziend is (coördinatie van voetplaatsing en balans) als middelenbewust (opereren binnen on-board reken- en actuatielimieten) zonder te vertrouwen op expliciete accumulatie van temporele historie.

2. Methodologie: Het HuMam Framework

De auteurs stellen HuMam voor, een state-centrische, end-to-end RL-framework ontworpen voor humanoid lopen. De kerninnovatie ligt in de adoptie van een single-layer Mamba encoder als een lichtgewicht fusie-backbone.

2.1. Observatieruimte

De agent ontvangt een rijke set observaties bij elke tijdstap, verdeeld in twee categorieën:

• Robot-centrische staten: Gewrichtsposities en snelheden voor 12 aangedreven beengewrichten, root-oriëntatie (roll, pitch), en hoeksnelheid (roll, pitch, yaw). Globale yaw wordt uitgesloten omdat voetstappen gedefinieerd zijn relatief aan het root-frame.
• Externe begeleiding: Twee georiënteerde voetstapdoelen ($T_1, T_2$) gedefinieerd door 3D-positie en heading, plus een continue fase-klok die de gangcyclus codeert ($\sin, \cos$) om discontinuïteiten te voorkomen die geassocieerd worden met scalaire fase-encodering.

2.2. Architectuur: Single-Layer Mamba Encoder

In tegenstelling tot recurrente of attention-gebaseerde ontwerpen die temporele historie accumuleren, vertrouwt HuMam uitsluitend op de huidige staat, maar maakt het gebruik van Mamba's selectieve state-space dynamiek om gestructureerde afhankelijkheden tussen input-modaliteiten te vangen.

• Tokenisatie: Robot- en externe staten worden geconcateneerd en geprojecteerd naar modaliteit-specifieke embeddings.
• State-Space Encoding: Een enkele Mamba-laag past gated state-space dynamiek toe op deze tokens. Deze formulering biedt een convolutioneel perspectief met exponentieel vervallende kernels, wat efficiënte feature mixing mogelijk maakt zonder expliciete temporele recurrentie.
• Output: De gecodeerde representatie wordt geaggregeerd in een compact feature vector die gedeeld wordt door de policy en value heads.

2.3. Controle Hiërarchie en Actieruimte

• Actieruimte: De high-level policy (draaiend op 40 Hz) geeft gewenste gewrichtspositie-targets uit voor de 12 aangedreven beengewrichten.
• Low-Level Executie: Een low-gain Proportional-Derivative (PD) controller (draaiend op 1000 Hz) zet deze positie-targets om in uitvoerbare gewrichtstorsies. Deze hiërarchische structuur zorgt voor een vloeiende torque-executie en houdt het leerprobleem goed geconditioneerd.

2.4. Reward Shaping

Het framework gebruikt een beknopte zes-term reward functie geoptimaliseerd via Proximal Policy Optimization (PPO) om balans te vinden tussen stabiliteit, nauwkeurigheid en energie-efficiëntie:

1. Voetkracht ($R_{force}$): Bestraft excessieve grondreactiekrachten.
2. Voetsnelheid ($R_{vel}$): Moedigt vloeiende swing-been bewegingen aan.
3. Stapnauwkeurigheid ($R_{step}$): Beloont precieze voetplaatsing relatief aan de doelen.
4. Oriëntatie ($R_{orient}$): Lijnt de root-oriëntatie uit met de gewenste heading.
5. Lichaamshoogte ($R_{height}$): Handhaaft een nominale torso-hoogte.
6. Bovenlichaam Stabiliteit ($R_{upper}$): Minimaliseert het zwiepen van het bovenlichaam.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Eerste Mamba-gestuurde Humanoid RL Controller: Introduceert Mamba als een lichtgewicht fusie-backbone voor end-to-end humanoid lokomotie, waarbij wordt aangetoond dat een enkele laag volstaat voor sterke prestaties in een state-centrische setting.
2. Effectiviteit van de Backbone: Toont aan dat de Mamba encoder sneller leert, een verbeterde sample-efficiëntie en een verminderde cross-seed variabiliteit oplevert in vergelijking met een identiek getrainde feedforward baseline.
3. Energie-bewuste Reward Shaping: Stelt een zes-term reward voor die gezamenlijk contactkrachten, swing-snelheden, stapnauwkeurigheid en lichaamsstabiliteit reguleert, wat impliciet energie-efficiëntie bevordert.
4. Uitgebreide Empirische Validatie: Valideert het framework op de JVRC-1 humanoid tijdens diverse taken (voorwaarts, achterwaarts, gebogen, lateraal lopen, en staan) in de mc-mujoco omgeving.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de JVRC-1 humanoid (1.72m, 62kg) met behulp van mc-mujoco. HuMam werd vergeleken met een sterke feedforward baseline onder identieke trainingsinstellingen.

4.1. Leer-efficiëntie en Stabiliteit

• Sample Efficiëntie: HuMam had 15.8M samples nodig om een return van 240 te bereiken, vergeleken met 18.2M voor de baseline (13.2% verbetering). Bij een hogere drempel (return 260) was de verbetering 42.5% (20.2M vs. 35.0M samples).
• Stabiliteit: HuMam verminderde de cross-seed leercurve afwijking met 35.4% en de late-stage trainingsvariantie met 61.0%, wat wijst op een meer betrouwbare convergentie.
• Prestaties: De piekprestaties namen toe met 5.8% (269.85 naar 285.50), en de gemiddelde return over de laatste 10% van de training verbeterde met 5.5%.

4.2. Reward en Torque Profielen

• Reward Componenten: HuMam bereikte een hogere gemiddelde per-stap reward (0.737 vs. 0.728), met opvallende verbeteringen in de regulatie van voetkracht en de vloeiendheid van de snelheid.
• Torque Reductie: Het framework verminderde de gemiddelde gewrichtstorsie magnitudes met 9.6% en de piek-torques met 9.1%. Specifieke gewrichten, zoals de linker heup pitch en de rechter enkel pitch, zagen significante reducties (tot 40% in gemiddelde torque voor de enkel).

4.3. Energie-efficiëntie

HuMam demonstreerde superieure economie over dynamische taken:

• Staan: Verminderde het gemiddelde vermogensverbruik van 57.48 W naar 35.08 W (39% afname).
• Voorwaarts Lopen: Verminderde de energiekosten van 673 J/m naar 421 J/m.
• Lateraal Lopen: Verminderde de energiekosten van 1395 J/m naar 963 J/m.
• Vermogen per Massa: Consistent lagere W/kg over alle taken, met een gemiddelde reductie van 1.92 W/kg (baseline) naar 1.38 W/kg (HuMam).

5. Betekenis en Claims

De auteurs claimen dat HuMam de eerste end-to-end humanoid RL controller is die Mamba adopteert als een fusie-backbone. Het artikel beargumenteert dat deze architectuur tastbare winsten biedt op drie kritieke gebieden:

1. Efficiëntie: Het bereiken van hogere prestaties met minder trainingssamples en lagere computationele overhead dankzij de bijna lineaire complexiteit van de single-layer Mamba encoder.
2. Stabiliteit: Het reduceren van trainingsvariantie en het produceren van vloeiendere, robuustere gangen over diverse lokomotie-scenario's.
3. Controle Economie: Het genereren van policies die minder torque en energie vereisen, wat ze geschikter maakt voor real-world deployment op hardware met beperkte vermogensbudgetten.

Het werk concludeert dat de Mamba backbone een effectieve encoder is voor compacte, state-centrische policy learning, wat het mogelijk maakt om natuurlijke en stabiele humanoid loopgedragingen te synthetiseren zonder te vertrouwen op expliciete temporele historie of zware sequentiemodellen. Toekomstig werk is gericht op hardware deployment, sim-to-real transfer, en de integratie van on-board perceptie.