⚡ electrical engineering

HuMam: Humanoid Motion Control via End-to-End Deep Reinforcement Learning with Mamba

HuMam ist ein zustandszentriertes End-to-End-Reinforcement-Learning-Framework für die humanoide Lokomotion, das einen einlagigen Mamba-Encoder nutzt, um Roboterzustände mit Schrittzielvorgaben und einer Phasen-Uhr zu fusionieren, wodurch im Vergleich zu Feedforward-Baselines auf dem JVRC-1-Roboter eine überlegene Trainingsstabilität, Effizienz und Energieeinsparung erreicht wird.

Ursprüngliche Autoren: Yinuo Wang, Yuanyang Qi, Jinzhao Zhou, Pengxiang Meng, Xiaowen Tao

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Yinuo Wang, Yuanyang Qi, Jinzhao Zhou, Pengxiang Meng, Xiaowen Tao

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Einem Roboter das Gehen beibringen, ohne ihn zu „überfordern“

Stellen Sie sich vor, Sie versuchen, einem Roboter das Gehen beizubringen. Der Roboter hat zwei Beine, einen Torso und 12 Gelenke in den Beinen. Um zu gehen, muss er all diese perfekt koordinieren, während er sein Gewicht ausbalanciert, auf den Boden reagiert und einem Pfad folgt.

Normalerweise verwenden wir beim Training von Robotern ein „Gehirn“ (ein neuronales Netzwerk), das die aktuelle Situation betrachtet und entscheidet, was als Nächstes zu tun ist. Das Problem ist, dass viele dieser Gehirne entweder zu einfach sind (sie übersehen wichtige Details) oder zu schwerfällig und langsam (sie verbrauchen zu viel Rechenleistung).

Die Autoren dieser Arbeit haben ein neues Gehirn namens HuMam entwickelt. Das Geheimrezept? Sie haben eine neue Art von KI-Architektur namens Mamba verwendet.

Die Analogie: Der „kluge Dirigent“ vs. das „chaotische Orchester“

Betrachten Sie den Körper des Roboters als ein Orchester mit 12 verschiedenen Instrumenten (den Bein-Gelenken).

Der alte Weg (Baseline): Der Dirigent (die KI) schaut auf die Partitur, aber er vergisst die Noten, die er gerade erst gespielt hat. Er versucht, die nächste Note basierend nur auf dem aktuellen Moment zu erraten. Manchmal bekommt er den Rhythmus nicht hin, das Orchester stolpert und der Roboter fällt um.
Der HuMAM-Weg: Der Dirigent nutzt ein Mamba-System. Dies ist nicht nur ein gewöhnlicher Dirigent; es ist ein Dirigent mit einem perfekten, sofortigen Gedächtnis für den Fluss der Musik. Er muss nicht jedes Mal das ganze Lied von vorne lesen. Er weiß genau, wie die letzte Note mit der nächsten zusammenhängt. Dies ermöglicht es dem Roboter, sich geschmeidig zu bewegen, wie ein Tänzer, anstatt wie ein tollpatschiger Läufer.

Was macht HuMam besonders?

1. Das „leichtgewichtige“ Gehirn (Mamba)

Die Arbeit behauptet, dass dies das erste Mal ist, dass eine Mamba-Architektur zur Steuerung des Gangs eines humanoiden Roboters eingesetzt wurde.

Die Metapher: Stellen Sie sich vor, Sie versuchen, einen schweren Rucksack (ein komplexes KI-Modell) zu tragen, während Sie einen Marathon laufen. Das bremst Sie aus. HuMam verwendet eine „Mamba“-Schicht, die wie ein federleichter, hochtechnologischer Rucksack ist. Er hält alle notwendigen Informationen bereit, wiegt aber fast gar nichts. Das bedeutet, der Roboter kann schneller denken und weniger Batteriestrom verbrauchen.

2. Die „Sechs-Punkte-Bewertungskarte“ (Reward Shaping)

Um den Roboter zu lehren, gibt der Computer ihm Punkte (Belohnungen) für richtig gemachte Dinge. Die Autoren haben eine spezifische „Bewertungskarte“ mit sechs Punkten erstellt:

Nicht stampfen: Halte deine Füße sanft am Boden.
Geschmeidig schwingen: Kicke nicht wild mit den Beinen herum.
Das Ziel treffen: Tritt genau dort auf, wo du geplant hast.
Aufrecht stehen: Halte den Kopf oben und den Rücken gerade.
Die richtige Höhe halten: Beuge dich nicht zu tief und stehe nicht zu hoch.
Nicht wackeln: Halte deinen Oberkörper ruhig.

Der Roboter versucht, die höchstmögliche Punktzahl auf dieser Karte zu erreichen. Da das Mamba-Gehirn so gut darin ist, diese Punkte miteinander zu verknüpfen, lernt der Roboter, alle sechs Ziele gleichzeitig auszubalancieren, ohne eines der anderen zu vernachlässigen.

Die Ergebnisse: Schneller, geschmeidiger und grüner

Die Forscher haben HuMam auf einem virtuellen Roboter namens JVRC-1 in einer Computersimulation getestet. Sie verglichen es mit einem Standard-Robotergehirn (der Baseline), das kein Mamba verwendete. Hier ist das Ergebnis:

Schnelleres Lernen: HuMAM lernte viel schneller zu gehen. Es benötigte 13 % bis 42 % weniger Übungsversuche, um das gleiche Geschickkeitsniveau wie der andere Roboter zu erreichen.
- Analogie: Wenn der alte Roboter 100 Stunden Übung gebraucht hätte, um gut zu werden, brauchte HuMAM nur 60 Stunden.
Mehr Stabilität: Das Lernen des alten Roboters war „zittrig“ – manchmal war er sehr gut, dann wurde er plötzlich wieder schlechter. HuMAM war konsistent.
- Analogie: Der alte Roboter war wie ein Schüler, der an einem Tag eine Eins schreibt und am nächsten Tag durchfällt. HuMam war der Schüler, der jedes Mal eine Eins schreibt.
Energieeffizient: Das ist ein wichtiger Punkt. HuMAM verbrauchte weniger Elektrizität, um die gleiche Strecke zu gehen.
- Analogie: Der alte Robot war wie ein benzinhungriger SUV, der laut aufheult. HuMAM ist wie ein Hybridauto, das lautlos gleitet. Im „Stehen“-Test verbrauchte HuMAM 39 % weniger Energie, nur um aufrecht zu bleiben.
Geschmeidigere Gelenke: Die Gelenke des Roboters (Hüften, Knie, Knöchel) bewegten sich mit weniger ruckartigen Kräften.
- Analogie: Die Gelenke des alten Roboters klangen wie ein rostiges Scharnier; die Gelenke von HuMAM klangen wie eine gut geölte Tür.

Das Fazit

Die Arbeit argumentiert, dass sie durch die Verwendung dieses neuen „Mamba“-Gehirns einen Roboter-Controller geschaffen haben, der:

Leichter ist (verbraucht weniger Computerleistung).
Intelligenter ist (lernt schneller und konsistenter).
Grüner ist (verbraucht weniger Energie).

Sie haben erfolgreich bewiesen, dass man kein massives, schweres Computergehirn braucht, um einen Roboter gut laufen zu lassen. Manchmal ist ein leichtgewichtiges, effizientes „Mamba“-Gehirn alles, was man braucht, um einen Roboter durch den Raum tanzen zu lassen.

Hinweis: Die Arbeit konzentriert sich ausschließlich auf Computersimulationen (virtuelle Roboter). Sie behauptet nicht, dies bereits an einem echten, physischen Roboter getestet zu haben, erwähnt jedoch, dass dies ein Ziel für zukünftige Arbeiten ist.

Technisches Resümee: HuMam – Humanoide Bewegungssteuerung mittels End-to-End Deep Reinforcement Learning mit Mamba

1. Problemstellung

Die humanoide Lokomotion stellt im Vergleich zu quadrupedalen oder radgestützten Systemen einzigartige Herausforderungen dar, primär aufgrund höherer Schwerpunkte, gekoppelter Oberkörper-Unterkörper-Dynamiken und strenger Sicherheitsanforderungen. Während End-to-End Reinforcement Learning (RL) eine kompakte Wahrnehmungs-Aktions-Abbildung bietet, leidet die praktische Implementierung oft unter Trainingsinstabilität, ineffizienter Merkmalsfusion und hohen Aktuationskosten.

Bestehende Ansätze stehen vor spezifischen Einschränkungen:

Feedforward-Backbones nutzen strukturierte Beobachtungsdaten, wie etwa Gangphasen oder orientierte Schrittziele, oft unzureichend aus.
Schwere Sequenzmodelle (z. B. Transformer oder tiefe RNNs) erzwingen ungünstige Rechen-Speicher-Abwägungen, was die Echtzeit-Einsatzfähigkeit an Bord erschwert.
Trainingsdynamiken weisen häufig Instabilitäten, hohe Varianz über verschiedene Seeds hinweg und eine ineffiziente Probennutzung auf, was zu Policys führt, die entweder instabil oder energieineffizient sind.

Die Arbeit adresst das Bedürfnis nach einem Controller, der sowohl vorausschauend (Koordination von Fußplatzierung und Balance) als auch ressourcenbewusst (unter Einhaltung der Rechen- und Aktuationslimits an Bord) agiert, ohne auf eine explizite Akkumulation zeitlicher Historie angewiesen zu sein.

2. Methodik: Das HuMam-Framework

Die Autoren schlagen HuMam vor, ein zustandszentriertes End-to-End RL-Framework, das für das humanoide Gehen entwickelt wurde. Die zentrale Innovation liegt in der Verwendung eines einlagigen Mamba-Encoders als leichtgewichtigen Fusions-Backbone.

2.1. Beobachtungsraum

Der Agent erhält in jedem Zeitschritt einen reichhaltigen Satz an Beobachtungen, der in zwei Kategorien unterteilt ist:

Roboterzentrierte Zustände: Gelenkpositionen und -geschwindigkeiten für 12 aktuierte Beingelenke, Wurzelorientierung (Roll, Pitch) sowie Winkelgeschwindigkeit (Roll, Pitch, Yaw). Der globale Yaw wird ausgeschlossen, da die Schritte relativ zum Root-Frame definiert sind.
Externe Führung: Zwei orientierte Schrittziele ( $T_1, T_2$ ), definiert durch 3D-Position und Ausrichtung, sowie eine kontinuierliche Phasen-Uhr, die den Gangzyklus kodiert ( $\sin, \cos$ ), um Diskontinuitäten zu vermeiden, die mit einer skalaren Phasenkodierung einhergehen.

2.2. Architektur: Einlagiger Mamba-Encoder

Im Gegensatz zu rekurrenten oder auf Attention basierenden Designs, die eine zeitliche Historie akkumulieren, stützt sich HuMam ausschließlich auf den aktuellen Zustand, nutzt jedoch die selektive State-Space-Dynamik von Mamba, um strukturierte Abhängigkeiten zwischen den Eingangsmodalitäten zu erfassen.

Tokenisierung: Roboter- und externe Zustände werden konkateniert und in modalitätsspezifische Embeddings projiziert.
State-Space-Kodierung: Eine einzelne Mamba-Schicht wendet eine gesteuerte State-Space-Dynamik auf diese Tokens an. Diese Formulierung bietet eine konvolutive Sichtweise mit exponentiell abfallenden Kernen, was eine effiziente Merkmalsmischung ermöglicht, ohne eine explizite zeitliche Rekurrenz zu benötigen.
Ausgabe: Die kodierte Repräsentation wird in einen kompakten Merkmalsvektor aggregiert, der von den Policy- und Value-Heads geteilt wird.

2.3. Kontrollhierarchie und Aktionsraum

Aktionsraum: Die High-Level-Policy (laufend mit 40 Hz) gibt die gewünschten Gelenkpositionsziele für die 12 aktuierten Beingelenke aus.
Low-Level-Ausführung: Ein Low-Gain Proportional-Derivative (PD) Controller (laufend mit 1000 Hz) wandelt diese Positionsziele in ausführbare Gelenkmomente um. Diese hierarchische Struktur gewährleistet eine glatte Momentenausführung und hält das Lernproblem gut konditioniert.

2.4. Reward Shaping

Das Framework verwendet eine prägnante sechsgliedrige Belohnungsfunktion, die mittels Proximal Policy Optimization (PPO) optimiert wird, um Stabilität, Genauigkeit und Energieeffizienz in Einklang zu bringen:

Fußkraft ( $R_{force}$ ): Bestraft übermäßige Bodenreaktionskräfte.
Fußgeschwindigkeit ( $R_{vel}$ ): Fördert glatte Bewegungen des Schwungbeins.
Schrittgenauigkeit ( $R_{step}$ ): Belohnt präzise Fußplatzierungen relativ zu den Zielen.
Orientierung ( $R_{orient}$ ): Richtet die Wurzelorientierung an der gewünschten Ausrichtung aus.
Körperhöhe ( $R_{height}$ ): Hält eine nominelle Torsohöhe aufrecht.
Oberkörperstabilität ( $R_{upper}$ ): Minimiert das Schwanken des Oberkörpers.

3. Zentrale Beiträge

Die Arbeit skizziert vier primäre Beiträge:

Erster Mamba-gestützter humanoider RL-Controller: Einführung von Mamba als leichtgewichtiger Fusions-Backbone für die humanoide end-to-end Lokomotion und Demonstration, dass eine einzige Schicht für eine starke Performance in einem zustandszentrierten Setting ausreicht.
Effektivität des Backbones: Zeigt, dass der Mamba-Encoder ein schnelleres Lernen, eine verbesserte Sample-Effizienz und eine reduzierte Varianz über verschiedene Seeds hinweg ermöglicht im Vergleich zu einem identisch trainierten Feedforward-Baseline-Modell.
Energiebewusstes Reward Shaping: Schlägt eine sechsgliedrige Belohnung vor, die Kontaktkräfte, Schwunggeschwindigkeiten, Schrittgenauigkeit und Körperstabilität gemeinsam reguliert und implizit die Energieeffizienz fördert.
Umfassende empirische Validierung: Validierung des Frameworks auf dem JVRC-1 Humanoiden über diverse Aufgaben (Vorwärts-, Rückwärts-, Kurven-, Seitwärtsgehen und Stehen) in der mc-mujoco Umgebung.

4. Experimentelle Ergebnisse

Die Experimente wurden am JVRC-1 Humanoiden (1,72 m, 62 kg) unter Verwendung von mc-mujoco durchgeführt. HuMam wurde unter identischen Trainingsbedingungen gegen eine starke Feedforward-Baseline verglichen.

4.1. Lerneffizienz und Stabilität

Sample-Effizienz: HuMam benötigte 15,8 Mio. Samples, um einen Return von 240 zu erreichen, im Vergleich zu 18,2 Mio. für die Baseline (13,2 % Verbesserung). Bei einem höheren Schwellenwert (Return 260) betrug die Verbesserung 42,5 % (20,2 Mio. vs. 35,0 Mio. Samples).
Stabilität: HuMams reduzierte die Abweichung der Lernkurven über verschiedene Seeds hinweg um 35,4 % und die Varianz in der späten Trainingsphase um 61,0 %, was auf eine zuverlässigere Konvergenz hindeutet.
Performance: Die Spitzenleistung stieg um 5,8 % (269,85 auf 285,50) und der mittlere Return über die letzten 10 % des Trainings verbesserte sich um 5,5 %.

4.2. Reward- und Drehmomentprofile

Reward-Komponenten: HuMam erreichte einen höheren durchschnittlichen Reward pro Schritt (0,737 vs. 0,728), mit deutlichen Verbesserungen bei der Regulierung der Fußkräfte und der Glattheit der Geschwindigkeit.
Drehmomentreduktion: Das Framework reduzierte die durchschnittlichen Gelenkdrehmomentbeträge um 9,6 % und die Spitzenmomente um 9,1 %. Spezifische Gelenke, wie das linke Hüft-Pitch und das rechte Knöchel-Pitch, verzeichneten signifikante Reduktionen (bis zu 40 % im durchschnittlichen Drehmoment beim Knöchel).

4.3. Energieeffizienz

HuMam demonstrierte eine überlegene Energieökonomie bei dynamischen Aufgaben:

Stehen: Reduzierte die durchschnittliche Leistungsaufnahme von 57,48 W auf 35,08 W (39 % Abnahme).
Vorwärtsgehen: Reduzierte den Energieverbrauch von 673 J/m auf 421 J/m.
Seitwärtsgehen: Reduzierte den Energieverbrauch von 1395 J/m auf 963 J/m.
Leistung pro Masse: Konsistent niedrigeres W/kg über alle Aufgaben hinweg, mit einer durchschnittlichen Reduktion von 1,92 W/kg (Baseline) auf 1,38 W/kg (HuMam).

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass HuMam den ersten end-to-end humanoiden RL-Controller darstellt, der Mamba als Fusions-Backbone nutzt. Die Arbeit argumentiert, dass diese Architektur greifbare Gewinne in drei kritischen Bereichen liefert:

Effizienz: Erzielung einer höheren Performance mit weniger Trainingsproben und geringerem Rechenaufwand aufgrund der nahezu linearen Komplexität des einlagigen Mamba-Encoders.
Stabilität: Reduktion der Trainingsvarianz und Erzeugung glatterer, robusterer Gänge über diverse Lokomotionsszenarien hinweg.
Kontrolleffizienz: Generierung von Policies, die weniger Drehmoment und Energie benötigen, was sie besser für den realen Einsatz auf Hardware mit begrenzten Leistungsbudgets geeignet macht.

Die Arbeit schließt mit der Feststellung, dass der Mamba-Backbone ein effektiver Encoder für kompaktes, zustandszentriertes Policy-Learning ist, der die Synthese natürlicher und stabiler humanoider Gehbewegungen ermöglicht, ohne auf eine explizite zeitliche Historie oder schwere Sequenzmodelle angewiesen zu sein. Zukünftige Arbeiten richten sich auf den Hardware-Einsatz, den Sim-to-Real-Transfer und die Integration von Onboard-Wahrnehmung.