💻 Informatik

GPO: Growing Policy Optimization for Legged Robot Locomotion and Whole-Body Control

Das Papier stellt Growing Policy Optimization (GPO) vor, ein Trainingsframework, das einen zeitvariablen Aktionsraum progressiv erweitert, um Explorationsherausforderungen bei der drehmomentbasierten Steuerung von Laufrobotern zu bewältigen und so stabiles Lernen sowie eine überlegene Zero-Shot-Hardware-Deployment-Leistung zu gewährleisten.

Ursprüngliche Autoren: Shuhao Liao, Peizhuo Li, Xinrong Yang, Linnan Chang, Zhaoxin Fan, Qing Wang, Lei Shi, Yuhong Cao, Wenjun Wu, Guillaume Sartoretti

Veröffentlicht 2026-01-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuhao Liao, Peizhuo Li, Xinrong Yang, Linnan Chang, Zhaoxin Fan, Qing Wang, Lei Shi, Yuhong Cao, Wenjun Wu, Guillaume Sartoretti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboterhund oder einem Roboterinsekt das Gehen beizubringen. Sie möchten, dass es von selbst lernt, durch Versuch und Irrtum, mithilfe einer Methode namens „Reinforcement Learning“ (Bestärkendes Lernen). Das ist so, als würde man ein Kind beim Fahrradfahren lernen, indem man es einfach aufsteigen und es ausprobieren lässt, anstatt ihm ein Handbuch zu geben.

Es gibt jedoch ein großes Problem: Wenn Sie den Roboter von Anfang an alles ausprobieren lassen, wird er seine Beine wild umherwirbeln, umfallen und niemals lernen, wie er sich vorwärts bewegt. Es ist, als würde man einem Anfänger einen Ferrari geben und ihm sagen, er solle sofort mit Höchstgeschwindigkeit fahren; er wird abstürzen, bevor er überhaupt lernt, wie man lenkt.

Dieses Paper stellt eine neue Trainingsmethode namens GPO (Growing Policy Optimization) vor, um dieses Problem zu lösen. So funktioniert sie, einfach erklärt:

Die Kernidee: „Stützräder, die mitwachsen“

Betrachten Sie die Bewegungen des Roboters als einen Bereich von Möglichkeiten.

Der alte Weg (Standard PPO): Stellen Sie sich vor, Sie setzen den Roboter auf ein riesiges, offenes Feld und sagen: „Los!“ Der Roboter versucht gleichzeitig zu rennen, zu springen und sich zu drehen. Weil der Raum so riesig ist, wird der Roboter verwirrt, macht große Fehler und lernt sehr langsam.
Der GPO-Weg: Stellen Sie sich vor, Sie beginnen mit dem Roboter in einem kleinen, eingezäunten Garten. Der Zaun repräsentiert eine Grenze für die Intensität, mit der der Roboter seine Motoren antreiben kann.
1. Frühe Phase: Der Zaun ist klein. Der Roboter kann nur kleine, sanfte Schritte machen. Dies zwingt ihn dazu, Gleichgewicht und grundlegende Koordination zu lernen, ohne das Risiko einzugehen, wild umherzufuchteln. Er lernt die „Grundlagen“ schnell, weil der Spielplatz überschaubar ist.
2. Wachstumsphase: Während der Roboter besser wird, erweitert sich der Zaun langsam. Es ist, als würden die Stützräder langsam abmontiert. Dem Roboter ist es nun erlaubt, größere Schritte zu machen und stärker zu drücken.
3. Endphase: Schließlich verschwindet der Zaun vollständig. Der Roboter kann nun mit voller Geschwindigkeit laufen und schwieriges Gelände bewältigen, aber er hat die Grundlagen bereits gemeistert.

Warum das wichtig ist

Die Autoren argumentieren, dass der Roboter durch das Prinzip „klein anfangen und wachsen“ schneller und stabiler lernt.

Weniger Rauschen: Wenn der Roboter auf kleine Bewegungen beschränkt ist, ist das „Rauschen“ (die zufälligen Fehler) in seinem Lernen geringer. Es ist einfacher, ein Flüstern in einem ruhigen Raum zu hören als in einem Rockkonzert.
Besseres Endergebnis: Da er die Grundlagen im „kleinen Garten“ so gut gelernt hat, endet er insgesamt als ein besserer Läufer als Roboter, die sofort in das „große Feld“ geworfen wurden.

Die Mathematik (vereinfacht)

Das Paper beweist, dass dieser „wachsende Zaun“-Trick die Mathematik hinter dem Lernen nicht bricht. Es ist, als würde man die Größe der Karte ändern, auf die man schaut, aber der Kompass (der Lernalgorithie) zeigt immer noch korrekt nach Norden. Sie haben gezeigt, dass der Roboter durch die sich ändernden Grenzen nicht verwirrt wird; er wird lediglich besser darin, sich darin zurechtzufinden.

Die Experimente: Echte Roboter

Das Team testete dies an zwei Arten von Robotern:

Ein Quadruped (vierbeiniger Roboter): Wie ein Hund.
Ein Hexapod (sechsbeiniger Roboter): Wie eine große Insektenart.

Sie trainierten diese Roboter in einer Computersimulation mittels Drehmomentsteuerung (dem exakten Befehl, wie viel Kraft die Motoren aufwenden sollen, was viel schwieriger ist, als nur die Position vorzugeben).

Die Ergebnisse:

In der Simulation: Die GPO-Roboter lernten schneller zu laufen und verfolgten Befehle (wie „laufe mit 1 Meter pro Sekunde vorwärts“) viel präziser als die Standardmethode. Die Standardmethode scheiterte oft daran, geradeaus zu laufen oder hielt den Körper des Roboters zu niedrig.
In der realen Welt: Sie nahmen das „Gehirn“ des im Computer trainierten Roboters und übertrugen es auf einen echten Roboter (einen Unitree Go2).
- Zero-Shot Transfer: Das bedeutet, der Roboter wurde nie auf dem echten Boden trainiert; er lernte ausschließlich im Computer. Dennoch konnte er auf echtem Boden perfekt laufen.
- Störungstests: Sie stießen den Roboter, warfen einen Basketball auf ihn und ließen ihn sogar auf schlammigen, rutschigen Hügeln laufen. Der GPO-Roboter konnte sein Gleichgewicht sofort wiederherstellen, während die mit der alten Methode trainierten Roboter oft umkippten oder kämpften.

Das Fazit

Das Paper behauptet, dass GPO ein allgemeines Werkzeug ist, das das Beibringen des Gehens an Roboter einfacher und effektiver macht. Indem man mit strengen Grenzen beginnt und diese dann langsam lockert, hilft man dem Roboter, einen stabilen Pfad zum Erlernen komplexer Fähigkeiten zu finden, egal ob er vier oder sechs Beine hat. Es ist ein „Grow Your Own“-Ansatz für Roboterintelligenz.

Technisches Resümee: Growing Policy Optimization (GPO) für die Lokomotion von Laufrobotern

1. Problemstellung

Das Training von Reinforcement Learning (RL)-Policies für Laufroboter, insbesondere unter Drehmomentsteuerung (Torque-based Control), steht vor erheblichen Herausforderungen aufgrund hochdimensionaler kontinuierlicher Aktionsräume, strenger Hardware-Beschränkungen und der Schwierigkeit der Exploration. Während bestehende Methoden, die auf positionsbasierter Steuerung beruhen, oft durch umgebungsspezifische Heuristiken (z. B. Reward Shaping, Curriculum Learning und manuelle Initialisierung) erfolgreich sind, haben sie bei der Drehmomentsteuerung Schwierigkeiten. Bei der Drehmomentsteuerung werden Aktionen direkt auf Gelenkdrehmomente abgebildet, was eine starke Kopplung und strenge Stabilitätsanforderungen erzeugt.

Das identifizierte Kernproblem ist, dass Standard-Policy-Gradienten-Methoden wie Proximal Policy Optimization (PPO) implizit einen festen Aktionsraum während des gesamten Trainings voraussetzen. Dieses Design zwingt die Policy dazu, den vollen, hochvarianten Aktionsraum von Beginn an zu explorieren. Infolgedessen leidet das Training in der frühen Phase unter:

Hoher Gradientenvarianz und instabilen Optimierungslandschaften.
Schwierigkeiten beim Erlernen zuverlässiger, niederamplitudiger Steuerungsverhalten, bevor die Konvergenz zu einer optimalen Policy erreicht wird.
Ineffizienter Datensammlung aufgrund des Risikos, den Roboter während der Exploration zu destabilisieren.

Gängige Engineering-Praktiken beschränken die Aktionslimits in der frühen Trainingsphase manuell und lockern diese später wieder, aber es gibt keinen prinzipisierten Rahmen, der die Evolution des Aktionsraums als integralen Bestandteil des Lernalgorithmus behandelt, noch gibt es eine klare theoretische Analyse seiner Auswirkungen auf die Optimierungseigenschaften.

2. Methodik: Growing Policy Optimization (GPO)

Die Autoren schlagen die Growing Policy Optimization (GPO) vor, ein Framework, das eine zeitvariante Aktions-Transformation anwendet, um den effektiven Aktionsraum in den frühen Stadien des Trainings einzuschränken und ihn progressiv zu erweitern.

Kernmechanismus

GPO führt eine glatte, zeitabhängige Transformation ein, die die latente Aktionsausgabe ( $a$ ) einer Policy auf eine ausführbare Aktion ( $\tilde{a}$ ) abbildet:
$\tilde{a} = \beta_t \tanh\left(\frac{a}{\beta_t}\right)$
Hierbei ist $\beta_t = a_{limit} f(t)$ eine monoton steigende Wachstumsfunktion des Trainingsschritts $t$ , wobei $\lim_{t \to \infty} f(t) = 1$ .

Frühe Phase: $\beta_t$ ist klein, was den effektiven Aktionsraum einschränkt. Die Transformation operiert in einem nahezu linearen Regime für kleine Aktionen, was es dem Agenten ermöglicht, stabile, niederamplitudige Verhaltensweisen mit reduziertem Gradientenrauschen zu erlernen.
Späte Phase: Wenn $\beta_t$ steigt, erweitert sich der effektive Aktionsraum, wodurch eine größere Steuerungsautorität freigeschaltet wird und eine breitere Exploration ermöglicht wird, um höhere erwartete Erträge (Returns) zu erzielen.
Sättigung: Für Aktionen mit großen Beträgen sättigt die Ausgabe glatt am Hardware-Limit ( $\pm a_{limit}$ ), was funktional äquivalent zum harten Clipping ist, aber die Differenzierbarkeit bewahrt.

Theoretische Garantien

Die Arbeit liefert eine theoretische Analyse, die beweist, dass GPO die Stabilität von Standard-PPO beibält und gleichzeitig die Optimierungsdynamik verbessert:

Update-Äquivalenz: Das Importance-Sampling-Verhältnis unter GPO ist strukturell identisch mit PPO ( $r^{GPO}_t = r^{PPO}_t$ ), was bedeutet, dass das gekippte Surrogate-Ziel unverändert bleibt, abgesehen von einer Änderung der Variablen.
Begrenzte Gradientenverzerrung: Die Differenz zwischen GPO-Gradienten und Standard-PPO-Gradienten ist beschränkt und nimmt monoton ab, wenn $\beta_t$ steigt. Dies stellt sicher, dass die Transformation nur eine verschwindende Gradientenverzerrung einführt.
Optimierungsdynamik:
- Frühe Phase: Durch die Einschränkung des Aktionsraums reduziert GPO die Varianz des Policy-Gradienten-Schätzers (welcher quadratisch mit $\beta_t$ skaliert). Dies erhöht das Signal-Rausch-Verhältnis (SNR), was zu einer schnelleren lokalen Konvergenz und einer engeren unteren Schranke des erwarteten Ertrags in der frühen Phase führt.
- Späte Phase: Die graduelle Erweiterung stellt sicher, dass der stationäre Parameterfehler nicht schlechter als (und potenziell besser als) ein Baseline-Verfahren mit festem Bereich ist, was eine verbesserte asymptotische Performance ermöglicht.

3. Wichtigste Beiträge

Neuartiges Framework: Einführung von GPO, das die Evolution des effektiven Aktionsraums explizit als Komponente des RL-Algorithmus modelliert, statt als statische Engineering-Heuristik.
Theoretische Analyse: Beweis, dass die zeitvariante Transformation die Update-Struktur von PPO bewahrt und nur eine begrenzte, verschwindende Gradientenverzerrung einführt, was ein stabiles Training gewährleistet.
Leistungssteigerungen: Demonstration, dass GPO im Vergleich zu Baselines mit festem Aktionsraum eine schnellere Konvergenz in der frühen Phase und höhere asymptotische Erträge erreicht, insbesondere im anspruchsvollen Bereich der Drehmomentsteuerung.
Generalisierbarkeit: Validierung des Frameworks über verschiedene Roboter-Morphologien (Quadruped und Hexapod) und Kontrollaufgaben (Lokomotion und Whole-Body-Control) hinweg, ohne dass auf aufgabenspezifisches Reward Shaping oder Gait-Priors zurückgegriffen werden muss.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GPO an Quadruped- und Hexapod-Robotern sowohl in der Simulation als auch im realen Hardware-Einsatz.

Simulationsergebnisse

Wachstumsfunktionen: Vergleiche zwischen keinem Wachstum (PPO), linearer, Sigmoid- und Gompertz-Wachstumsfunktion zeigten, dass die Gompertz-Funktion (langsames anfängliches Wachstum gefolgt von beschleunigter Expansion) die beste Leistung erbrachte. Sie lieferte die schnellste Verbesserung des Rewards und das stabilste Lernen.
Tracking-Performance: Mit GPO trainierte Policies zeigten signifikant geringere Tracking-Fehler für Geschwindigkeits- und Körperpose-Befehle im Vergleich zu PPO. Beispielsweise scheiterte PPO effektiv beim Tracking von Geschwindigkeiten in x-Richtung, während GPO eine enge Einhaltung beibehielt.
Emergenz von Gangmustern (Gait Emergence): GPO-Policies zeigten periodischere und koordiniertere Gelenkdrehmomente und -geschwindigkeiten. Im Gegensatz dazu führten PPO-Policies oft zu erratischen Verhaltensweisen und einer degenerierten Unterstützungslokalisierung (z. B. übermäßige Abhängigkeit von bestimmten Beinen), während GPO strukturierte Koordinationsmuster ohne explizite Gait-Priors ermöglichte.

Hardware-Validierung

Zero-Shot Sim-to-Real: In der Simulation trainierte Policies wurden ohne Feinabstimmung auf einem Unitree Go2 Quadruped eingesetzt.
Robustheit: GPO übertraf die Baselines (einschließlich Drehmoment-PPO und DeCAP-Varianten) in Aufgaben zur Störungsabwehr, einschließlich seitlicher Stöße, vertikaler Stöße und der Fortbewegung über herausfordernde Terrains (schlammige Aufstiege, rutschige Abstiege).
Erholung: Unter externen Störungen (z. B. menschliches Anheben der Beine, Ablegen von Gewichten) konnten die GPO-gestützten Roboter das Gleichgewicht glatt wiederherstellen, ohne unnötige Schrittbewegungen auszulösen, was eine überlegene Closed-Loop-Stabilität demonstriert.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass GPO ein generelles, umgebungsagnostisches Optimierungsframework für das Erlernen der Lauflokomotion bietet. Seine Bedeutung liegt im Paradigmenwechsel: Weg von der Modifikation der Trainings-Pipeline (via Rewards oder Curricula) hin zur Modifikation des zugrunde liegenden Optimierungsmechanismus selbst.

Indem es die Evolution des Aktionsraums als einen lernbaren, zeitvariablen Prozess behandelt, adressiert GPO den grundlegenden Trade-off zwischen Exploration und Stabilität in hochdimensionaler kontinuierlicher Steuerung. Die Autoren behaupten, dass dieser Ansatz Folgendes ermöglicht:

Stabile frühe Optimierung: Erlernen zuverlässiger, niederamplitudiger Steuerung, bevor komplexe Dynamiken angegangen werden.
Verbesserte asymptotische Performance: Erreichen höherer erwarteter Erträge durch die progressive Freigabe des vollen Aktionsraums.
Robuste Sim-to-Real-Übertragung: Ermöglicht den Einsatz von Drehmoment-basierten Policies auf echter Hardware ohne die Notwendigkeit eines umfangreichen manuellen Tunings oder fester Gang-Priors.

Die Arbeit legt nahe, dass das Management des "effektiven" Aktionsraums ein kritischer, jedoch bisher wenig erforschter Hebel zur Verbesserung von Embodied RL in kontaktreichen, unsicheren Umgebungen ist.