💻 Informatik

Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision

Dieses Paper schlägt ein robustes Framework für die bipede Lokomotion vor, das einen modellbasierten Controller mit einer auf Reinforcement Learning basierenden Residualpolicy kombiniert, welche effizient durch überwachtes Lernen von einem privilegierten modellbasierten Oracle trainiert wird, um reale Unsicherheiten zu kompensieren und den Sim-to-Real-Transfer zu verbessern.

Ursprüngliche Autoren: Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee

Veröffentlicht 2026-01-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen bei. Es ist ein wenig so, als würde man einem Kleinkind beibringen, auf einem wackeligen, unebenen Boden zu laufen, während es schwere, steife Stiefel trägt. Sie haben zwei Hauptprobleme:

Das „Perfekte-Welt“-Problem: Wenn Sie den Roboter mit einer perfekten Computersimulation trainieren, wird er in dem Moment umkippen, in dem er auf echten Dreck tritt, denn die reale Welt ist chaotisch, verrauscht und unvorhersehbar.
Das „Versuch-und-Irrtum“-Problem: Wenn Sie versuchen, den Roboter rein durch Versuch und Irrtum zu lehren, indem Sie ihn tausende Male umfallen lassen und hoffen, dass er lernt (eine Methode namens Reinforcement Learning), dauert es ewig, verschwendet Energie und ist gefährlich.

Dieses Paper schlägt eine clevere „Hybrid“-Lösung vor, die das Beste aus beiden Welten kombiniert. Stellen Sie sich das wie ein Dreier-Team vor, das zusammenarbeitet, um dem Roboter das Gehen beizubringen.

Die drei Charaktere der Geschichte

Der erfahrene Coach (Die Basis-Policy):
Dies ist ein traditioneller, mathematikbasierter Controller. Er kennt die Regeln der Physik und hat einen soliden Plan dafür, wie der Roboter gehen sollte. Er ist wie ein strenger Coach, der den perfekten Schritt kennt. Dieser Coach arbeitet jedoch mit einer alten, leicht ungenauen Karte des Roboters. Wenn die Gelenke des Roboters rostig sind oder der Boden rutschig ist, beginnt der Plan des Coaches zu scheitern und der Roboter gerät ins Straucheln.
Der allwissende Orakel (Die Orakel-Policy):
Dies ist ein „Super-Coach“, der nur innerhalb der Computersimulation existiert. Er verfügt über privilegiertes Wissen: Er kennt das exakte Gewicht des Roboters, die exakte Reibung des Bodens und die exakte Geschwindigkeit der Motoren. Er kann die perfekten, idealen Schritte berechnen, die in jeder Situation zu machen sind.

Entscheidender Haken: Der echte Roboter kann diesen Super-Coach nicht sehen. Der Super-Coach ist nur dazu da, dem Schüler beim Lernen zu helfen.

Der Schüler (Die Residuelle RL-Policy):
Dies ist das „Gehirn“, das wir tatsächlich trainieren. Es ist eine intelligente KI, die durch Tun lernt. Seine Aufgabe ist es, sowohl auf den erfahrenen Coach zu hören als auch den allwissenden Orakel zu beobachten.

Wie das Training funktioniert: Die „Shadowing“-Methode

Normalerweise, wenn man einer KI etwas beibringt, sagt man einfach: „Gut gemacht, wenn du nicht fällst, schlecht gemacht, wenn du es tust.“ Das ist so, als würde man versuchen, Autofahren zu lernen, indem man nur nach dem Ereignis gesagt bekommt „Crash“ oder „kein Crash“. Das ist langsam und frustrierend.

Dieses Paper führt einen neuen Weg ein: Überwachtes Reinforcement Learning.

Hier ist die Analogie:
Stellen Sie sich vor, der Schüler versucht, auf einem Seil zu laufen.

Der erfahrene Coach gibt eine grundlegende Anweisung: „Mache einen Schritt nach vorne.“
Der allwissende Orakel sieht eine plötzliche Windböe (eine Unsicherheit der realen Welt) und weiß, dass der Schüler sich leicht nach links lehnen muss, um das Gleichgewicht zu halten.
Der Schüler versucht, dem Coach zu folgen.
Der magische Schritt: Anstatt nur abzuwarten, ob der Schüler fällt, flüstert der Orakel die exakte Korrektur, die der Schüler hätte vornehmen sollen („Lehne dich 5 Grad nach links“).
Der Schüler wird dann bestraft (über eine mathematische Formel), wenn er nicht versucht, diesem Flüstern nachzuahmen.

Indem man den Schüler dazu zwingt, ständig zu versuchen, die perfekten Korrekturen des Orakels zu kopieren, lernt der Schüler viel schneller, als wenn er nur raten müsste, ob er umfällt oder nicht.

Das „Randomisierung“-Gym

Um sicherzustellen, dass der Roboter für die reale Welt bereit ist, findet das Training in einem „Chaos-Gym“ statt.

Der Computer verändert zufällig das Gewicht des Roboters, macht den Boden rutschig, fügt Sensorrauschen hinzu (wie statisches Rauschen im Radio) und verzögert sogar die Signale des Robotergehirns.
Der erfahrene Coach muss in diesem Chaos raten.
Der Orakel weiß genau, was das Chaos ist, und gibt die perfekte Gegenbewegung vor.
Der Schüler lernt, die Lücke zwischen der Vermutung des Coaches und der perfekten Bewegung des Orakels zu schließen.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher testeten dies an drei sehr unterschiedlichen Robotern (einem kleinen, einem mittleren und einem großen). Hier ist, was passierte:

Der erfahrene Coach allein: Als die Umgebung unordentlich wurde, fiel der Roboter sofort um. Er war zu starr.
Der Schüler allein (Standard-KI): Er versuchte, von Grund auf zu lernen, hatte aber Schwierigkeiten. Es dauerte lange und er scheiterte oft, weil die „Belohnung“ für gutes Gehen zu vage war.
Der Schüler + Der Orakel (Diese Methode aus dem Paper): Dieses Team war eine Macht.
- Die Roboter lernten viel schneller zu gehen (in Stunden, nicht in Tagen).
- Sie wurden unglaublich robust. Selbst als die Forscher die Simulation extrem chaotisch gestalteten (Änderung des Gewichts des Roboters oder der Bodenreibung), liefen die Roboter weiter.
- Sie schnitten fast so gut ab wie der „allwissende Orakel“, obwohl der echte Roboter niemals Zugang zu dieser perfekten Information hatte.

Das Fazit

Dieses Paper zeigt, dass man sich nicht zwischen „starrer Mathematik“ und „langsamem Versuch und Irrtum“ entscheiden muss. Indem man einen „Super-Experten“ (den Orakel) nutzt, um eine lernende KI (den Schüler) anzuleiten, während die KI gleichzeitig einem Basiskonzept (dem Coach) zuhört, kann man Roboter effizient und robust gehen lassen, selbst wenn die reale Welt chaotisch und unvorhersehbar ist.

Es ist, als würde man einem Schüler ein Lehrbuch geben (den Coach) und einen Privatlehrer, der die Antworten auf jede Testfrage kennt (den Orakel), um sicherzustellen, dass der Schüler die richtigen Gewohnheiten sofort lernt, ohne jedes Mal scheitern zu müssen.

Technisches Resümee: Effizientes Lernen robuster Drehmoment-basierter Lokomotion durch Reinforcement Learning mit modellbasierter Supervision

Problemstellung

Das Erlernen effektiver Drehmoment-basierter Lokomotions-Policies für bipede Roboter bleibt eine erhebliche Herausforderung. Während die Drehmomentsteuerung reaktionsfähige und nachgiebige Verhaltensweisen ermöglicht, erfordert sie eine präzise Handhabung komplexer, nichtlinearer Dynamiken. Das direkte Erlernen von Policies auf Drehmommentbene ist insbesondere in Anwesenheit von realweltlichen Unsicherheiten wie Kontaktunsicherheit, Sensorrauschen, Aktuatorverzögerungen und unmodellierten Dynamiken (z. B. Gelenkreibung, strukturelle Flexibilitäten) besonders schwierig.

Traditionelle modellbasierte Kontrollmethoden (z. B. DCM-Trajektorienplanung mit Whole-Body Control) verlassen sich auf genaue Systemmodelle. Ihre Leistung sinkt jedoch drastisch, wenn die Diskrepanzen zwischen dem Modell und dem physischen System substanziell werden. Im Gegensatz dazu leiden rein datengetriebene Deep Reinforcement Learning (DRL)-Ansätze, obwohl sie durch Domain Randomization robust gegenüber Modellierungsfehlern sind, oft unter Dateneffizienz, Sensitivität gegenüber dem Reward-Design sowie einem Mangel an Interpretierbarkeit oder Sicherheitsgarantien. Bestehende Hybridstrategien verlassen sich oft ausschließlich auf Reward-Signale, was umfangreiche Trial-and-Error-Iterationen erfordert und nur begrenzte Führung während des Trainings bietet.

Methodik

Die Autoren schlagen ein Kontrollframework vor, das modellbasierte bipede Lokomotion mit Residual Reinforcement Learning (RL) integriert, erweitert durch einen neuartigen modellbasierten Supervisionsmechanismus. Die Architektur besteht aus drei primären Komponenten:

Base Policy ( $\pi_b$ ): Ein modellbasierter Controller, bestehend aus einem Divergent Component of Motion (DCM) Trajektorienplaner und einem auf inverser Dynamik basierenden Whole-Body Controller (WBC). Diese Policy operiert unter einem ungenauen Dynamikmodell und verrauschten Beobachtungen und dient als zuverlässiges, aber unvollkommenes Fundament.
Oracle Policy ( $\pi^*$ ): Ein modellbasierter Controller mit „privilegiertem“ Zugriff auf die exakten Systeminformationen, einschließlich der wahren Roboterdynamik, des rauschfreien Zustands und der Motorenparameter (z. B. Aktuatorverzögerungen, Effizienz). Diese Policy generiert ideale Korrekturmaßnahmen unter randomisierten Bedingungen, wird jedoch nur während des Trainings als Supervisor eingesetzt.
Residual RL Policy ( $\pi_r$ ): Eine lernbare Policy, die mittels Proximal Policy Optimization (PPO) trainiert wird, um residuale Drehmomentbefehle auszugeben, welche die Ungenauigkeiten der Base Policy kompensieren.

Technische Kernkomponenten:

Domain Randomization: Die Trainingsumgebung randomisiert Sensorrauschen, Roboterdynamik (Masse, Reibung, Dämpfung, Motoreffizienz) und Umweltfaktoren (Bodenreibung, Unebenheiten), um die Policy realweltlichen Variationen auszusetzen.
Supervised Reinforcement Learning: Im Gegensatz zu Standard-RL, das primär auf Reward-Shaping basiert, führt dieses Framework einen supervisierten Verlustterm ( $L_{sup}$ $L_{s u p}$ ) ein. Die Residual-Policy wird explizit dazu angeleitet, die Korrekturmaßnahmen der Oracle-Policy nachzuahmen.
- Der Gesamtverlust ist eine gewichtete Summe: $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$ .
- Der supervisierte Verlust ermutigt die Policy, den korrigierenden Drehmoment der Oracle ( $\tau^*_t - \tau^b_t$ ) mit hoher Wahrscheinlichkeit zuzuweisen.
Observation Space: Die Policy nutzt ein rekurrentes neuronales Netz (LSTM), um eine Historie verrauschter Beobachtungen (Gelenkzustände, Base-Policy-Drehmomente, Tracking-Fehler) zu verarbeiten. Das Critic-Netzwerk nutzt zusätzlich privilegierte Beobachtungen (wahrer Zustand, Oracle-Drehmomente) für eine genauere Wertschätzung während des Trainings.

Wichtigste Beiträge

Das Paper skizziert vier primäre Beiträge:

Integriertes Kontroll-Framework: Eine neuartige Architektur, die die strukturierte Zuverlässigkeit modellbasierter Kontrolle mit der Adaptivität von Residual RL kombiniert, um Modellungenauigkeiten zu mildern.
Modellbasierte Oracle Policy: Die Einführung einer Oracle-Policy, die privilegierte Informationen nutzt, um nahezu optimale Kontrollsignale zu generieren und somit als Supervisor für den Lernprozess dient.
Supervised RL Objective: Ein Trainingsframework, das die Oracle-Aktionen in einen supervisierten Verlust integriert, um den Standard-RL-Objektiv zu ergänzen und die Lerneffizienz zu steigern, ohne ausschließlich auf Reward-Shaping angewiesen zu sein.
Plattformübergreifende Validierung: Umfassende Evaluierungen auf drei verschiedenen bipeden Robotern (Kangaroo, Unitree H1-2 und Bruce), die Robustheit und Generalisierung über verschiedene Hardwareplattformen hinweg ohne spezifische Parameterabstimmung demonstrieren.

Ergebnisse

Die Methode wurde auf den Robotern Kangaroo, Unitree H1-2 und Bruce unter extensiver Domain Randomization ( $\beta=1$ ) evaluiert.

Performance vs. Baselines:
- Oracle (O): Erreichte eine Erfolgsquote von 100 % über alle Plattformen hinweg mit minimalen Tracking-Fehlern, was seine Rolle als effektiver Supervisor validiert.
- Base Policy (B): Versagte unter Randomisierung vollständig (0 % Erfolg), was die Sprödigkeit der Standard-Modellbasierten Kontrolle ohne Anpassung verdeutlicht.
- Standard Residual RL (ResRL): Zeigte eine schlechte Performance (0-10 % Erfolg) und hatte Schwierigkeiten, drehmomentbasierte Lokomotion ohne explizite Führung zu erlernen.
- Imitation Learning (IL): Performte gut auf Kangaroo (70-100 % Erfolg), hatte aber Schwierigkeiten auf Bruce (80 % Erfolg), was auf eine Sensitivität gegenüber der Zuverlässigkeit des Oracles in spezifischen dynamischen Regimen hindeutet.
- Vorgeschlagene Methode (BOR - Base + Oracle Residual): Erreichte 100 % Erfolg auf Kangaroo und H1-2 sowie 80 % auf Bruce. Sie übertraf Standard-ResRL und reines IL signifikant und näherte sich der Oracle-Leistung in Bezug auf DCM und Fuß-Tracking an.
Robustheit gegenüber Unsicherheit: Bei Tests mit variierenden Randomisierungsgraden ( $\beta \in [0,1, 0,7]$ ) behielt die vorgeschlagene Methode eine Erfolgsquote von 100 %, während die Standard-Modellbasierte Kontrolle (MBC) mit zunehmender Unsicherheit signifikant versagte.
Trainingseffizienz: Der supervidierte Ansatz konvergierte in nur 1.500 Episoden (ca. 4,16 Stunden Simulation) zu einer Erfolgsquote von über 80 %, während Standard-Residual-RL unter denselben Bedingungen kaum Fortschritte zeigte.
Generalisierung: Das Framework transferierte erfolgreich auf unebenes Terrain und unterschiedliche Robotermorphologien ohne Neukalibrierung, was die Fähigkeit demonstriert, adaptive Verhaltensweisen zu erlernen, die über die einfache Imitation des Oracles hinausgehen.

Bedeutung und Ansprüche

Das Paper behauptet, dass dieser Ansatz effektiv die Lücke zwischen modellbasierter Kontrolle und datengetriebenem RL schließt. Durch die Integration von modellbasierten Priors mit datengetriebener Adaptation bietet die Methode eine skalierbare Lösung für den Sim-to-Real Transfer in der bipeden Lokomotion.

Die Autoren betonen, dass das Framework die Lerneffizienz und Robustheit verbessert, indem es das Oracle nutzt, um die Policy zu korrigierenden Verhaltensweisen zu führen, ohne dass ein extensives Reward-Engineering nötig ist. Sie merken an, dass das Oracle zwar ein starkes Supervisionssignal liefert, die RL-Komponente jedoch entscheidend ist, um Aktionen zu explorieren, die vom Oracle abweichen (z. B. in hochstochastischen Bedingungen oder auf unebenem Gelände, wo die modellbasierte Planung des Oracles suboptimal sein kann). Die Arbeit zeigt, dass Supervised Reinforcement Learning eine effiziente, robuste und transferierbare Lösung für die Drehmoment-basierte Lokomotionssteuerung von humanoiden Robotern darstellt.