🤖 machine learning

LoComposition: Terrain-Adaptive Energy-Efficient Quadruped Locomotion without Gait Priors

LoComposition führt ein lernbasiertes Framework für die Lokomotion von vierbeinigen Robotern ein, das die Aufgabenstellung, operative Grenzwerte, Gangpräferenzen und Geländeanpassung in distinkte Mechanismen entkoppelt und dadurch einen Zero-Shot-Transfer auf physische Roboter ermöglicht, wobei im Vergleich zu herkömmlichen komplexen Belohnungs-Baselines eine signifikant verbesserte Energieeffizienz sowie reduzierte Grenzwertverletzungen erzielt werden.

Ursprüngliche Autoren: Loukas Kordos, Leonard T. Franz, Simon Rappenecker, Oliver Hausdoerfer, Angela P. Schoellig, Pavel Kolev, Georg Martius

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Loukas Kordos, Leonard T. Franz, Simon Rappenecker, Oliver Hausdoerfer, Angela P. Schoellig, Pavel Kolev, Georg Martius

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem vierbeinigen Roboterhund bei, durch einen felsigen, unebenen Wald zu rennen. Lange Zeit versuchten Ingenieure dies zu lehren, indem sie dem Roboter eine massive, komplizierte Liste von Regeln gaben: „Hebe deinen linken Fuß genau 5 Zoll hoch“, „Halte deine Beine für 0,3 Sekunden in der Luft“, „Berühre den Boden nicht zu hart“ und „Renne wie ein Pferd“. Das ist so, als würde man versuchen, einem Menschen das Tanzen beizubringen, indem man ihn zwingt, jeden einzelnen Schritt zu zählen und seine Arme in einer ganz bestimmten Form zu halten. Es funktioniert, aber es ist starr, energieraubend, und wenn sich der Boden verändert, wird der Roboter verwirrt.

Das Paper „LoComposition“ schlägt einen klügeren, natürlicheren Weg vor, um den Roboter zu lehren. Anstatt dem Roboter mikromanagend vorzuschreiben, wie er sich bewegen soll, lehrt man ihn, was er tun soll, und lässt den Roboter selbst herausfinden, wie er es am besten macht.

Hier ist die Erklärung, wie sie es gemacht haben, unterteilt in einfache Konzepte:

1. Der alte Weg: Der „strenge Choreograf“

Frühere Methoden verwendeten eine einzige, komplexe „Bewertungskarte“ (Reward Function), die versuchte, alles gleichzeitig zu kontrollieren. Sie sagte dem Roboter genau, wie er seine Beine bewegen sollte (Gait Priors), wie er sicher bleiben sollte und wie er Befehlen folgen sollte.

Das Problem: Es war wie ein strenger Choreograf, der den Tänzer nicht improvisieren lässt. Wenn sich das Gelände änderte, versuchte der Roboter weiterhin, den starren Schritten zu folgen, was Energie verschwendete und manchmal seine eigenen Gelenke beschädigte, weil er zu sehr versuchte, ein quadratisches Loch in eine runde Form zu pressen.

2. Der neue Weg: Der „kluge Coach“ (LoComposition)

Die Autoren unterteilten den Lernprozess in vier verschiedene Rollen, ähnlich wie bei einem Sportteam, in dem jeder eine spezifische Aufgabe hat:

Der Zielsetzer (Task Specification): Dieser Teil sagt einfach nur: „Geh in diese Richtung mit dieser Geschwindigkeit.“ Es ist ihm egal, wie du dorthin kommst, Hauptsache, du kommst an.
Der Sicherheitswächter (Operational Limits): Er fungiert wie ein Türsteher in einem Club. Er sagt dem Roboter nicht, wie er tanzen soll; er sagt nur: „Wenn du dein Knie zu stark verdrehst oder dich zu schnell drehst, bist du raus.“ Er setzt harte Grenzen, um den Roboter vor Selbstbeschädigung zu schützen.
Der Budgetmanager (Energy Minimization): Dies ist das Geheimrezept. Anstatt zu sagen „Trotte wie ein Pferd“, sagt der Coach: „Versuche, so wenig Batterie wie möglich zu verbrauchen.“ Der Roboter ist intelligent; er erkennt schnell, dass eine bestimmte Art des Laufens (ein „Trab“) weniger Energie verbraucht als ein springender Galopp. So wählt er ganz natürlich den effizienten Trab aus, ohne dass man es ihm explizit sagen muss.
Die Augen (Perception): Dies sind die LiDAR-Augen (Laseraugen) des Roboters, die den Boden vor ihm scannen. Sie sagen dem Roboter: „Hey, da kommt ein Stein auf dich zu.“ Dies ermöglicht es dem Roboter, nur dann etwas mehr Energie aufzuwenden, wenn er wirklich über einen Stein steigen muss, und Energie zu sparen, wenn der Pfad flach ist.

3. Die Ergebnisse: Ein natürlicher, effizienter Läufer

Als sie diese neue Methode an einem echten Roboter (dem Unitree Go2) testeten, waren die Ergebnisse beeindruckend:

Keine „Gymnastik“ erforderlich: Sie entfernten alle Regeln darüber, wie hoch die Beine zu heben oder wie lange sie in der Luft zu bleiben haben. Der Roboter fand selbst heraus, wie er sich am besten bewegt.
Massive Energieeinsparungen: Der Roboter verbrauchte 56 % weniger Energie für die Bewegung im Vergleich zu den alten, regelbasierten Methoden. Es war wie der Wechsel von einem benzinbetriebenen Lkw zu einem Hybridauto.
Weniger Brüche: Der Roboter überschritt seine „Sicherheitsgrenzen“ (wie das zu starke Verdrehen eines Gelenks) 96 % seltener. Der „Sicherheitswächter“ hielt ihn aus der Schusslinie.
Zero-Shot Transfer: Das ist der „magische Trick“. Sie trainierten den Roboter in einer Computersimulation, und als sie ihn auf einen echten Roboter mit echten Steinen setzten, funktionierte es sofort. Sie mussten ihn nicht neu trainieren oder die Einstellungen anpassen. Es funktionierte einfach.

Die große Analogie

Denken Sie an die alte Methode als das Beibringen des Gehens an ein Kind durch ein Skript: „Schritt links, Fuß 2 Zoll heben, 1 Sekunde warten, Schritt rechts“. Wenn das Kind über einen Kiesel stolpert, erstarrt es, weil das Skript nicht sagte, was zu tun ist.

Die LoComposition-Methode ist wie das Beibringen des Gehens an ein Kind durch die Anweisung: „Geh zum Baum“, „Verletze deine Knie nicht“, „Versuche, nicht müde zu werden“ und „Schau, wohin du gehst“. Das Kind findet ganz natürlich den effizientesten Weg zu gehen, springt über den Kiesel, wenn es ihn sieht, und hält seine Knie sicher, und das alles ohne ein Skript.

Kurz gesagt: Das Paper beweist, dass man einem Roboter keine spezifischen Gehstile (Gaits) fest programmieren muss. Wenn man ihm ein klares Ziel, Sicherheitsgrenzen, einen Grund zur Energieeinsparung und Augen gibt, um den Boden zu sehen, wird er ganz natürlich lernen, effizient und sicher auf unebenem Gelände zu laufen.

Technisches Resümee: LoComposition

Problemstellung

Das lernbasierte Fortbewegungssystem für vierbeinige Roboter hat beim Sim-to-Real-Transfer und der Fortbewegung in unebenem Gelände erhebliche Erfolge erzielt. Standardansätze verlassen sich jedoch typischerweise auf eine einzige, komplexe Belohnungsfunktion, die konzeptionell unterschiedliche Ziele miteinander verwebt: Aufgabenspezifikation (Geschwindigkeitsverfolgung), operative Grenzen (Aktuatorsicherheit), Gangpräferenzen (z. B. spezifische Kontaktzeiten oder Flugzeiten) und Geländeanpassung.

Die Autoren argumentieren, dass die Kodierung dieser unterschiedlichen Funktionen in eine einzige, gewichtet-komplexe Belohnungsformulierung zu suboptimalen Lernergebnissen führt. Insbesondere explizite Gangstil-Priors (wie gewünschte Flugzeit, Kontaktanzahl oder Zielwerte für die Fußfreiheit) wirken als technische Abkürzungen, die das gelernte Bewegungsmuster in Richtung spezifischer Muster verzerren, was potenziell die Entstehung effizienterer Gänge verhindert und den Prozess des Reward-Engineerings erschwert.

Methodik: LoComposition

Das Paper schlägt LoComposition vor, eine Lernformulierung, die die Fortbewegung in vier distinkte Mechanismen zerlegt, von denen jeder durch eine spezifische methodische Komponente statt durch eine monolithische Belohnung gehandhabt wird. Die Autoren bezeichnen ihre Kernkomponenten als LEP (Limits, Energy, Perception).

Aufgabenspezifikation (Geschwindigkeitsverfolgung):
Die Aufgabe wird strikt als Verfolgung der vom Operator spezifizierten planaren und Yaw-Geschwindigkeiten ( $v_{cmd}$ ) definiert. Dies wird über eine Standard-Belohnungsfunktion ( $r_{track}$ ) gehandelt, die die Ausrichtung an den Geschwindigkeitszielen mittels Gauß-Kerneln fördert.
Operative Grenzen (Constraints):
Anstatt Hardware-Grenzen (Drehmoment, Gelenkgeschwindigkeit, Beschleunigung usw.) innerhalb der Belohnung zu bestrafen, verwenden die Autoren Constraints-as-Terminations (CaT).
- Verstöße gegen skalare Limits ( $q_i \leq q_{max}$ ) werden einer stochastischen Terminierungswahrscheinlichkeit ( $\delta_t$ ) zugeordnet.
- Wird ein Limit verletzt, wird der Rollout mit einer Wahrscheinlichkeit terminiert, die proportional zur Größenordnung des Verstoßes ist.
- Dies skaliert die Belohnung pro Schritt und reduziert den Fortsetzungsfaktor, was ein sicheres Verhalten effektiv bestraft, ohne eine dichte Reward-Shaping für jedes einzelne Limit zu erfordern.
- Entscheidend ist, dass Constraints nur für physische/operative Limits reserviert sind, nicht für den Gangstil.
Gangpräferenz (Energieminimierung):
Anstatt einen spezifischen Gang (z. B. Trab oder Sprunglauf) über Belohnungsterme vorzuschreiben, minimiert die Formulierung den mechanischen Energieverbrauch.
- Ein Strafterm ( $\ell_{Power}$ ) wird der Belohnung hinzugefügt, der proportional zur Summe der absoluten mechanischen Leistung ( $\sum |\tau_j \dot{q}_j|$ ) über alle Gelenke ist.
- Dieser Term fungiert als Präferenzsignal unter den machbaren Bewegungen und fördert die Entstehung von Bewegungen mit geringem Transportkosten-Verhältnis (Cost of Transport, COT), ohne Fußfallmuster explizit zu definieren.
Geländeanpassung (Exterozeptive Wahrnehmung):
Um eine prädiktive Energieminimierung auf unebenem Gelände zu ermöglichen, erhält die Policy exterozeptive Beobachtungen.
- Der Input umfasst eine körperzentrierte $13 \times 11$ Gelände-Höhenkarte (8 cm Auflösung), die aus LiDAR abgeleitet wurde.
- Dies ermöglicht es der Policy, Energie selektiv nur dann aufzuwenden (z. B. Erhöhung der Fußfreiheit), wenn das Gelände dies erfordert, wodurch der Konflikt zwischen Energieeffizienz und Hindernisüberwindung gelöst wird.

Trainings-Setup: Die Policies werden mittels Proximal Policy Optimization (PPO) in Isaac Lab auf dem Unitree Go2 Roboter trainiert. Das Trainings-Curriculum umfasst prozedural generiertes unebenes Gelände, Treppen und Hänge.

Zentrale Beiträge

Zerlegung der Fortbewegung: Das Paper präsentiert eine Formulierung, die Aufgabenverfolgung, Energieminimierung, operative Grenzen und Wahrnehmung in distinkte Mechanismen trennt und somit die Notwendigkeit einer komplexen, einzelnen Belohnungsfunktion eliminiert.
Emergent Gange ohne Priors: Die Autoren zeigen, dass explizite Gang-Priors (Flugzeit, Kontaktanzahl, Fußfreiheit) unnötig sind. Eine effiziente, geländeadaptive Fortbewegung entsteht natürlich, wenn das Lernproblem wie vorgeschlagen zerlegt wird.
Zero-Shot Sim-to-Real Transfer: Die resultierenden Policies übertragen Zero-Shot auf einen physischen Unitree Go2 unter Verwendung einer LiDAR-basierten Höhenkartierung, ohne Retraining oder privilegierte Terrain-Informationen.

Experimentelle Ergebnisse und Ablationen

Die Autoren validieren ihren Ansatz durch Ablationsstudien, die ihre Formulierung (LEP) mit einer Baseline vergleichen, welche eine komplexe Belohnungsfunktion (RP) nutzt, sowie durch das Entfernen verschiedener Komponenten.

Effizienz: Im Vergleich zur komplexen Belohnungs-Baseline (RP) reduziert LoComposition (LEP) die Transportkosten (COT) um 56 % und die Verstöße gegen operative Limits um 96 %.
Ablation der Gang-Priors (H1): Das Entfernen von Gang-Prior-Constraints (Vergleich LEP vs. LCEP/LCP) zeigt, dass die Kodierung von Priors als Constraints die Geländegängigkeit beeinträchtigt und die Entstehung des effizientesten Gangs (Trab) verhindert.
Rolle der Energieminimierung (H2): Das Entfernen der Energieminimierung (LP) führt zu einer Policy, die zwar Gelände durchquert, sich aber auf einen energetisch kostspieligen "Sprunglauf"-Gang (Bounding) festlegt. Das Hinzufügen der Energieminimierung verschiebt das Verhalten zu einem Muster mit niedrigerem COT (Trab), ohne diesen explizit vorzuschreiben.
Rolle der Wahrnehmung (H3): Das Entfernen der Wahrnehmung (LE) führt zu einer Policy, die den Energieverbrauch nicht an die Geländeschwierigkeit anpassen kann, was zu schlechterer Geländegängigkeit führt. Die Wahrnehmung erlaubt es dem Roboter, auf flachem Boden eine geringe Fußfreiheit beizubehalten und diese bei Hindernissen selektiv zu erhöhen.
Notwendigkeit von Constraints (H4): Das Entfernen der Constraints für operative Limits (EP) erlaubt es der Policy, Simulator-Ungenauigkeiten auszunutzen, was zu schweren Verstößen gegen Hardware-Limits führt (53,4 % Verletzungsrate vs. 0,5 % für LEP) und die Policy unbrauchbar für den Einsatz macht.
Real-World-Performance: In Zero-Shot-Hardware-Tests durchquert LEP erfolgreich komplexe Hindernissequenzen (Rampen, Plattformen), bei denen die Variante ohne Energieminimierung (LP) scheitert oder Limits verletzt. LEP erreicht eine Verbesserung der Energieeffizienz auf Hardware um 56 % im Vergleich zur Baseline.

Bedeutung und Ansprüche

Das Paper behauptet, dass explizite Gangstil-Priors für die Fortbewegung eines vierbeinigen Roboters in unebenem Gelände nicht notwendig sind. Durch die Trennung von operativen Limits (gehandhabt via Constraints) und Gangpräferenzen (gehandhabt via Energieminimierung) ermöglicht das System die Entstehung effizienter, natürlicher Gänge.

Die Autoren positionieren dies als einen Wechsel des Formulierungsprinzips: Das Lernen der Fortbewegung sollte um die Anforderungen und Präferenzen organisiert werden, die der Roboter in Einklang bringen muss (Sicherheit, Aufgabe, Effizienz, Wahrnehmung), anstatt um das spezifische Gangmuster, dem er folgen soll. Dieser Ansatz liefert robuste, energieeffiziente und einsatzfähige Policies, die komplexe Belohnungs-Baselines sowohl in der Simulation als auch im realen Einsatz übertreffen.

Limitierungen: Die Autoren merken an, dass ihre Ergebnisse spezifisch für den Unitree Go2 und die getesteten Geländeverteilungen sind. Sie behaupten nicht, dass dies die einzige mögliche Zerlegung ist, und sie behandeln weder Verbesserungen der Stichprobeneffizienz durch Off-Policy-Methoden noch formale Laufzeit-Sicherheitsgarantien über den verwendeten stochastischen Terminierungsansatz hinaus.