💻 computer science

Sampling Strategies for Robust Universal Quadrupedal Locomotion Policies

Diese Arbeit untersucht und vergleicht verschiedene Strategien zur gemeinsamen Gewinn-Sampling (Joint Gain Sampling), einschließlich leistungsbasierter Filterung und gleichmäßiger Randomisierung, um eine einzige robuste Reinforcement-Learning-Policy für universelle quadrupedale Lokomotion zu trainieren, die die Sim-to-Real-Lücke durch den Zero-Shot-Einsatz auf dem ANYmal-Roboter erfolgreich überbrückt.

Ursprüngliche Autoren: David Rytz, Kim Tien Ly, Ioannis Havoutis

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: David Rytz, Kim Tien Ly, Ioannis Havoutis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Hund das Laufen beizubringen. Wenn Sie nur einen winzigen Chihuahua trainieren, wird er nicht wissen, wie man wie ein Great Dane läuft. Wenn Sie nur einen Great Dane trainieren, könnte er über seine eigenen Pfoten stolpern, wenn man ihn plötzlich schrumpfen würde.

In dieser Arbeit geht es darum, einem Computergehirn (einer KI) beizubringen, vierbeinige Roboter aller Formen und Größen zu steuern, ohne das Gehirn jedes Mal neu trainieren zu müssen, wenn man den Roboter austauscht.

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung einfacher Analogien:

Das Problem: Die „Einheitsgröße passt niemandem“-Falle

Die meisten Roboter-Controller sind wie maßgeschneiderte Anzüge. Wenn Sie einen Controller für einen spezifischen Roboter entwerfen (sagen wir, einen 12 kg schweren Roboter), funktioniert er großartig. Aber wenn Sie versuchen, diesen „Anzug“ einem schwereren Roboter (wie einem 50 kg schweren Roboter) anzuziehen, bricht er zusammen.

Um dies zu beheben, verwenden Wissenschaftler normalerweise Reinforcement Learning (RL). Betrachten Sie dies als das Training eines Videospiel-Charakters, indem man ihn tausendfach scheitern lässt, bis er die richtigen Bewegungen lernt. Das Problem ist: Wenn man den Charakter nur auf einem ganz bestimmten Körpertyp trainiert, wird er verwirrt sein, wenn man ihm einen neuen Körper gibt.

Die Lösung: Die „Sportunterricht“-Strategie

Die Autoren erkannten, dass man einen Roboter für jeden Körper bauen muss, indem man ihn in einem „Sportunterricht“ trainiert, in dem sich die Roboter ständig in Gewicht, Beinlänge und Muskelkraft ändern.

Es gab jedoch einen Haken: Wie verändert man diese Einstellungen?

Wenn man einfach zufällige Einstellungen wählt (wie beim Würfelspiel), könnte man einem Roboter versehentlich „Supermuskeln“ geben, die zu stark für seine Gelenke sind, oder „schwache Muskeln“, die ihn nicht bewegen können. Das ist so, als würde man einem Schüler sagen, er solle einen Marathon mit Schuhen laufen, die entweder aus Blei oder aus Wackelpudding bestehen. Das wird nicht funktionieren.

Die drei Strategien, die sie getestet haben

Das Team verglich drei Wege, um die Einstellungen des Roboters während des Trainings zu „durchmischen“:

Der „Mathematische Formel“-Ansatz: Sie versuchten, die richtige Muskelkraft basierend auf dem Gewicht des Roboters mithilfe einer einfachen mathematischen Linie vorherzusagen (wie „schwererer Roboter = stärkere Muskeln“).
- Ergebnis: Es funktionierte ganz gut für kleine Roboter, aber versagte kläglich bei großen. Die mathematische Formel schlug Muskelstärken vor, die zu aggressiv waren, was dazu führte, dass der Roboter heftig zitterte oder kaputtging.
Der „Vollständig Zufällige“-Ansatz: Sie wählten einfach zufällige Zahlen für alles.
- Ergebnis: Dies war besser, aber manchmal bekam der Roboter einen „schlechten Würfelwurf“, bei dem die Einstellungen unmöglich zu lernen waren.
Der „Kluge Coach“-Ansatz (Ihr Gewinner): Dies ist ihre neue Methode. Stellen Sie sich einen Coach vor, der den Schüler beobachtet.
- Wenn der Schüler Schwierigkeiten hat, sagt der Coach: „Okay, lass uns das Gewicht etwas leichter machen, damit du ein Gefühl dafür bekommst.“
- Wenn der Schüler sehr gut zurechtkommt, sagt der Coach: „Okay, lass es ein bisschen schwieriger werden, um zu sehen, wie weit du gehen kannst.“
- Sie verwendeten auch eine Technik namens Partikelfilter. Denken Sie an dies als das Führen einer Liste der „besten Trainingseinheiten“. Wenn eine bestimmte Kombination aus Gewicht und Muskelkraft gut funktionierte, merkt sich der Coach dies und versucht Variationen dieser spezifischen Konfiguration, anstatt jedes Mal von vorne anzufangen.

Die große Entdeckung: „Muskel“-Einstellungen sind am wichtigsten

Die überraschendste Erkenntnis betraf die PD-Gains. In der Robotersprache ist dies im Wesentlichen die „Steifigkeit“ oder der „Reflex“ der Gelenke des Roboters.

Alte Methoden versuchten, diese Reflexe basierend auf dem Gewicht zu berechnen. Das Papier fand dies gefährlich. Es sagte dem Roboter oft, er solle so „steif“ sein, dass er seine Gelenke mit Wucht auf den Boden schlägt, was Geräusche verursacht und potenzielle Schäden zur Folge hat.
Ihre Methode erkannte, dass man einen Roboter robust (zäh) machen muss, indem man ihn mit wildartig unterschiedlichen Reflexeinstellungen trainiert. Man muss ihm beibringen, mit „Wackelpudding-Beinen“ und „Stahlbeinen“ zu laufen, damit es ihm egal ist, wie sich seine Beine in der realen Welt anfühlen.

Der Test in der realen Welt

Sie nahmen ihre KI, die bisher nur Simulationen (Computerspiele) gesehen hatte, und brachten sie auf einen echten Roboter namens ANYmal (der 50 kg wiegt).

Das Ergebnis: Der Roboter lief perfekt.
Die „Zero-Shot“-Magie: Sie haben dem Roboter nicht gesagt: „Hey, du bist jetzt ein 50 kg schwerer Roboter.“ Der Roboter hatte während des Trainings noch nie einen 50 kg schweren Roboter gesehen. Er wusste einfach, wie man läuft, weil er darauf trainiert wurde, auf jeder möglichen Variation eines Roboters zu laufen.
Der Bonus: Sie setzten dem Roboter sogar einen 13 kg schweren Rucksack auf (wodurch er schwerer wurde als das Herstellergrenze), und er lief immer noch, ohne umzukippen.

Zusammenfassung

Das Paper behauptet, dass man, um einen universellen Roboter-Läufer zu bauen, nicht einfach eine einfache mathematische Formel verwenden kann, um die „Muskeln“ des Roboters anzupassen. Stattdessen benötigt man ein kluges, adaptives Trainingssystem, das ständig die Schwierigkeit anpasst und sich merkt, was am besten funktioniert hat. Dies ermöglicht es einem einzigen KI-Gehirn, einen winzigen Roboter, einen riesigen Roboter oder einen Roboter mit einer schweren Last zu steuern, und das alles, ohne neu trainiert werden zu müssen.

Technische Zusammenfassung: Sampling-Strategien für robuste universelle quadrupedale Lokomotions-Policies

Problemstellung
Die zunehmende Diversität kommerzieller quadrupedaler Roboter, die von leichten Einheiten (z. B. 12 kg A1) bis hin zu schweren Plattformen (z. B. 50 kg ANYmal) reicht, stellt eine Skalierbarkeitsherausforderung für die Lokomotionssteuerung dar. Bestehende Steuerungsdesigns sind typischerweise auf spezifische Morphologien zugeschnitten, was umfangreiches Retraining und manuelle Parameterabstimmung erfordert, wenn sich die Dynamik oder Struktur des Roboters ändert. Während Reinforcement Learning (RL) die Agilität von Quadrupeden vorangebracht hat, bleibt eine signifikante Barriere in der Erreichung „universeller“ Policies, die über diverse Plattformen hinweg ohne roboter-spezifische Anpassung generalisieren können. Ein kritischer Engpass ist der „Sim-to-Real“-Gap: Policies, die in der Simulation trainiert wurden, versagen oft auf der Hardware, insbesondere wenn die Trainingsverteilung die physikalischen Variationen (Masse, Trägheit, Kinematik) und Controller-Gains (PD-Gains) ungesehener Roboter nicht ausreichend abdeckt. Aktuelle Sampling-Strategien für die Domain Randomization stützen sich häufig auf feste uniforme Bereiche oder einfache massenabhängige Abbildungen, die möglicherweise keine ausreichende Robustheit für größere, schwerere Plattformen bieten oder während des Einsatzes zu unsicheren Controller-Gains führen können.

Methodik
Die Autoren schlagen ein Framework für das Training einer universellen RL-Lokomotions-Policy vor, die über eine breite Palette von quadrupedalen Morphologien und Controller-Konfigurationen hinweg generalisiert. Der Kern der Methodik liegt in der Sampling-Strategie für Roboter-Konfigurationen und die Proportional-Derivativ (PD) Gelenk-Gains während der Trainingsphase.

Kontrollarchitektur: Das System nutzt eine asymmetrische Actor-Critic-Architektur basierend auf MorAL.
- Estimator (Rot): Ein neuronales Netz schätzt die lineare Basengeschwindigkeit und beobachtet roboter-spezifische Morphologieparameter (Masse, Schwerpunkt, Link-Offsets) aus einer Historie von Zuständen.
- Actor (Blau): Generiert gewünschte Gelenkpositionen basierend auf geschätzten Geschwindigkeiten, Morphologieparametern und nominalen Gelenkpositionen. Diese Positionen werden über einen PD-Controller ausgeführt.
- Critic: Erhält privilegierte Informationen, die nur in der Simulation verfügbar sind (z. B. Fußkontaktzustände, Reibung, exakte PD-Gains), um die Policy zu leiten.
Konfigurationsgenerierung: Der Trainingssatz wird generiert, indem die kinematischen und dynamischen Eigenschaften von vier Referenzmodellen (Unitree A1, Aliengo, ANYmal B, ANYmal C) randomisiert werden. Dies umfasst das Sampling von Basis-Schwerpunkt, Körpermasse und Bein-Geometrien (Knieorientierung).
Verglichene Sampling-Strategien: Die Arbeit untersucht drei grundlegende Ansätze für das Sampling von Gelenk-PD-Gains und Morphologieparametern:
- Massenabhängige Abbildungen (Mass-Dependent Mappings): Lineare oder polynomielle Funktionen, die die Gesamtmasse des Roboters auf PD-Gains abbilden (ähnlich wie GenLoco und MorAL).
- Uniforme Randomisierung: Sampling von Gains uniform aus einem festen Bereich (ähnlich wie PAL und URMA).
- Leistungsbasierte adaptive Filterung (Vorgeschlagen): Ein neuartiger Curriculum-Learning-Ansatz, der den Sampling-Bereich dynamisch basierend auf der Performance der Policy anpasst. Dies beinhaltet:
  - Adaptive Clipping: Anpassung des Sampling-Bereichs (SR) der uniformen Randomisierung basierend auf der Fähigkeit der Policy, Geschwindigkeitsbefehle zu verfolgen (lineare und Null-Geschwindigkeits-Schwellenwerte).
  - Partikelfilter-Resampling: Verwendung eines Sequential Importance Resampling (SIR) Partikelfilters, um Konfigurationen zu gewichten und neu zu sampeln. Konfigurationen, die eine Mittel- bis Oberbereichs-Performance erzielen, werden priorisiert, um das Training auf „anspruchsvolle, aber lösbare“ Parametersätze zu fokussieren.
  - Replay Buffer: Sampling aus einem Buffer zuvor erfolgreicher Konfigurationen, um eine Degeneration der Parametersätze zu verhindern.
Training: Die Policies werden mittels Proximal Policy Optimization (PPO) in der RaiSim-Simulationsumgebung trainiert. Die Belohnungsfunktion fördert Geschwindigkeitsverfolgung, Stabilität und Glattheit, während Kollisionen und übermäßige Gelenk-Drehmomente bestraft werden.

Wesentliche Beiträge

Neuartiges Morphologie-Sampling: Einführung eines partikelfilter-basierten, performance-adaptiven Curriculums für das Sampling von Roboter-Morphologien und Kontrollparametern, das über die feste uniforme Randomisierung hinausgeht.
Analyse der PD-Gain-Abstimmung: Eine vergleichende Studie, die zeigt, dass eine signifikante Randomisierung der Gelenk-Controller-Gains notwendig ist, um einen robusten Sim-to-Real-Transfer zu erreichen, insbesondere für schwerere Plattformen.
Zero-Shot Hardware-Deployment: Erfolgreiche Implementierung einer einzigen Policy auf dem 50 kg schweren ANYmal ohne jegliches Fine-Tuning oder Anpassung, die eine Reihe ungesehener Morphologien (einschließlich einer 13 kg schweren Nutzlast) abdeckt.

Ergebnisse

Simulations-Robustheit: Die vorgeschlagene adaptive Partikelfilter-Strategie erreichte konsistent höhere Erfolgsraten ( $SR^*$ ) unter Perturbationen (Basis-Kraft, Reibungsänderungen, Massenvariationen) im Vergleich zu fester uniformer Sampling- und massenabhängiger Mapping-Strategien. Sie demonstrierte größere zusammenhängende Regionen stabiler Performance über verschiedene PD-Gain-Kombinationen hinweg, insbesondere für die größere ANYmal-Plattform.
Sim-to-Real Transfer:
- Erfolg: Die vorgeschlagene Methode und die PAL-Baseline (uniformes Sampling mit SR=1) waren die einzigen Ansätze, die ein sicheres, stabiles und zuverlässiges Gehen auf der ANYmal-Hardware erreichten.
- Versagen von Alternativen: Massenabhängige Mapping-Strategien (GenLoco, ManyQuadrupeds) und eng gefasste Sampling-Bereiche (URMA) konnten nicht auf die Hardware generalisieren. GenLoco und ManyQuadrupeds erforderten PD-Gains, welche die hardware-sicheren Limits überschritten, was zu Aktuator-Aufschlägen und mechanischem Klopfen führte. MorAL und URMA (adaptiv) zeigten eine degradierte Performance oder Instabilität auf der Hardware.
Performance-Metriken: Die adaptive Partikelfilter-Methode erreichte einen RMSE in der Geschwindigkeitsverfolgung, der vergleichbar mit der PAL-Baseline ist (z. B. ~0,095 m/s für Heading, ~0,228 rad/s für Yaw). Sie konnte zudem die Lokomotion mit einer zusätzlichen 13 kg schweren Nutzlast erfolgreich aufrechterhalten.

Bedeutung und Ansprüche
Das Paper behauptet, dass die primäre Barriere für universelle quadrupedale Lokomotion nicht nur die Policy-Architektur ist, sondern die Sampling-Strategie, die die Policy während des Trainings verschiedenen Konfigurationen aussetzt. Die Autoren demonstrieren:

Feste uniforme Sampling- oder einfache massenabhängige Gain-Mappings sind unzureichend, um auf schwerere, komplexere Roboter zu skalieren.
Eine signifikante Randomisierung der Gelenk-Controller-Gains ist eine Voraussetzung, um den Sim-to-Real-Gap zu schließen.
Ein leistungsbasierter adaptiver Curriculum, der die Verteilung der Trainingskonfigurationen umgestaltet (mit Fokus auf anspruchsvolle, aber lösbare Regime), die Robustheit signifikant verbessert.
Dieser Ansatz ermöglicht das Zero-Shot-Deployment auf Hardware-Plattformen, die während des Trainings nicht explizit gesehen wurden, einschließlich schwerer Roboter, die über die nominalen Spezifikationen hinaus operieren.

Die Arbeit kommt zu dem Schluss, dass, obwohl der Zero-Shot-Transfer auf hochgradig Out-of-Distribution befindliche Morphologien weiterhin eine Herausforderung bleibt, die performance-adaptive Sampling-Methode die Robustheit innerhalb eines breiten und praktisch relevanten Bereichs von quadrupedalen Konfigurationen erheblich verbessert.