Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

1. Problemstellung

Das zentrale Problem im Bereich des Reinforcement Learning (RL) für robotische Systeme ist die Sim-to-Real-Lücke: In der Simulation trainierte Kontrollpolitiken (Policies) zeigen oft drastische Leistungseinbußen auf echter Hardware. Dies liegt an Diskrepanzen in der Dynamik zwischen Simulator und Realität (z. B. Reibung, Motorverzögerungen, unmodellierte Kräfte).

Herausforderungen bei bestehenden Ansätzen:

• Dynamik-Randomisierung (DR): Randomisiert zwar Parameter, führt aber oft zu konservativem Verhalten und skaliert schlecht bei komplexen Aufgaben. Sie zielt nicht darauf ab, die Lücke zu schließen, sondern die Politik robust zu machen.
• Traditionelle Systemidentifikation: Vergleicht Zeitreihen von Trajektorien (Zustände und Aktionen) direkt. Dies erfordert:
  • Exakte Zeitalignment (Synchronisation).
  • Privilegierte Sensordaten (z. B. Motion Capture für Basispose und -geschwindigkeit), die auf Hardware oft nicht verfügbar sind.
  • Stabile Anfangsbedingungen, was bei instabilen, laufenden Robotern (Legged Locomotion) extrem schwierig ist, da kleine Fehler schnell zu großen Abweichungen führen.

2. Methodik

Die Autoren schlagen einen neuen Ansatz vor, der den Simulator selbst anpasst, um das Hardware-Verhalten besser nachzubilden, ohne externe Sensoren oder Zeitalignment zu benötigen.

A. Proprioceptive Distribution Matching (PDM)

Statt Trajektorien punktweise zu vergleichen, behandeln die Autoren die gesammelten Daten als Verteilungen von propriozeptiven Beobachtungen (Gelenkpositionen, -geschwindigkeiten) und Aktionen.

• Idee: Obwohl die zeitliche Reihenfolge verloren geht, bleiben langfristige dynamische Merkmale (Gangmuster, Kontaktstatistik, Aktuator-Verzögerung) in der Form der Verteilung erhalten.
• Metrik: Es wird die Wasserstein-Distanz (Earth Mover's Distance) verwendet, um die Diskrepanz zwischen der simulierten und der Hardware-Verteilung zu messen.
• Effizienz-Optimierung: Da die Berechnung der mehrdimensionalen Wasserstein-Distanz rechenintensiv ist, approximieren die Autoren sie durch den Durchschnitt der 1D-Wasserstein-Distanzen entlang jeder einzelnen Dimension (z. B. jedes Gelenk separat). Dies ist recheneffizient und sample-effizient.
• Vorteil: Keine Synchronisation, keine Motion-Capture-Daten und keine Privilegierung des Basiszustands nötig.

B. Simulator-Modifikationen

Um die Diskrepanz zu minimieren, werden drei Arten von Anpassungen am Simulator optimiert (als Black-Box-Objektiv):

1. Statische Parameter: Anpassung fester physikalischer Parameter wie Reibung und Ankerträgheit (Armature).
2. Action-Delta-Modell: Ein neuronales Netzwerk, das eine Korrektur zur Aktionsausgabe der Politik hinzufügt (basierend auf dem Zustand).
3. Residual-Aktuator-Modell: Ein neuronales Netzwerk, das ein Rest-Drehmoment direkt zum Ausgang des PD-Reglers addiert. Dies ist das ausdrucksstärkste Modell, da es nicht-lineare Aktuator-Effekte (wie Sättigung oder komplexe Reibung) direkt auf der Frequenz des Reglers (1 kHz) korrigiert.

C. Optimierungsprozess

• Ziel: Minimierung der Kostenfunktion $C_{S2R}$ durch Anpassung der Simulator-Parameter $\theta$.
• Algorithmus: Da die Kostenfunktion nicht differenzierbar ist (Black-Box), wird CMA-ES (Covariance Matrix Adaptation Evolution Strategy) verwendet.
• Workflow:
  1. Trainiere eine Basis-Politik $\pi_0$ in der Simulation.
  2. Sammle Hardware-Daten mit $\pi_0$.
  3. Optimiere die Simulator-Parameter $\hat{\theta}$, um die Verteilungs-Diskrepanz zu minimieren.
  4. Feinabstimmung (Fine-Tuning) der Politik in dem angepassten Simulator $M(\hat{\theta})$.

3. Wichtige Beiträge

1. Neue Metrik: Einführung der propriozeptiven Verteilungsmatching-Metrik (Wasserstein-basiert), die keine Zeitalignment oder Motion-Capture erfordert.
2. Vergleichbarkeit: Die Methode erreicht Parameter-Wiederherstellung und Politik-Leistung, die mit privilegierten State-Matching-Baselines (die Motion-Capture nutzen) vergleichbar sind.
3. Praktikabilität: Demonstration, dass weniger als 5 Minuten Hardware-Daten ausreichen, um einen Residual-Aktuator-Modell zu trainieren, das die Drift auf echter Hardware signifikant reduziert.
4. Vielseitigkeit: Der Ansatz funktioniert sowohl für statische Parameteranpassungen als auch für komplexe, nicht-parametrische dynamische Änderungen (z. B. durch Federn oder bipedales Laufen).

4. Ergebnisse

Die Evaluation erfolgte auf dem Unitree Go2 Vierbeiner und dem Agility Robotics Digit Humanoiden.

• Sim-to-Sim (Parameter-Identifikation):

  • In idealisierten Szenarien (bekannte Parameter) erkannte die Wasserstein-Methode Reibungs- und Armaturwerte fast perfekt (ähnlich wie State-Matching).
  • Unter rauschbehafteten Bedingungen (simuliert durch Torque-Rauschen und Zeitverschiebungen) übertraf die Wasserstein-Methode (Wass) die State-Matching-Methoden (MatchO) deutlich. Bei hohem Rauschen lag der Fehler bei Wass bei ~18,7 %, während MatchO bei ~86,3 % lag.

• Sim-to-Sim (Feinabstimmung):

  • Bei statischen Parameteränderungen erzielten alle Methoden gute Ergebnisse.
  • Bei komplexen Änderungen (z. B. eine Feder am Gelenk, die nicht-parametrische Effekte erzeugt) scheiterten statische Parameter-Anpassungen. Hier ermöglichten die Action-Delta- und Residual-Aktuator-Modelle eine erfolgreiche Anpassung. Das Residual-Aktuator-Modell zeigte die beste Leistung.

• Sim-to-Real (Echte Hardware):

  • Spring Joint: Ein physikalischer Feder wurde am Bein angebracht. Die ursprüngliche Politik zeigte starke Drift (>2m). Nach der Anpassung des Residual-Aktuator-Modells und Feinabstimmung sank die Drift auf ca. 0,4m (ca. 20% Fehler).
  • Bipedal Walking: Der Roboter läuft nur auf zwei Hinterbeinen. Die ursprüngliche Politik hatte massive Drift-Probleme. Nach der Anpassung reduzierte sich die Drift um bis zu 50%.
  • Datenbedarf: Die Anpassung benötigte weniger als 5 Minuten an Hardware-Daten und keine Motion-Capture-Infrastruktur.

• Herausforderungen (Humanoid):

  • Beim Versuch, den Ansatz auf den Digit-Humanoiden anzuwenden, scheiterte das System bei rückwärts gehenden Bewegungen, da die Politik instabil wurde und fiel. Da keine gültigen Daten für diesen Zustand existierten, konnte der Simulator den Fehler nicht lernen. Dies zeigt eine Grenze des Ansatzes: Er benötigt initiale Daten, die den relevanten Zustandsraum abdecken.

5. Bedeutung und Fazit

Dieses Paper bietet einen praktischen und effektiven Weg, um die Sim-to-Real-Lücke bei laufenden Robotern zu überbrücken.

• Demokratisierung: Durch den Verzicht auf Motion-Capture und Zeitalignment wird die Methode für viele Nutzer zugänglich, die keine teure Infrastruktur haben.
• Effizienz: Die Kombination aus Verteilungsmatching und Black-Box-Optimierung erlaubt schnelle Anpassungen mit minimalem Hardware-Aufwand.
• Zukunftsausblick: Die Autoren schlagen vor, zukünftig stochastische Dynamik-Modifikationen zu lernen, um noch besser mit der natürlichen Variabilität der realen Welt (z. B. Temperaturänderungen, Rauschen) umzugehen.

Zusammenfassend beweist die Arbeit, dass das Abgleichen von Propriozeptiv-Verteilungen eine robuste Alternative zu traditionellen, auf exakte Trajektorien basierenden Methoden ist und eine hohe Transferleistung auf komplexen, dynamischen Robotersystemen ermöglicht.