Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

Probleemstelling

Reinforcement Learning (RL) voor beenlocomotie (zoals lopen en rennen bij robots) wordt vaak in simulatie getraind vanwege de veiligheid en efficiëntie. Een groot obstakel is echter de "sim-to-real gap": het verschil tussen de dynamica in de simulator en de echte hardware.

• Huidige aanpak: Traditionele methoden gebruiken Dynamics Randomization (DR), waarbij modelparameters (zoals massa of wrijving) willekeurig worden gevarieerd tijdens training om robuustheid te creëren. Dit lost het probleem echter niet op, maar maakt de controller alleen robuust tegen een reeks mogelijke fouten.
• Beperkingen van bestaande adaptatiemethoden: Methoden die de simulator aanpassen op basis van hardware-data, vereisen vaak precieze tijdsgesynchroniseerde vergelijkingen van volledige toestanden (positie, snelheid, oriëntatie). Dit vereist dure motion-capture-systemen en strikte startcondities. Bij instabiele systemen zoals looprobots leiden kleine verschillen in startcondities echter snel tot grote afwijkingen in de trajecten, waardoor directe vergelijkingen (zoals Mean Squared Error) onbetrouwbaar worden.

Methodologie

De auteurs stellen een nieuwe aanpak voor: Proprioceptieve Distributie-Matching. In plaats van trajecten punt-voor-punt te vergelijken, vergelijken ze de verdelingen (distributions) van waarnemingen en acties.

1. De Kern: Wasserstein Cost Function

De methode behandelt trajecten als verzamelingen van steekproeven uit een stationaire verdeling veroorzaakt door het beleid (policy) dat met het systeem interacteert.

• Onafhankelijkheid van tijd: Er is geen noodzaak voor tijdssynchronisatie of het resetten van de simulator naar de exacte hardware-positie.
• Metriek: De auteurs gebruiken de Wasserstein-afstand (Earth Mover's Distance) om de discrepantie tussen de simulatie en de hardware te meten.
• 1D Marginal Approximation: Omdat het berekenen van de multidimensionale Wasserstein-afstand rekenkundig duur is, benaderen ze deze door de 1D-Wasserstein-afstand onafhankelijk te berekenen voor elke dimensie (bijv. elke gewrichtspositie, snelheid en actie) en deze vervolgens te middelen. Dit is efficiënt en voldoende omdat simulator-aanpassingen voornamelijk invloed hebben op de marginale verdelingen van gewrichten, niet zozeer op de complexe inter-gewrichts correlaties.
• Data: De methode gebruikt uitsluitend proprioceptieve data (gewrichtsposities, snelheden en acties) die beschikbaar zijn op de robot zelf, zonder externe sensoren.

2. Simulator-aanpassing (Modificaties)

De methode optimaliseert een parameterfunctie om de simulator te wijzigen. Drie niveaus van expressiviteit worden getest:

1. Static Simulator Parameters: Aanpassing van vaste fysieke parameters (bijv. wrijving en armatuur van gewrichten).
2. Action-Delta Model: Een neurale netwerks die een correctie toevoegt aan de actie van het beleid (residuele actie).
3. Residual Actuator Model: Een neurale netwerks die een residueel koppel (torque) toevoegt aan de output van de laag-level PD-controller. Dit model werkt op de simulatiesnelheid (1 kHz) en is het meest expressief.

3. Optimisatie

Omdat de simulator niet differentieerbaar is en het een "black-box" probleem is, gebruiken de auteurs CMA-ES (Covariance Matrix Adaptation Evolution Strategy) om de parameters van de simulator-aanpassing te optimaliseren die de Wasserstein-kost minimaliseren.

Belangrijkste Bijdragen

1. Praktische Sim-to-Real Adaptatie: Een methode die de simulator aanpast zonder motion capture of tijdssynchronisatie, wat het toepasbaar maakt voor complexe, instabiele robots.
2. Distributie-Matching als Objectief: Het aantonen dat het vergelijken van verdelingen van proprioceptieve data een even effectief signaal geeft voor optimalisatie als traditionele, tijdsgesynchroniseerde state-matching, maar zonder de praktische nadelen.
3. Validatie op Diverse Scenarios: De methode wordt getest op drie scenario's: het terugvinden van bekende parameters, het aanpassen aan niet-parametrische dynamische veranderingen (veerkrachtige gewrichten), en een uitdagende bipedale loopopdracht.

Resultaten

Sim-to-Sim Experimenten

• Parameteridentificatie: De Wasserstein-methode kon bekende parameters (wrijving, armatuur) bijna perfect terugvinden, vergelijkbaar met methoden die gebruikmaken van "oracle" (volledige) toestandsinformatie.
• Robuustheid tegen Ruis: Bij het toevoegen van ruis en vertragingen (zoals in de echte wereld), presteerde de Wasserstein-methode aanzienlijk beter dan directe state-matching zonder privileged info (MatchO), en zelfs beter dan state-matching met privileged info bij hoge ruisniveaus.
• Finetuning: Na het aanpassen van de simulator, resulteerde het finetunen van het beleid in de aangepaste simulator in prestaties die gelijk waren aan het finetunen op de ware dynamica.
• Expressiviteit: Voor complexe dynamische veranderingen (zoals een toegevoegde veer) faalden statische parameteraanpassingen, maar slaagden de Action-Delta en Residual Actuator modellen. De Residual Actuator model gaf de beste resultaten.

Sim-to-Real Experimenten (Unitree Go2)

• Data-efficiëntie: De methode vereiste minder dan 5 minuten aan hardware-data om een model te trainen.
• Spring Joint: Bij het fysiek toevoegen van een veer aan een gewricht, verminderde de gefinetunte controller de drift van >2 meter naar ongeveer 0,4 meter (een verbetering van ~80%).
• Bipedal Walking: Bij het trainen van de robot om op twee benen te lopen (een zeer uitdagende taak met grote dynamische verschillen), verminderde de methode de drift aanzienlijk (tot wel 50% verbetering in bepaalde richtingen).
• Conclusie: De methode slaagde erin om de simulatie zo aan te passen dat het gefinetunte beleid significant beter presteerde op de echte hardware, zelfs zonder motion capture.

Betekenis en Toekomstperspectief

Dit werk biedt een praktische en schaalbare route om de sim-to-real kloof te overbruggen voor beenrobots. Het elimineert de afhankelijkheid van dure infrastructuur (motion capture) en maakt het mogelijk om complexe locomotiegedragingen op hardware te transfereren met minimale data.

Beperkingen en Uitdagingen:
De auteurs merken op dat de methode faalt als de initiële transfer zo slecht is dat de robot direct valt (bijv. bij het lopen achteruit op een humanoid robot). In zulke gevallen bevat de hardware-data geen bruikbare voorbeelden van het gedrag dat moet worden gematched, wat leidt tot degeneratie in de optimalisatie. Toekomstig werk richt zich op het integreren van stochastische dynamica en het omgaan met faalmodi.

Kortom, deze paper toont aan dat het vergelijken van distributies van sensordata een krachtig en praktisch alternatief is voor traditionele state-matching, waardoor robuuste en nauwkeurige sim-to-real transfer mogelijk wordt voor complexe robotsystemen.