CLASH: Collision Learning via Augmented Sim-to-real Hybridization to Bridge the Reality Gap

Probleemstelling: De Sim-to-Real Kloof bij Kollies

De belangrijkste belemmering voor het inzetten van robotbeleid dat in simulatie is getraind, is de "sim-to-real" kloof. Dit probleem is vooral acuut bij rijke contactdynamieken, zoals botsingen (collisions).

• Onnauwkeurige modellering: Conventionele fysica-engines (zoals MuJoCo) wisselen nauwkeurigheid in voor rekensnelheid. Ze gebruiken vaak vereenvoudigingen (zoals lineaire wrijvingskegels of penalty-gebaseerde contacten) om real-time prestaties te behouden.
• Gevolgen: Deze benaderingen leiden tot discrepanties in hoeksnelheidsverandering, wrijvingsdissipatie en banen na de botsing.
• Data-efficiëntie: Bestaande methoden om deze kloof te dichten (zoals domeinrandomisatie of het direct leren van residuen) vereisen vaak enorme hoeveelheden real-world data, wat kostbaar en tijdrovend is.

Methodologie: Het CLASH Framework

De auteurs introduceren CLASH (Collision Learning via Augmented Sim-to-real Hybridization), een data-efficiënt raamwerk dat een hybride simulator bouwt door een geleerde botsingsmodule te integreren in een standaard simulator. Het proces verloopt in drie fasen:

1. Simulatie-distillatie (Pre-training):

   • Een differentieerbaar surrogaatmodel (een drie-laags MLP) wordt vooraf getraind op een grote dataset van gesimuleerde botsingen (bijv. 100.000 paren) gegenereerd door MuJoCo.
   • Het doel is om de "fysieke priors" van de engine te distilleren. Het model leert de mapping van pre-botsingstoestand en systeemparameters (wrijvingscoëfficiënten $\mu$ en demping $e$) naar de post-botsingstoestand.

2. Systeemidentificatie en Adaptatie:

   • Met slechts een handvol real-world data (bijv. 10 botsingen) wordt het model aangepast.
   • Stap 1 (Parameteridentificatie): De netwerkgewichten worden bevroren. Er wordt gebruik gemaakt van gradiëntgebaseerde optimalisatie om de fysieke parameters ($P$) te identificeren die het beste overeenkomen met de realiteit.
   • Stap 2 (Fine-tuning): Met de geïdentificeerde parameters vastgehouden, wordt het netwerk zelf met een klein aantal stappen (early-stopped) gefine-tuned op de real-world data. Dit vangt de resterende, niet-parametrische fouten op (zoals subtiele wrijvingsdissipatie) zonder overfitting.

3. Hybride Simulator:

   • Het aangepaste surrogaatmodel wordt als een "plug-in" module geïntegreerd in de fysica-engine (MuJoCo).
   • De simulator gebruikt de standaard engine voor continue dynamiek, maar schakelt over naar het neurale netwerk zodra een botsing wordt gedetecteerd om de post-botsingstoestand te voorspellen.

Belangrijkste Bijdragen

• Data-efficiënt hybride framework: CLASH distilleert priors uit een simulator en past deze aan met minimale real-world data, waardoor het een interpreteerbare parametrische component en een beperkt residu onderscheidt.
• Plug-in architectuur: Het creëert een hybride simulator die de nauwkeurigheid van botsingsvoorspelling verbetert zonder de volledige engine te vervangen, wat naadloze integratie mogelijk maakt.
• Verbeterde downstream prestaties: Het framework bewijst dat zowel modelgebaseerde optimalisatie als versterkingslering (RL) profiteren van de hogere nauwkeurigheid, wat leidt tot robuustere overdracht naar de echte wereld.

Resultaten

De auteurs testten het framework op een Franka-arm die blokken raakte en duwde, met een motion capture-systeem voor validatie.

1. Voorspellingsnauwkeurigheid:

   • Het CLASH-model presteerde aanzienlijk beter dan MuJoCo, MJX (een differentieerbare versie van MuJoCo) en een puur data-gedreven NN zonder pre-training.
   • Voor een semi-cilinder bereikte CLASH een voorspellingsnauwkeurigheid van 76% (bij een foutdrempel $\alpha=0.1$), vergeleken met 64% voor MuJoCo en slechts 42% voor een NN zonder pre-training (die overfitted).

2. Modelgebaseerde Optimalisatie (CMA-ES):

   • Bij het zoeken naar de optimale impactparameters om een blok op een doel te laten landen, verlaagde de hybride simulator de positiefout met 35,10% (voor een semi-cilinder) ten opzichte van MuJoCo.
   • Snelheid: De vervanging van de botsingsberekening door het geleerde model verkleinde de wandelkloktijd (wall-clock time) van de CMA-ES zoektocht met 42-48%, wat aantoont dat het model ook sneller is dan de complexe fysica-engine.

3. Versterkingslering (RL):

   • In een taak waarbij een semi-cilinder moest worden geduwd naar een doel, verdubbelde het succespercentage (Success Rate) van beleid getraind in de hybride simulator vergeleken met beleid getraind in MuJoCo (bijv. van 4/10 naar 8/10 voor Route 1).
   • Dit bewijst dat de verbeterde simulatie leidt tot beleid dat directer en betrouwbaarder overdraagt naar de fysieke robot.

Betekenis en Conclusie

CLASH biedt een praktische en modulaire route om bestaande fysica-engines te verbeteren zonder ze volledig te vervangen. Door onnauwkeurige submodules (zoals botsingen) te vervangen door data-gedreven componenten die zijn getraind op een kleine hoeveelheid real-world data, sluit de methode de sim-to-real kloof effectief.

De belangrijkste implicaties zijn:

• Efficiëntie: Het elimineert de noodzaak van enorme datasets voor systeemidentificatie.
• Snelheid: Het versnelt zoekalgoritmen voor planning door snellere botsingsberekeningen.
• Toepasbaarheid: Het is een herbruikbaar recept voor het upgraden van simulators, wat de betrouwbaarheid van robotica-toepassingen in de echte wereld aanzienlijk verhoogt.