How Should a Simulation-to-Reality Transfer Budget Be Spent?

Technische Samenvatting: Hoe moet een budget voor de transfer van simulatie naar realiteit worden besteed?

Probleemstelling
In robotica-leren ontstaat de "reality gap" wanneer beleidsregels (policies) die in simulatie zijn getraind, falen op fysieke hardware door discrepanties tussen gesimuleerde en werkelijke dynamica. Twee primaire strategieën pakken dit aan: Systeemidentificatie (ID), dat gebruikmaakt van real-robot data om fysieke parameters te schatten en de simulator af te stemmen, en Domain Randomization (DR), dat beleidsregels traint over een distributie van gerandomiseerde simulaties om robuuste gedragingen te leren. Beide strategieën concurreren om hetzelfde schaarse middel: de beperkte budget van real-robot interactietijd (rollouts). Hoewel de bestaande literatuur deze methoden vaak geïsoleerd bestudeert, blijft de afweging tussen het alloceren van budget aan nauwkeurige meting (ID) versus het rechtvaardigen van een bredere randomisatieverdeling (DR) slecht begrepen. Dit artikel kadert de keuze als een budgetallocatieprobleem: gegeven een vast aantal real-robot rollouts, hoe moeten deze verdeeld worden tussen identificatie en randomisatiebreedte?

Methodologie
De auteurs voerden een gecontroleerde sim-to-sim studie uit om deze afweging te isoleren zonder de verwarrende variabelen van fysieke hardware.

• Opzet: Een "Reality" simulator ($R$) met verborgen, vaste parameters (massa van de bob $m$ en staaflengte $\ell$) diende als het doel systeem. Een "Training" simulator ($T$) maakte het mogelijk om deze parameters aan te passen. De ware parameters werden ingesteld op $\theta^* = (2.0, 1.5)$, wat aanzienlijk afwijkt van de nominale prior $\theta_0 = (1.0, 1.0)$.
• Budgetallocatie: De studie varieerde twee onafhankelijke variabelen:
  1. $n$ (Identificatiebudget): Het aantal rollouts op $R$ dat wordt gebruikt om parameters te schatten. Deze rollouts maakten gebruik van een random-torque excitatiebeleid. Parameters werden geschat via grid search door de eenstap-hoeksnelheid voorspellingsfout te minimaliseren, onderhevig aan Gaussische sensorruis ($\sigma=1.0$).
  2. $w$ (Randomisatiebreedte): De breedte van de uniforme distributie die wordt gebruikt om parameters te randomiseren tijdens de training, gedefinieerd als een fractie van de puntinschatting $\hat{\theta}$. $w=0$ impliceert training bij de puntinschatting; een grotere $w$ impliceert een bredere band gecentreerd rond $\hat{\theta}$.
• Training & Evaluatie: Voor elke $(n, w)$ configuratie werd een Soft Actor-Critic (SAC) beleid getraind gedurende 75.000 stappen. Prestaties werden geëvalueerd via de zero-shot return op het verborgen doelsysteem $R$ over 20 deterministische episodes.
• Omvang: De studie onderzocht $n \in \{0, 5, 10, 25, 50\}$ en $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ over tien seeds, wat totaal 250 runs opleverde. Statistische significantie werd beoordeeld met behulp van paired-bootstrap betrouwbaarheidsintervallen.

Belangrijkste Resultaten
De experimenten onthulden een duidelijke hiërarchie in de waarde van meting versus randomisatiebreedte:

1. Dominantie van Meting: De allocatie van real-robot rollouts aan identificatie ($n$) was de primaire drijfveer voor prestaties. De transfer gap sloot scherp met de eerste paar rollouts. Specifiek leverde de beweging van $n=0$ naar $n=10$ een enorme verbetering in return op (ongeveer +427 punten), terwijl het verhogen van $n$ boven de 10 de opbrengst met verminderde meeropbrengst (diminishing returns) kende.
2. Puntinschattingen Presteren Beter dan Randomisatie: Zodra er enige echte data beschikbaar was ($n > 0$), presteerde training bij de geschatte puntparameters ($w=0$) significant beter dan training over een verbredde randomisatieband. Zelfs een smalle band ($w=0.2$) resulteerde in statistisch lagere returns vergeleken met $w=0$.
3. Randomisatie Kan Meting Niet Substitueren: Brede randomisatie die theoretisch het ware systeem bevatte (bijv. een baseline binnen de prior-range die $[0.3, 3.0]$ beslaat) kon de meting niet vervangen. Beleidsregels getraind met $n=0$ en brede randomisatie presteerden slecht (return $\approx -749$), vergelijkbaar met de $n=0, w=0$ baseline, en significant slechter dan de $n=50, w=0$ "pure fidelity" baseline (return $\approx -337$).
4. Robuustheid: Deze bevindingen hielden stand bij verschillende reality gaps (klein, hoofd, groot) en sensorruisniveaus. Hoewel de specifieke "knie" van de budgetcurve verschoof met ruisniveaus (bijv. meer rollouts vereisen bij hogere ruis), bleef de kwalitatieve ordening gelijk: meting is cruciaal, en het verbreden van de band na meting is nadelig.

Bijdragen en Betekenis
Het artikel stelt geen nieuw algoritme voor, maar biedt een meetbare karakterisering van de identificatie-versus-randomisatie afweging onder een vast budget.

• Formalisering: Het formuleert de keuze tussen ID en DR als een enkel budgetallocatieprobleem en brengt het volledige return-oppervlak in kaart.
• Empirisch Bewijs: Het demonstreert dat in een regime waar dynamica identificeerbaar is en de simulatorfamilie het doelsysteem bevat, meting de breedte domineert. Een klein aantal identificatie-rollouts sluit het grootste deel van de transfer gap.
• Strategische Aanbeveling: De auteurs concluderen dat sim-to-real pipelines prioriteit moeten geven aan het meten van parameters die binnen de simulatorfamilie geïdentificeerd kunnen worden. Domain randomization moet alleen worden gereserveerd voor de onzekerheid die overblijft na meting, in plaats van als substituut voor meting te dienen.

Beperkingen en Omvang
De auteurs merken expliciet op dat deze resultaten van toepassing zijn op een "benigne regime" waarbij:

• De simulator goed gespecificeerd is (geen structurele model mismatch).
• Slechts twee parameters onbekend zijn.
• Het ware systeem representeerbaar is door de simulatorfamilie.

Het artikel erkent dat in real-world scenario's met structurele mismatches (bijv. niet-gemodelleerde wrijving, speling of contactdynamica) waarbij geen enkele parameteraanpassing de target perfect kan reproduceren, de waarde van de randomisatiebreedte kan toenemen. De huidige bevindingen dienen als een baseline voor die moeilijkere setting, waarbij gesuggereerd wordt dat wanneer parameters wel geïdentificeerd kunnen worden, fidelity vooraf moet gaan aan randomisatie.