How Should a Simulation-to-Reality Transfer Budget Be Spent?

Technisches Resümee: Wie sollte ein Budget für den Sim-to-Real-Transfer aufgewendet werden?

Problemstellung
In der Robotik-Lernforschung entsteht die „Reality Gap“ (Realitätslücke), wenn in der Simulation trainierte Policies auf physischer Hardware versagen, da Diskrepanzen zwischen den simulierten und den tatsächlichen Dynamiken bestehen. Zwei primäre Strategien adressieren dies: Systemidentifikation (ID), welche reale Roboterdaten nutzt, um physikalische Parameter zu schätzen und den Simulator abzustimmen, sowie Domain Randomization (DR), welche Policies über einer Verteilung randomisierter Simulatoren trainiert, um robuste Verhaltensweisen zu erlernen. Beide Strategien konkurrieren um dieselbe knappe Ressource: das begrenzte Budget an Interaktionszeit mit dem realen Roboter (Rollouts). Während die bestehende Literatur diese Methoden oft isoliert betrachtet, bleibt der Tradeoff zwischen der Allokation von Budget für präzise Messung (ID) versus der Rechtfertigung einer breiteren Randomisierungsverteilung (DR) unzureichend verstanden. Diese Arbeit rahmt die Entscheidung als ein Budgetallokationsproblem: Gegeben eine feste Anzahl an realen Roboter-Rollouts, wie sollten diese zwischen Identifikation und Randomisierung breite aufgeteilt werden?

Methodik
Die Autoren führten eine kontrollierte Sim-to-Sim-Studie durch, um diesen Tradeoff ohne die konfundierenden Variablen physischer Hardware zu isolieren.

• Setup: Ein „Reality“-Simulator ($R$) mit verborgenen, festen Parametern (Masse des Pendels $m$ und Stablänge $\ell$) diente als Zielsystem. Ein „Training“-Simulator ($T$) ermöglichte es, diese Parameter anzupassen. Die wahren Parameter wurden auf $\theta^* = (2.0, 1.5)$ gesetzt, was signifikant vom nominalen Prior $\theta_0 = (1.0, 1.0)$ abweicht.
• Budgetallokation: Die Studie variierte zwei unabhängige Variablen:
  1. $n$ (Identifikations-Budget): Die Anzahl der Rollouts auf $R$, die zur Schätzung der Parameter verwendet werden. Diese Rollouts nutzten eine Random-Torque-Excitation-Policy. Die Parameter wurden mittels Grid Search geschätzt, die den Ein-Schritt-Winkelgeschwindigkeits-Vorhersagefehler minimiert, unter Berücksichtigung von Gaußschem Sensorrauschen ($\sigma=1.0$).
  2. $w$ (Randomisierungsbreite): Die Breite der Gleichverteilung, die zur Randomisierung der Parameter während des Trainings verwendet wird, definiert als Bruchteil des Punktschätzers $\hat{\theta}$. $w=0$ impliziert das Training am Punktschätzer; ein größeres $w$ impliziert ein breiteres Band, das um $\hat{\theta}$ zentriert ist.
• Training & Evaluierung: Für jede $(n, w)$-Konfiguration wurde eine Soft Actor-Critic (SAC) Policy über 75.000 Schritte trainiert. Die Performance wurde mittels Zero-Shot-Return auf dem verborgenen Zielsystem $R$ über 20 deterministische Episoden evaluiert.
• Umfang: Die Studie untersuchte $n \in \{0, 5, 10, 25, 50\}$ und $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ über zehn Seeds hinweg, was insgesamt 250 Durchläufe ergab. Die statistische Signifikanz wurde mittels gepaarter-Bootstrap-Konfidenzintervallen bewertet.

Zentrale Ergebnisse
Die Experimente offenbarten eine deutliche Hierarchie im Wert von Messung versus Randomisierungsbreite:

1. Dominanz der Messung: Die Allokation von realen Roboter-Rollouts zur Identifikation ($n$) war der primäre Treiber der Performance. Die Transferlücke schloss sich drastisch mit den ersten wenigen Rollouts. Insbesondere die Bewegung von $n=0$ zu $n=10$ führte zu einer massiven Verbesserung des Returns (ca. +427 Punkte), während eine Erhöhung von $n$ über 10 hinaus nur noch abnehmende Grenzerträge lieferte.
2. Punktschätzer übertreffen Randomisierung: Sobald überhaupt reale Daten verfügbar waren ($n > 0$), übertraf das Training an den geschätzten Punktparametern ($w=0$) das Training über ein verbreitertes Randomisierungsband signifikant. Selbst ein schmales Band ($w=0.2$) resultierte in statistisch niedrigeren Returns im Vergleich zu $w=0$.
3. Randomisierung kann Messung nicht ersetzen: Eine breite Randomisierung, die theoretisch das wahre System enthielt (z. B. eine Prior-Range-Baseline, die $[0.3, 3.0]$ abdeckt), konnte die Messung nicht ersetzen. Mit $n=0$ trainierte Policies mit breiter Randomisierung schnitten schlecht ab (Return $\approx -749$), vergleichbar mit der $n=0, w=0$ Baseline und signifikant schlechter als die $n=50, w=0$ „Pure Fidelity“-Baseline (Return $\approx -337$).
4. Robustheit: Diese Befunde hielten über verschiedene Reality Gaps (klein, mittel, groß) und Sensorrauschpegel hinweg stand. Obwohl sich der „Knick“ der Budgetkurve mit dem Rauschpegel verschob (z. B. erforderte höheres Rauschen mehr Rollouts), blieb die qualitative Ordnung gleich: Messung ist kritisch, und das Verbreitern des Bandes nach der Messung ist kontraproduktiv.

Beiträge und Bedeutung
Die Arbeit schlägt keinen neuen Algorithmus vor, sondern liefert eine messbare Charakterisierung des Tradeoffs zwischen Identifikation und Randomisierung unter einem fixen Budget.

• Formalisierung: Sie formuliert die Wahl zwischen ID und DR als ein einzelnes Budgetallokationsproblem und bildet die vollständige Return-Oberfläche ab.
• Empirischer Beleg: Sie zeigt auf, dass in einem Regime, in dem die Dynamik identifizierbar ist und die Simulator-Familie das Zielsystem enthält, Messung die Breite dominiert. Eine geringe Anzahl an Identifikations-Rollouts schließt den Großteil der Transferlücke.
• Strategische Empfehlung: Die Autoren kommen zu dem Schluss, dass Sim-to-Real-Pipelines vorrangig Parameter messen sollten, die innerhalb der Simulator-Modellklasse identifizierbar sind. Domain Randomization sollte nur für die Unsicherheit reserviert bleiben, die nach der Messung bestehen bleibt, statt als Ersatz für sie genutzt zu werden.

Einschränkungen und Umfang
Die Autoren merken explizit an, dass diese Ergebnisse für ein „benignes Regime“ gelten, in dem:

• Der Simulator gut spezifiziert ist (keine strukturelle Modellabweichung).
• Nur zwei Parameter unbekannt sind.
• Das wahre System durch die Simulator-Familie repräsentierbar ist.

Die Arbeit räumt ein, dass in realen Szenarien mit strukturellen Abweichungen (z. B. unmodellierte Reibung, Backlash oder Kontakt-Dynamiken), bei denen keine Parameteranpassung das Zielsystem perfekt reproduzieren kann, der Wert der Randomisierungsbreite steigen mag. Die vorliegenden Ergebnisse dienen als Baseline für dieses schwierigere Setting und legen nahe, dass – sofern Parameter identifizierbar sind – die Fidelität der Breite vorzuziehen ist.