Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation

1. Het Probleem: De Sim-to-Real Kloof

Robotica-systemen moeten vaak opereren in complexe, nieuwe omgevingen. Hoewel simulatie een krachtig hulpmiddel is om leerprocessen te schalen, leidt de onvermijdelijke kloof tussen simulatie en de realiteit (de "dynamics gap") vaak tot falen bij zero-shot overdracht.

• Uitdagingen: Bestaande methoden voor finetuning in de realiteit met beperkte data (low-data regimes) kampen met problemen zoals:
  • Catastrophical Forgetting: End-to-end beleidsoptimalisatie vergeet vaak de vooraf geleerde priors wanneer het wordt gefinetuned op nieuwe domeinen.
  • Exploratie en Credit Assignment: Het leren van lange-termijn taken met weinig data is instabiel, vooral bij het leren van ruwe perceptie (zoals beelden).
  • Data-efficiëntie: Bestaande off-policy RL-methoden maken vaak een onstabiele afweging tussen data-efficiëntie en trainingsstabiliteit.

2. Methodologie: Simulation Distillation (SimDist)

De auteurs introduceren SimDist, een raamwerk dat de kloof overbrugt door een latente wereldmodel (world model) te distilleren in de simulatie en dit aan te passen in de realiteit. De kernfilosofie is het onderscheid maken tussen globale taakstructuur (die stabiel blijft) en lokale dynamica (die verandert tussen simulatie en realiteit).

A. Pretraining in Simulatie

In plaats van alleen expert-data te verzamelen, genereert SimDist een zeer diverse dataset in de simulatie:

1. Expert & Sub-optimale Rollouts: Er wordt gebruikgemaakt van een geprivilegieerde expert-beleid (gebaseerd op volledige toestandsinformatie) en een reeks sub-optimale beleidspunten (checkpoints).
2. Actieperturbaties: Tijdens het genereren van data worden willekeurige verstoringen (noise) in de acties ingebracht. Dit creëert een breed scala aan gedragingen, inclusief fouten en herstelmechanismen, wat zorgt voor een robuuste dekking van de toestand-actie-ruimte.
3. Dichte Supervisie: De dataset bevat niet alleen observaties en acties, maar ook dichte beloningen en waarden (value targets) die direct uit de simulatie worden gehaald.

B. Wereldmodel Architectuur

Het model is een planning-georiënteerd latent wereldmodel dat bestaat uit:

• Encoder: Codeert ruwe observaties (bijv. camera-beelden) naar een latente representatie.
• Dynamisch Model: Voorspelt toekomstige latente toestanden op basis van huidige staat en acties.
• Reward & Value Heads: Transformer-gebaseerde modellen die de toekomstige beloning en waarde voorspellen over een hele traject.
• Base Policy: Een beleid dat actie-chunks voorspelt om het planningsproces te warm-starten.

C. Real-World Adaptatie (Finetuning)

Bij de overdracht naar de echte robot wordt een cruciale strategie toegepast:

• Vriezen van Componenten: De encoder, reward-model, value-model en base policy worden bevroren. Deze componenten bevatten de "globale structuur" (wat is het doel, wat zijn de objecten) die in simulatie is geleerd en in de realiteit geldig blijft.
• Supervised Dynamics Finetuning: Alleen het dynamisch model wordt gefinetuned met gebruik van real-world data. Dit wordt gedaan via een eenvoudige, toezicht-gebaseerde leeropdracht (supervised learning) om de voorspellingen van de latente dynamica aan te passen aan de echte fysica.
• Online Planning: De robot gebruikt Model Predictive Path Integral (MPPI) planning. Omdat de reward- en value-modellen al bekend en betrouwbaar zijn, kan de planner direct betere acties kiezen zodra het dynamisch model de realiteit beter begrijpt, zonder dat er opnieuw "bootstrapping" van beloningen nodig is.

3. Belangrijkste Bijdragen

1. Nieuw Paradigma: SimDist reduceert real-world adaptatie tot een simpel, kort-horizon supervised learning probleem (dynamica identificatie), waardoor het vermijdt dat complexe credit-assignment problemen opnieuw opgelost moeten worden.
2. Data-efficiëntie: Het systeem bereikt significante verbeteringen in precisie-manipulatie en vierpotige locomotie met slechts 15-30 minuten aan real-world data.
3. Overdracht van Reward/Value: Het paper toont aan dat reward- en value-modellen, getraind in simulatie op ruwe perceptie, direct (zero-shot) bruikbaar zijn in de realiteit, wat een nieuwe richting opent voor het benutten van gesimuleerde supervisie.
4. Robuustheid: Door het trainen op diverse, verstorollen in simulatie, leert het model om counterfactuele trajecten te redeneren, wat exploratie in de realiteit vergemakkelijkt.

4. Resultaten

De auteurs evalueren SimDist op vier taken: twee precisie-manipulatie taken (Peg Insertion, Table Leg) en twee vierpotige locomotie taken (Slippery Slope, Foam).

• Prestatie: SimDist presteert aanzienlijk beter dan bestaande methoden zoals IQL, RLPD, en Behavior Cloning (Diffusion Policy). Het bereikt vaak 2x hogere succespercentages dan de baselines.
• Stabiliteit: Terwijl traditionele RL-methoden vaak instabiel zijn of catastrophical forgetting vertonen tijdens finetuning, toont SimDist een stabiele, monotoon stijgende prestatiecurve.
• Snelheid: De robot kan binnen 15-30 minuten real-world data leren om taken succesvol uit te voeren die eerder faalden (bijv. het lopen op een gladde helling of schuimrubber).
• Ablatie Studies: Experimenten tonen aan dat:
  • Grote datasets in simulatie essentieel zijn (verminderen van data leidt tot scherpe prestatiedalingen).
  • Diverse data (inclusief fouten) cruciaal is voor het leren van dynamica die werkt onder off-policy planning.
  • Sequence-to-sequence Transformers voor reward/value voorspelling beter presteren dan per-timestep MLP's.

5. Significantie en Toekomst

SimDist biedt een robuust en schaalbaar kader voor sim-to-real transfer. De belangrijkste innovatie is het ontkoppelen van de wereldmodel-componenten: het behoud van de globale taakstructuur (reward/value) uit simulatie en het alleen aanpassen van de lokale dynamica. Dit lost het probleem van instabiliteit bij end-to-end finetuning op en maakt snelle, betrouwbare adaptatie mogelijk voor complexe robotica-taken.

De methode is niet beperkt tot deze specifieke taken; het biedt een algemeen paradigma voor efficiënte adaptatie in elke omgeving waar simulatie beschikbaar is, en opent de deur voor toekomstig werk gericht op multi-task wereldmodellen en bredere domeinen.