Continual Domain Randomization

1. Probleemstelling

Deep Reinforcement Learning (DRL) in de robotica vertrouwt vaak op gesimuleerde omgevingen om sample-inefficiëntie en veiligheidsproblemen te overwinnen. De "reality gap" — het verschil tussen simulatie en de echte wereld — leidt echter vaak tot slechte prestaties bij het overdragen van beleidsregels (sim2real) zonder verdere afstemming.

• Beperkingen van Bestaande Benaderingen:
  • Perfecte Simulatie: Onmogelijk te bereiken voor complexe systemen door hardware-slijtage en veranderingen in de omgeving.
  • Domeinadaptatie (Finetuning): Vereist data uit de echte wereld, wat tijdrovend en potentieel onveilig is.
  • Standaard Domeinrandomisatie (DR): Randomiseert alle simulatieparameters gelijktijdig om de reality gap te overbruggen. Het randomiseren van te veel parameters tegelijk verhoogt echter de taakcomplexiteit en de onzekerheid van de agent, wat vaak leidt tot suboptimale beleidsregels of het falen van convergentie.
  • Sequentiële Randomisatie zonder CL: Sequentieel trainen op subsets van parameters zonder kennis van eerdere stappen te behouden, leidt tot catastrofaal vergeten, waarbij de agent overfit op de meest recente randomisatie en robuustheid ten opzichte van eerdere randomisaties verliest.

2. Methodologie: Continual Domain Randomization (CDR)

De auteurs stellen Continual Domain Randomization (CDR) voor, een raamwerk dat Domeinrandomisatie combineert met Continual Learning (CL) om sequentieel trainen op subsets van randomisatieparameters mogelijk te maken terwijl kennis uit eerdere stappen behouden blijft.

Kernwerkstroom

1. Initialisatie: De agent wordt eerst getraind in een geïdealiseerde simulatie (zonder randomisatie) om de basistaak te leren.
2. Sequentiële Training: De agent wordt vervolgens getraind op een reeks simulaties, waarbij elke stap een specifieke subset van randomisatieparameters activeert (bijvoorbeeld latentie, koppel, ruis).
3. Continual Learning: Om catastrofaal vergeten te voorkomen, maakt het systeem gebruik van regularisatie-gebaseerde CL-algoritmen om de effecten van eerdere randomisaties te "onthouden".

Algorithmische Implementatie

De auteurs implementeren twee varianten met Proximal Policy Optimization (PPO) gecombineerd met Elastic Weight Consolidation (EWC):

• CDR-λ (Offline):

  • Gebruikt EWC om het beleidsnetwerk te regulariseren.
  • Behoudt een aparte snapshot van de netwerkparameters ($\theta^*$) en de empirische Fisher Informatie Matrix (FIM) voor elke vorige taak.
  • Verliesfunctie: $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
  • Afweging: Hoge geheugengebruik (lineaire schaling met het aantal taken), maar sterke retentie van eerdere kennis.

• CDR-Oλ (Online):

  • Gebruikt een Online-EWC-variant om geheugenoverhead te verminderen.
  • Behoudt slechts één snapshot van het netwerk en één cumulatieve Fisher Informatie Matrix.
  • De Fisher-matrix wordt recursief bijgewerkt: $F^*_i = \gamma F^*_{i-1} + F_i$.
  • Afweging: Constant geheugengebruik, maar mogelijk zwakkere retentie van zeer oude taken vergeleken met de offline-versie.

• Normalisatie: Een belangrijk technisch detail is de normalisatie van de elementen van de Fisher Informatie Matrix naar het bereik $[0.0, 1.0]$ na elke taak. Dit ontkoppelt de regularisatieconstante $\lambda$ van de willekeurige schaling van verschillende taken, waardoor één enkele $\lambda$ over de hele reeks kan worden gebruikt.

3. Experimentele Opstelling

De auteurs evalueerden CDR op twee robotische manipulatietaakken met behulp van een KUKA LBR iiwa 14-arm:

1. Reiktaak: Een 2-gewrichtenarm die een doel bereikt.
2. Grijp taak: Een 7-gewrichten redundant arm met een Robotiq 3-vinger grijper die een kubus grijpt.

Randomisatieparameters:
Drie parameters werden sequentieel in verschillende volgorde gerandomiseerd (bijvoorbeeld Koppel $\to$ Latentie $\to$ Ruis):

• Latentie (L): Willekeurige vertraging in staatobservatie.
• Koppel (T): Gerandomiseerde gewrichtsstijfheid en demping.
• Ruis (N): Sensorsruis.

Baselines:

• Ideaal: Getraind in niet-gerandomiseerde simulatie.
• Gerandomiseerd: Getraind met alle parameters gelijktijdig gerandomiseerd.
• Finetuning: Sequentiële training zonder CL (geen regularisatie).

4. Belangrijkste Resultaten

Reiktaak

• Sim2real Prestaties: Het Ideale model presteerde het beste in simulatie maar faalde in de echte wereld (hoge trillingen, lage beloning) door overfitting. De Gerandomiseerde baseline presteerde goed in de realiteit maar had lagere simulatiebeloningen.
• CDR Prestaties: Beide CDR-varianten bereikten een sim2real-overdracht die vergelijkbaar was met of beter was dan de volledig Gerandomiseerde baseline.
  • CDR-Oλ behaalde de hoogste beloningen en stabiliteit in de echte wereld.
  • Finetuning presteerde goed in simulatie maar toonde een slechte overdracht naar de echte wereld vergeleken met CDR, wat bevestigt dat het vergeten van eerdere randomisaties schadelijk is.
• Ordergevoeligheid: Sequentiële baselines (Finetuning) waren zeer gevoelig voor de volgorde van randomisatie. CDR was aanzienlijk robuuster ten opzichte van de volgorde van parameters.

Grijp taak

• Complexiteit: De grijp taak was moeilijker en vereiste hogere precisie.
• Stabiliteit: CDR-strategieën vertoonden lagere variantie en een stabielere trainingsvoortgang vergeleken met Finetuning.
• Succes in de Echte Wereld:
  • CDR-Oλ behaalde een 78% grijpsuccespercentage in simulatie en 60% in de realiteit (met NLT-volgorde), wat beter was dan de Gerandomiseerde baseline (40% succes in de realiteit).
  • Finetuning toonde hoge variantie; afhankelijk van de volgorde kon het de beste of slechtste performer zijn, wat de instabiliteit benadrukt.
  • CDR-modellen leverden consistente prestaties, ongeacht de volgorde van randomisatie.

Regularisatiesterkte ($\lambda$)

• Lage $\lambda$: Modellen gedragen zich als Finetuning (vergeten eerdere taken), wat leidt tot slechte overdracht naar de echte wereld.
• Hoge $\lambda$: Modellen worden te stijf, kunnen zich niet aanpassen aan nieuwe randomisaties, wat resulteert in slechte prestaties in zowel simulatie als realiteit.
• Optimaal Bereik: Een middengedeelte van $\lambda$ bood de beste balans, waardoor aanpassing mogelijk was terwijl robuustheid behouden bleef.

5. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van Continual Domain Randomization (CDR), dat domeinrandomisatie behandelt als een continual learning-probleem om sequentieel complexiteit in te voeren zonder catastrofaal vergeten.
2. Geheugenefficiëntie: Ontwikkeling van een Online CDR (CDR-Oλ)-variant die de lineaire geheugenscaling van traditionele EWC vermijdt door één enkele Fisher-matrix te behouden, waardoor het schaalbaar is voor lange reeksen randomisaties.
3. Robuustheid ten opzichte van Ordening: Aantonen dat CDR minder gevoelig is voor de volgorde waarin randomisatieparameters worden geïntroduceerd in vergelijking met standaard sequentiële finetuning.
4. Zero-Shot Overdracht: Succesvolle zero-shot sim2real-overdracht op echte robots zonder dat er trainingsdata uit de echte wereld of domeinadaptatie nodig is.

6. Betekenis en Conclusie

Het paper adresseert een kritieke bottleneck in robotische RL: de afweging tussen de moeilijkheid van trainen met hoge randomisatie en het risico van overfitting op een specifieke simulatie. Door continual learning te integreren, stelt CDR agenten in staat om "te leren hoe te leren" over variërende simulatieomstandigheden, waardoor een beleidsregel wordt opgebouwd die robuust is voor een breed scala aan dynamieken.

• Praktische Impact: CDR biedt een flexibel, algemeen raamwerk voor sim2real-overdracht dat niet vereist dat alle randomisatieparameters vooraf worden gedefinieerd of dat toegang tot data uit de echte wereld voor finetuning nodig is.
• Toekomstig Werk: De auteurs suggereren het combineren van CDR met geautomatiseerde of actieve domeinrandomisatie om dynamisch optimale parameterbereiken te bepalen en de aanpak uit te breiden naar visie-gebaseerde randomisatie.

Kortom, CDR biedt een superieur alternatief voor zowel statische randomisatie als eenvoudige sequentiële finetuning, en bereikt state-of-the-art sim2real-prestaties in complexe robotische manipulatietaakken.