MOBODY: Model Based Off-Dynamics Offline Reinforcement Learning

Probleemstelling: Off-Dynamics Offline RL

Het paper richt zich op het probleem van Off-Dynamics Offline Reinforcement Learning (RL). In dit scenario moet een agent een beleid (policy) leren om een doelwit (target) omgeving te beheersen, maar heeft deze alleen toegang tot offline datasets. Deze datasets bestaan uit:

1. Een groot bron-dataset ($D_{src}$) uit een simulator of bron-omgeving.
2. Een zeer klein doelwit-dataset ($D_{trg}$) uit de daadwerkelijke implementatie-omgeving.

De kernuitdaging is dat de dynamica (de overgangsfunctie $P(s'|s, a)$) tussen de bron- en doelwit-omgevingen niet overeenkomen (bijv. verschillende zwaartekracht, wrijving of robotmorphologie). Bestaande methoden lossen dit vaak op door:

• Beloningen te straffen (reward regularization) op basis van het dynamische verschil.
• Data te filteren en alleen transities met een klein dynamisch verschil te gebruiken.

Het nadeel van bestaande methoden: Deze aanpak beperkt de optimalisatie tot gebieden met een lage dynamische verschuiving. Hierdoor wordt de verkenning van hoog-reward staten in de doelwit-omgeving gemist, vooral als de optimale trajecten buiten deze veilige gebieden liggen. Bij grote dynamische verschuivingen falen deze methoden vaak.

---

Methodologie: MOBODY

De auteurs stellen MOBODY voor, een Model-Based Off-Dynamics Offline RL algoritme. In plaats van alleen te vertrouwen op de bestaande data met lage verschuiving, leert MOBODY een model van de doelwit-dynamica om nieuwe trajecten te genereren (rollouts) en het beleid te optimaliseren.

1. Leren van Doelwit-Dynamica (Dynamics Learning)

MOBODY erkent dat hoewel de dynamica verschillen, er gedeelde structurele kennis is (bijv. algemene robotbeweging). Het model gebruikt een architectuur die gedeelde representaties combineert met domeinspecifieke aanpassingen:

• Gedeelde State Encoder ($\phi_E$): Codeert de toestand $s$ naar een gedeelde latente ruimte $z_s$.
• Scheidende Action Encoders ($\psi_{src}, \psi_{trg}$): Omdat dezelfde actie $a$ in verschillende domeinen tot een andere volgende toestand leidt (of een andere actie nodig is voor dezelfde volgende toestand), worden aparte encoders gebruikt om acties te coderen naar de latente ruimte.
  • $z_{sa}^{src} = \psi_{src}(z_s, a)$
  • $z_{sa}^{trg} = \psi_{trg}(z_s, a)$
• Gedeelde Transition Functie ($\phi_T$): Een enkele overgangsfunctie voorspelt de volgende toestand $s'$ op basis van de gecombineerde latente representatie ($z_s + z_{sa}$).

Verliesfuncties voor Dynamics Learning:

• Transition Loss: Minimaliseert de fout tussen de voorspelde en echte volgende toestand voor zowel bron- als doelwit-data.
• Encoder Loss: Zorgt ervoor dat de gecodeerde actie-representatie dicht bij de latente representatie van de volgende toestand ligt, waardoor de encoders de domeinspecifieke dynamica leren onderscheiden.
• Cycle Transition Loss (VAE-stijl): Een extra loss-term (gebaseerd op Variational Autoencoders) die de kwaliteit van de state-representatie verbetert en "mode collapse" voorkomt door de staat te reconstrueren zonder actie (dynamica met $\psi=0$).

2. Beleidsoptimalisatie (Policy Learning)

Na het leren van het dynamische model, wordt het beleid geoptimaliseerd via model-based rollouts.

• Verrijkte Dataset: Het systeem combineert de reguliere doelwit-data, de bron-data (met beloningsregularisatie via DARA om grote verschuivingen te straffen), en gegenereerde rollouts uit het geleerde dynamische model.
• Target Q-Weighted Behavior Cloning: Een cruciale innovatie is de regularisatie van het beleid. In plaats van simpelweg te imiteren wat in de dataset staat (wat in de doelwit-omgeving slecht kan presteren door dynamische verschuiving), wordt de "Behavior Cloning" loss gewogen met de Target Q-waarde.
  • Acties met een hoge Q-waarde in de doelwit-omgeving krijgen meer gewicht.
  • Dit voorkomt dat het beleid uitdijende (out-of-distribution) acties uitvoert die wel goed lijken in de bron-dynamica, maar slecht in de doelwit-dynamica.

---

Belangrijkste Bijdragen

1. Nieuw Paradigma: MOBODY introduceert een model-based aanpak voor off-dynamics RL die de doelwit-omgeving actief verkent via een geleerd dynamisch model, in plaats van beperkt te blijven tot lage-verschuivingsdata.
2. Innovatieve Architectuur: Een framework dat gedeelde state-representaties en een gedeelde overgangsfunctie combineert met domeinspecifieke action encoders. Dit maakt het mogelijk om de beperkte doelwit-data te benutten terwijl de grote hoeveelheid bron-data wordt gebruikt voor het leren van de onderliggende structuur.
3. Target Q-Weighted BC Loss: Een eenvoudige maar effectieve regularisatiemethode die het beleid richt op acties met hoge verwachte beloning in de doelwit-dynamica, wat essentieel is voor stabiliteit in offline settings.
4. Uitgebreide Evaluatie: Het paper biedt een grondige evaluatie op MuJoCo en Adroit benchmarks met verschillende soorten verschuivingen (zwaartekracht, wrijving, kinematica, morfologie).

---

Resultaten

MOBODY werd getest op diverse omgevingen (HalfCheetah, Ant, Walker2d, Hopper, Pen, Door) met verschillende niveaus van dynamische verschuiving.

• Algemene Prestatie: MOBODY presteerde consistent beter dan state-of-the-art baselines (zoals DARA, BOSA, SRPO, REAG) en traditionele model-based methoden (MOPO).
• Verbetering:
  • Gemiddeld 44% verbetering ten opzichte van de beste baselines in scenario's met zwaartekracht- en wrijvingsverschillen.
  • Gemiddeld 25% verbetering in scenario's met kinematische en morfologische verschuivingen.
• Grote Verschuivingen: De prestatieverbetering was het meest opvallend bij grote dynamische verschuivingen (bijv. zwaartekracht x0.1 of x5.0), waar bestaande methoden vaak faalden of zeer lage scores behaalden. MOBODY kon hier succesvol verkenning uitvoeren in gebieden die voor andere methoden ontoegankelijk waren.
• Ablatie Studies: Experimenten bevestigden dat zowel het dynamische leermodel (voor verkenning) als de Target Q-weighted BC loss (voor stabiliteit) essentieel zijn voor de totale prestatie.

---

Betekenis en Conclusie

MOBODY is een significante stap voorwaarts in het veld van offline reinforcement learning onder realistische voorwaarden waarbij de trainingsdata (simulatie) niet perfect overeenkomt met de implementatie (wereld).

• Overcoming Data Scarcity: Het toont aan dat men met zeer weinig doelwit-data (slechts 5.000 transities tegenover 1 miljoen bron-transities) toch hoogwaardige beleidsmodellen kan leren door slim gebruik te maken van gedeelde structuren en model-based verkenning.
• Robuustheid: De methode is robuust tegen grote dynamische verschillen, een veelvoorkomend probleem in robotica en autonome systemen.
• Toekomstperspectief: Het paper suggereert dat data-augmentatie via nauwkeurig geleerde dynamische modellen een krachtige strategie is voor toekomstige RL-toepassingen, hoewel uitdagingen zoals schaarse beloningen (sparse rewards) nog verder onderzoek vereisen.

Kortom, MOBODY lost het fundamentele probleem op van bestaande methoden die te conservatief zijn door het actief verkennen van de doelwit-ruimte via een hybride model dat zowel bron- als doelwit-kennis integreert.