Return Augmented Decision Transformer for Off-Dynamics Reinforcement Learning

Dit paper introduceert de Return Augmented (REAG) methode, een aanpak die de return-distributie in de bron-domein aanpast om Decision Transformer-frameworks effectiever te maken voor offline reinforcement learning met dynamische verschuivingen tussen bron- en doeldomeinen.

De kern

De "Reisgids" voor Robots: Hoe je een robot slim maakt met een andere wereld

Stel je voor dat je een robot wilt leren om te wandelen. Je hebt twee opties:

1. De dure route: Je zet de robot in de echte wereld (bijvoorbeeld een ziekenhuis of een drukke straat) en laat hem duizenden keren vallen, opstaan en proberen. Dit is gevaarlijk, duur en soms onethisch.
2. De slimme route: Je traint de robot eerst in een veilige, virtuele simulatie. Maar hier zit een addertje onder het gras: de simulatie is niet 100% hetzelfde als de echte wereld. De robot heeft misschien een iets zwaardere rugzak in de simulatie, of de grond is net iets ruwer. Als je de robot direct in de echte wereld zet, kan hij struikelen en crashen.

Dit probleem noemen onderzoekers "Off-Dynamics Reinforcement Learning". Het is als een piloot die alleen in een vliegsimulator heeft geoefend, maar dan in een vliegtuig met een ander type motor en vleugels.

Deze paper introduceert een nieuwe methode genaamd REAG (Return Augmented Decision Transformer). Laten we uitleggen hoe dit werkt met een paar simpele metaforen.

Het Probleem: De "Reisgids" is verouderd

Stel je voor dat je een reisgids hebt voor een wandeling in de Alpen (de doelwereld). Maar je hebt alleen maar data uit een simulatie van de Alpen (de bronwereld).

• In de simulatie is de lucht iets zuurstofrijker.
• De bergen zijn iets lager.
• De "beloning" (het uitzicht) die je krijgt op de top, is in de simulatie anders dan in het echt.

De meeste oude methoden proberen de robot te leren door de beloningen in de simulatie handmatig aan te passen. Ze zeggen: "Oké, als je in de simulatie 10 punten krijgt, doen we alsof het 12 punten is, zodat het lijkt op de echte wereld."

Het probleem hiermee is dat de moderne robots (zoals de Decision Transformer in dit paper) niet alleen kijken naar punten, maar naar een reisdoel. Ze vragen: "Ik wil een wandeling maken waarbij ik uiteindelijk 100 punten heb verdiend." Als je de punten in de simulatie verandert, maar de robot blijft sturen op zijn oorspronkelijke doel, raakt hij in de war. De oude methode werkt niet goed voor deze slimme, doelgerichte robots.

De Oplossing: REAG (De "Reisgids" herschrijven)

De auteurs van dit paper zeggen: "Laten we niet de punten aanpassen, maar laten we het doel zelf aanpassen."

Ze gebruiken een methode genaamd REAG. Hier is hoe het werkt, stap voor stap:

1. De Verwarring oplossen: De robot kijkt naar zijn oude wandelroutes in de simulatie. Hij ziet routes die in de simulatie "geweldig" waren (hoge punten), maar in de echte wereld misschien "gemiddeld" zijn.
2. De Vertaling: In plaats van de punten te vervalsen, kijken ze naar de verdeling van de resultaten. Ze zeggen: "In de simulatie was een score van 80 heel normaal. In de echte wereld is een score van 80 echter heel zeldzaam en betekent dat je een topwandeling hebt gemaakt."
3. Het Nieuwe Doel: Ze vertalen de doelen van de simulatie naar de echte wereld. Als de robot in de simulatie zegt: "Ik wil een wandeling met een score van 80", vertalen ze dat naar: "In de echte wereld betekent dat eigenlijk een score van 95."

De Metafoor van de Munt:
Stel je voor dat je in de simulatie speelt met munten die 10 gram wegen, en in de echte wereld met munten van 12 gram.

• Oude methode: Je probeert de 10-gram munten in de simulatie zwaarder te maken door er klei aan te plakken.
• REAG-methode: Je houdt de munten zoals ze zijn, maar je vertelt de robot: "Als je denkt dat je een 10-gram munt hebt, wees dan niet verbaasd dat hij in de echte wereld zwaarder is. Pas je verwachtingen aan."

Twee Manieren om dit te doen

De paper beschrijft twee manieren om deze vertaling te maken:

1. REAG-Dara (De "Fysicus"): Deze methode kijkt naar de details van de beweging. Het is alsof je een fysicus bent die precies meet hoe de wind in de simulatie anders waait dan in het echt, en die informatie gebruikt om de doelen aan te passen.
2. REAG-MV (De "Statistiek"): Deze methode is slimmer en eenvoudiger. Het kijkt niet naar elke kleine beweging, maar naar het gemiddelde en de verspreiding van de resultaten.
   • Voorbeeld: "In de simulatie ligt de gemiddelde wandelscore rond de 50, met een spreiding van 10. In de echte wereld ligt het gemiddelde rond de 60, met een spreiding van 15."
   • De robot past zijn doelen simpelweg aan op basis van deze statistieken. Het is alsof je een thermometer hebt die de temperatuur in de simulatie meet, en die automatisch omrekent naar de temperatuur in de echte wereld.

Waarom is dit zo belangrijk?

In de experimenten hebben ze getest op verschillende robot-taken (zoals lopen en rennen) in virtuele omgevingen.

• Ze gaven de robot weinig data uit de echte wereld (slechts 10% van de data).
• Ze gaven hem veel data uit de simulatie (90% van de data).
• Resultaat: Zonder REAG viel de robot vaak. Met REAG (vooral de statistische versie, REAG-MV) liep de robot bijna even goed als wanneer hij alleen met de echte data was getraind.

Conclusie

Deze paper is als een talenvertaler voor robots.
Het stelt robots in staat om hun ervaringen uit een "veilige, maar onvolmaakte" simulatie te gebruiken om een taak in de "gevaarlijke, maar echte" wereld te leren, zonder dat ze duizenden keren hoeven te vallen.

Door de doelen (de "returns") slim aan te passen in plaats van de beloningen handmatig te knoeien, kunnen we robots veel sneller en veiliger trainen voor taken zoals zelfrijdende auto's of medische behandelingen, waar fouten maken geen optie is. Het is een grote stap naar het maken van AI die echt bruikbaar is in onze complexe wereld.

Technische samenvatting

Titel: Return Augmented Decision Transformer voor Off-Dynamics Versterkend Leren

Publicatie: Transactions on Machine Learning Research (02/2026)
Auteurs: Ruhan Wang, Yu Yang, Zhishuai Liu, Dongruo Zhou, Pan Xu (Indiana University & Duke University)

---

1. Het Probleem: Off-Dynamics Reinforcement Learning (RL)

Het paper adresseert het probleem van offline off-dynamics reinforcement learning. Dit scenario doet zich voor wanneer een agent moet leren in een doelenvironment (target domain) met zeer beperkte data, maar wel toegang heeft tot een grote dataset afkomstig uit een bronenvironment (source domain) met vergelijkbare, maar niet identieke dynamica.

• Context: Toepassingen zoals autonoom rijden of medische behandelingen waar directe interactie (trial-and-error) te riskant, duur of ethisch problematisch is.
• De Uitdaging: Er bestaat een "sim-to-real" kloof (verschil in dynamica) tussen de bron- en doelenvironments. Traditionele methoden falen vaak omdat ze aannemen dat de overgangsdynamica ($P$) gelijk is, terwijl in werkelijkheid $P^S \neq P^T$.
• Specifieke Beperking: Bestaande methoden voor dynamica-verschuiving (zoals DARA) zijn gebaseerd op dynamische programmering en beloning-augmentatie. Deze zijn echter niet direct toepasbaar op Return-Conditioned Supervised Learning (RCSL), zoals de Decision Transformer (DT). RCSL-methoden conditioneren het beleid expliciet op de gewenste terugkeer (return), wat de bestaande traject-matching technieken ongeldig maakt.

2. Methodologie: Return Augmented (REAG)

De auteurs stellen REAG (Return Augmented) voor, een methode die specifiek is ontworpen voor DT-achtige frameworks. Het kernidee is om de returns (cumulatieve beloningen) in de bron-dataset te "augmenteren" (aanpassen) zodat hun verdeling beter overeenkomt met die van de doelenvironment, zonder de acties zelf direct te manipuleren.

De methode omvat twee praktische implementaties:

A. REAG*$_{Dara}$ (Dynamics-Aware Reward Augmentation)

• Basis: Gebaseerd op de DARA-algoritmen (Eysenbach et al., 2020; Liu et al., 2022).
• Werking: Het benut de probabilistische inferentie-visie van RL. Het berekent een extra beloningsterm die de log-verhouding weergeeft tussen de overgangsdynamica van de bron- en doelenvironments.
• Implementatie: Het gebruikt een paar geleerde binaire classificatoren om te voorspellen of een overgang $(s, a, s')$ uit de bron- of doelenvironment komt. Deze informatie wordt gebruikt om de beloning in de bron-dataset aan te passen, zodat de optimale trajectverdeling in de bron beter overeenkomt met die in de target.

B. REAG*$_{MV}$ (Direct Matching of Return Distributions)

• Innovatie: Deze methode is specifiek ontworpen voor de aard van Decision Transformers, die een familie van beleidsstrategieën kunnen genereren afhankelijk van de gewenste return ($f$).
• Werking: In plaats van alleen de beloning aan te passen, probeert REAG*$_{MV}$ de volledige verdeling van de return-to-go in de bron te matchen met die in de target.
• Techniek:
  1. Het neemt aan dat de return-verdelingen benaderd kunnen worden door Gaussische verdelingen.
  2. Het schat de gemiddelde waarde ($\mu$) en variantie ($\sigma^2$) van de returns in zowel de bron- als doelenvironments (vaak via een CQL-model).
  3. Het past een lineaire transformatie toe op de bron-returns:
     $$\psi(g^S) = \frac{g^S - \mu^S}{\sigma^S} \cdot \sigma^T + \mu^T$$
  4. Om training-instabiliteit te voorkomen, wordt een clipping-techniek toegepast op de ratio van de standaardafwijkingen.

3. Theoretische Analyse

De auteurs bieden een rigoureuze theoretische analyse van de sample complexiteit.

• Hoofdstelling: Ze bewijzen dat een RCSL-beleid dat is getraind op de augmented bron-dataset (via REAG) een suboptimaliteit bereikt die vergelijkbaar is met een beleid dat direct op de target-dataset is getraind (zonder dynamica-verschuiving).
• Voorwaarde: Dit geldt onder de aanname dat er voldoende overlap is in de bezettingsverdeling (state occupancy) tussen de bron- en doelenvironments.
• Conclusie: De analyse toont aan dat het toevoegen van de gemodificeerde bron-data de suboptimaliteitsgrens aanzienlijk verlaagt, vooral wanneer de bron-dataset veel groter is dan de target-dataset ($N_S \gg N_T$).

4. Experimentele Resultaten

De methoden zijn getest op de D4RL-benchmarks (Gym-MuJoCo: Walker2D, Hopper, HalfCheetah) met twee soorten dynamica-verschuivingen:

1. BodyMass Shift: Verandering in de massa van het robotlichaam.
2. JointNoise Shift: Toevoeging van ruis aan de acties.

Kernbevindingen:

• Prestatieverbetering: Zowel REAG$_{Dara}$ als REAG$_{MV}$ verbeteren consistent de prestaties van DT-achtige baselines (Decision Transformer, Reinformer, QT) in off-dynamics scenario's.
• Superioriteit van REAG*$_{MV}$: De methode gebaseerd op directe verdelingsmatching (REAG$_{MV}$) presteert over het algemeen beter en robuuster dan de beloning-gebaseerde aanpak (REAG$_{Dara}$). Dit bevestigt het belang van het matchen van de return-verdeling in plaats van alleen de beloning.
• Vergelijking met State-of-the-Art: De geaugmenteerde DT-methoden presteren aanzienlijk beter dan traditionele offline RL-methoden (zoals CQL, BCQ, BEAR) en hun DARA-varianten. QT met REAG*$_{MV}$ bereikte vaak de beste resultaten.
• Data-efficiëntie: De methoden laten zien dat een klein beetje target-data (1T) gecombineerd met een grote bron-dataset (10S) na augmentatie resulteert in prestaties die dicht bij die van een model komen dat op een volledige target-dataset is getraind.

5. Belang en Bijdrage

Dit paper is significant voor het veld van Reinforcement Learning om de volgende redenen:

1. Nieuw Kader: Het is de eerste studie die specifiek het probleem van off-dynamics RL aanpakt binnen het kader van Return-Conditioned Supervised Learning (RCSL) en Decision Transformers.
2. Oplossing voor Bestaande Beperkingen: Het lost het probleem op dat bestaande beloning-augmentatiemethoden niet direct toepasbaar zijn op DT-architecturen vanwege de expliciete afhankelijkheid van de return.
3. Praktische Toepasbaarheid: Het biedt een praktische oplossing voor situaties waar data in de echte wereld schaars is, maar simulatie-data (of data uit een soortgelijke omgeving) overvloedig beschikbaar is.
4. Theoretische Onderbouwing: Het levert een wiskundig bewijs dat return-augmentatie de suboptimaliteit kan reduceren tot het niveau van een ideale setting zonder dynamica-verschuiving.

Samenvattend introduceert REAG een krachtige, theoretisch onderbouwde methode om de kloof tussen simulatie en realiteit te overbruggen in offline RL, met name door het slim aanpassen van return-verwachtingen in plaats van alleen beloningen.