DADP: Domain Adaptive Diffusion Policy

Probleemstelling

Het leren van beleidsstrategieën (policies) die kunnen generaliseren naar ongezette overgangsdynamieken (domain adaptation) blijft een fundamentele uitdaging in leer-gebaseerde besturing. Bestaande methoden zijn vaak gekoppeld aan specifieke omgevingen en presteren slecht bij deployen in nieuwe domeinen.

De kern van het probleem ligt in twee gebieden:

1. Representatiekwaliteit: Methoden die domeinrepresentaties leren via dynamische voorspelling (dynamical prediction) hebben de neiging om statische domein-informatie (bijv. zwaartekracht, wrijving) te verstrengelen met tijdsvariabele dynamische eigenschappen (bijv. momentane snelheid of versnelling). Omdat de context vaak uit de meest recente geschiedenis bestaat, leert het model deze tijdsvariabele informatie mee, wat de representatie instabiel maakt en de generalisatie beperkt.
2. Representatiegebruik: Bestaande methoden voegen geleerde representaties vaak alleen toe als extra input (concatenatie) of gebruiken ze voor conditionering. Dit leidt er vaak toe dat het generatieve proces (zoals bij diffusion modellen) de verschillende domein-specifieke actie-modi niet effectief kan scheiden, wat resulteert in gemengde denoising-trajecten en suboptimale prestaties.

Methodologie: DADP

De auteurs stellen DADP (Domain-Adaptive Diffusion Policy) voor, een methode die robuuste adaptatie bereikt door ongecontroleerde ontkoppeling (unsupervised disentanglement) en domein-bewuste injectie in het diffusieproces.

1. Ongelijke Ontkoppeling: Lagged Context Dynamical Prediction

Om tijdsvariabele informatie te filteren en alleen statische domein-informatie te extraheren, introduceert DADP een strategie genaamd Lagged Context Dynamical Prediction.

• Principe: In plaats van de context te nemen uit de directe onmiddellijke geschiedenis (wat tijdsvariabele informatie bevat), wordt een tijdsvertraging ($\Delta t$) ingevoerd. De context wordt genomen uit een verleden moment ($\tau_{t-\Delta t}$) dat ver genoeg verwijderd is van de huidige stap.
• Effect: Naarmate $\Delta t$ toeneemt (en in de limiet $\Delta t \to \infty$, bijvoorbeeld door context uit een andere episode in hetzelfde domein te halen), wordt de informatie over de momentane dynamiek (zoals snelheid) onbruikbaar voor het voorspellen van de volgende toestand. Het model wordt gedwongen om uitsluitend de statische, domein-specifieke parameters (zoals zwaartekracht of massa) te leren om de voorspelling te minimaliseren.
• Resultaat: Dit leidt tot een representatie $z$ die puur statisch is en de domein-dynamiek accuraat beschrijft zonder drift.

2. Representatiegebruik: Diffusion Modulation

In plaats van de representatie $z$ simpelweg als extra input te gebruiken, injecteert DADP deze direct in het generatieve proces van het diffusion model.

• Biasing the Prior: Het denoising-proces start niet van puur Gaussisch ruis, maar van een Gaussische Mixtuur waarbij de gemiddelde waarde verschuift naar de geleerde representatie $z$. Dit betekent dat de prior-verdeling al domein-specifieke actie-modi bevat.
• Hervorming van het Doel: De diffusiedoelstelling wordt herschreven. In plaats van alleen ruis ($\epsilon$) te voorspellen, leert het model een gecombineerde term $\hat{\epsilon}_\theta$ die zowel de ruis als de verschuiving door de representatie omvat.
• Formulering: De voorwaartse stap wordt gedefinieerd als $a_t = \sqrt{\bar{\alpha}_t}(a_0 - z) + z + \sqrt{1-\bar{\alpha}_t}\epsilon$. Hierdoor wordt de representatie $z$ direct in de dynamiek van het denoising-proces verwerkt, wat de zoekruimte voor het beleid effectief verkleint en de convergentie versnelt.

Belangrijkste Bijdragen

1. Ongecontroleerde Representatielearning: De introductie van Lagged Context Dynamical Prediction, een eenvoudige maar effectieve methode om statische domeinrepresentaties te leren door tijdsvariabele ruis te filteren via een tijdsvertraging.
2. Denoising met Representatievoorspelling: Een nieuwe manier om representaties te gebruiken in diffusion policies door de prior te beïnvloeden en het voorspellingdoel te herschrijven, in plaats van ze alleen als conditionering te gebruiken.
3. Superieure Prestaties: DADP toont consequent superieure prestaties in zowel In-Distribution (IID) als Out-of-Distribution (OOD) settings op uitdagende benchmarks voor locomotie en manipulatie.
4. Open Source: De publicatie van een volledige codebase, datasets en een data-generatiepijplijn om de gemeenschap in staat te stellen het framework aan te passen.

Resultaten

De auteurs hebben DADP geëvalueerd op een breed scala aan taken in MuJoCo (HalfCheetah, Walker2d, Ant, Hopper) en Adroit (manipulatie).

• Prestatie: DADP presteert consistent beter dan state-of-the-art baselines zoals CORRO, Prompt-DT en Meta-DT. In de OOD-settings (onbekende domeinen) behaalt DADP vaak de hoogste genormaliseerde return.
• Stabiliteit: Het model toont een lagere variantie over verschillende random seeds, wat wijst op grotere stabiliteit.
• Ablatie-studies:
  • Het verhogen van $\Delta t$ verbetert de kwaliteit van de representatie aanzienlijk (gemeten via lineaire probe nauwkeurigheid en reconstructieverlies), wat leidt tot betere beleidsprestaties.
  • De combinatie van een hoge-kwaliteit representatie (met groot $\Delta t$) en de Diffusion Modulation (biasing prior + joint prediction) levert de grootste winst op. Zonder deze specifieke modulatie daalt de prestatie significant.
  • De methode toont een hoge "mastery" (het vermogen om in meer dan 60% van de gevallen expert-niveau prestaties te halen), wat aantoont dat het beleid diverse domeinen effectief kan beheersen.

Betekenis en Toekomstperspectief

DADP biedt een nieuw paradigma voor domain adaptation in reinforcement learning. Door het probleem van verstrengelde informatie op te lossen via een simpele tijdsvertraging en door representaties diep te integreren in generatieve modellen, overtreft het bestaande methoden in zowel generalisatie als stabiliteit.

De belangrijkste implicatie is dat diffusion policies, wanneer ze correct worden gemoduleerd met domein-specifieke informatie, een krachtig architectonisch raamwerk vormen voor adaptieve besturing. De auteurs merken op dat hun huidige werk zich richt op stationaire dynamieken; toekomstig werk zal zich richten op het ontkoppelen en behouden van tijdsvariabele signalen voor niet-stationaire omgevingen.