🤖 machine learning

DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning

DADiff is een op diffusie gebaseerd framework voor online cross-domein beleidsadaptatie dat dynamische mismatch schat via generatieve trajectverschillen om effectieve beloningsmodificatie of dataselectie mogelijk te maken, waardoor het bestaande methoden overtreft in omgevingen met significante domeinverschuivingen.

Oorspronkelijke auteurs: Hanyang Chen, Anirudh Satheesh, Longchao Da, Hua Wei

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanyang Chen, Anirudh Satheesh, Longchao Da, Hua Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hond probeert te leren om een marathon te lopen. Je kunt hem niet zomaar in de echte wereld werpen; hij kan struikelen, gewond raken of iets dure dingen breken. Daarom bouw je een videogame-simulator waarin de hond miljoenen keren kan oefenen zonder gevaar. Dit is de wereld van Reinforcement Learning (RL), een tak van kunstmatige intelligentie waarbij agenten leren door middel van vallen en opstaan om beslissingen te nemen. Het doel is om de agent te trainen in deze veilige "bronwereld" (de simulator) en die vaardigheden vervolgens over te dragen naar de "doelwereld" (het echte ding).

Maar hier zit de crux: simulators zijn nooit perfect. In het spel is de grond misschien iets gladder, of zijn de poten van de robot een klein beetje langer dan in de werkelijkheid. Deze kleine verschillen worden dynamics mismatches genoemd. Als je een robot die getraind is op perfect ijs in de echte wereld op nat gras laat droppen, kan hij uitglijden en hopeloos falen. De grote vraag in dit vakgebied is: hoe repareren we het brein van een robot zodat hij zich kan aanpassen aan deze vreemde kuren van de echte wereld zonder dat hij miljoenen nieuwe oefenrondes nodig heeft? Dit paper pakt exact dat probleem aan, door een slimme nieuwe manier voor te stellen om precies te meten hoe anders de echte wereld is van de simulatie en deze informatie te gebruiken om de robot slimmer te maken.

Het Problek: De "Uncanny Valley" van de Fysica

Denk bij het trainen van een robot aan het leren fietsen aan een kind. Je leert het misschien op een rustig, vlak parkeerterrein (de bron-domein). Maar wanneer het kind eindelijk probeert te rijden op een hobbelige, winderige straat (het doel-domein), is de fysica anders. De wind duwt het kind, de hobbels schudden het kind heen en weer, en de banden grijpen anders aan op de grond. Als het kind probeert precies hetzelfde evenwicht te gebruiken als dat het in het parkeerterrein leerde, zal het crashen.

In de wereld van AI hebben onderzoekers geprobeerd dit op te lossen door gebruik te maken van "domain classifiers" (die fungeren als een scheidsrechter die roept: "Hé, je bent in de verkeerde wereld!") of door slechte oefendata te filteren. Maar de auteurs van dit paper, Hanyang Chen en collega's, vonden deze methoden een beetje te lomp. Ze wilden een manier om de volledige reis van een fout te zien, niet alleen het moment waarop het gebeurde. Ze vroegen zich af: wat als we naar het "geestpad" konden kijken dat een robot in de echte wereld zou hebben afgelegd versus het pad dat hij daadwerkelijk in de simulator heeft afgelegd, en deze stap voor stap met elkaar vergelijken?

De Oplossing: DADIFF en de "Diffusion" Detective

Maak kennis met DADIFF (Diffusion-Driven Cross-Domain Policy Adaptation). Om dit te begrijpen, stel je een magische camera voor die een foto kan maken van de toekomstige beweging van een robot en die foto vervolgens langzaam kan veranderen in statische ruis, zoals een oude tv die het signaal verliest. Dit wordt een diffusion model genoemd. Normaal gesproken worden deze modellen gebruikt om kunst te genereren, maar hier gebruiken de onderzoekers ze om "wat als"-scenario's te generen.

De kern van het idee is dat wanneer een robot van punt A naar punt B beweegt, hij niet simpelweg springt; hij volgt een verborgen, stap-voor-stap traject. In de simulator is dit pad één ding. In de echte wereld is het iets anders. DADIFF gebruikt het diffusion model om deze verborgen paden te reconstrueren. Het vraagt: "Als de robot deze actie in de simulator had uitgevoerd, hoe had de echte wereld er dan op elk minuscuul stapje tussendoor uitgezien?"

Door het "simulator-geestpad" te vergelijken met het "echte wereld-geestpad", kan DADIFF de generative trajectory deviation meten. Het is also[f met het vergelijken van twee verschillende routes op een GPS. De ene route gaat via een gladde snelweg (de simulator), en de andere via een weg vol gaten (de echte wereld). DADIFF zegt niet alleen: "Deze zijn verschillend." Het berekent exact waar en hoeveel de wegen uiteenlopen.

Twee Manieren om de Robot te Repareren

Zodra DADIFF precies weet hoe verschillend de werelden zijn, biedt het twee creatieve manieren om het brein van de robot te repareren:

De "Verfijnende" Aanpak (DADIFF-modify): Stel je voor dat de robot een videogame speelt waarin hij punten verdient voor het rennen. Als de robot een stap zet die in de echte wereld tot een crash zou leiden (zelfs als het in de simulator prima is), drukt DADIFF-modify op de "strafknop". Het trekt punten af van die actie. Het is als een strenge coach die zegt: "Doe die beweging niet; in de echte wereld zou je vallen, dus je verliest punten voor het proberen ervan." Dit verandert de motivatie van de robot, waardoor hij leert acties te vermijden die er goed uitzien in de simulator maar gevaarlijk zijn in de werkelijkheid.
De "Curator" Aanpak (DADIFF-select): Soms is het bestraffen van de robot niet genoeg. In plaats daarvan fungeert DADIFF-select als een strikte redacteur. Het bekijkt alle oefendata die de robot in de simulator heeft verzameld en gooit de "slechte" voorbeelden weg—specifiek de voorbeelden waarbij de simulator en de echte wereld zeer verschillende paden zouden hebben afgelegd. Het houdt alleen de "goede" data over waar de simulator een getrouwe kopie van de werkelijkheid was. De robot leert dan alleen van deze hoogwaardige, betrouwbare voorbeelden.

Wat Ze Vonden: Een Nieuwe Kampioen

De auteurs testten hun methode in een virtuele sportschool met vier verschillende robotdieren: een mier, een springer (hopper), een half-cheetah en een walker. Ze manipuleerden de fysica op extreme manieren—door de zwaartekracht te veranderen, de poten van de robots korter te maken, of de vloer superglad te maken.

De resultaten waren indrukwekkend. In de meeste van deze lastige scenario's presteerde DADIFF beter dan alle andere methoden. Terwijl andere technieken soms goed werkten op één specifieke taak maar hopeloos faalden op een andere, bleef DADIFF sterk en consistent.

Op de taak "half-cheetah met gebroken achterste dijen" verbeterde de beloningsmodificatie-versie van DADIFF de prestaties met een enorme 42,3% vergeleken met de baseline.
Over alle zestien verschillende geteste taken heen, verbeterde de methode de prestaties met gemiddeld 8,7%.

Interessant genoeg hadden de twee versies van DADIFF verschillende sterktes. De "Verfijnende" aanpak (het modificeren van beloningen) was goed in de meeste taken, maar de "Curator" aanpak (het selecteren van data) blonk uit in specifieke situaties waarin het beloningssysteem in de war raakte, zoals wanneer de robot "geen dijen" of een "groot hoofd" had. In die gevallen werkte het simpelweg filteren van de verwarrende data beter dan het proberen te straffen van de robot.

Waarom het Ertoe Doet

Het paper suggereert dat het bekijken van het probleem door de lens van "generatieve trajecten"—het zien van het hele verborgen pad van een beweging in plaats van alleen het begin en het einde—ons een veel scherpere tool geeft voor adaptatie. Waar eerdere methoden probeerden het verschil tussen werelden te raden, meet DADIFF de divergentie van de gehele reis.

De auteurs toonden ook aan dat hun methode robuust is, zelfs wanneer de echte wereld ruizig en onvoorspelbaar is, een plek waar andere methoden vaak struikelen. Ze beweerden niet dat ze het probleem van robotleren voor altijd hebben opgelost, maar ze lieten wel zien dat het gebruik van diffusion modellen om achter het gordijn van de fysica te gluren, robots een veel grotere kans geeft om de sprong van de simulator naar de echte wereld te overleven. Het is een stap naar het bruikbaar maken van onze digitale trainingsgronden voor het bouwen van echte machines.

Technische Samenvatting van DADIFF: Diffusion-Driven Cross-Domain Policy Adaptation voor Reinforcement Learning

Probleemstelling

Het artikel behandelt de uitdaging van online dynamische adaptatie in Reinforcement Learning (RL). In veel real-world scenario's is trainen direct in de doel-domein (bijv. fysieke robots) beperkt door veiligheid, kosten en een beperkt interactiebudget. Daarom worden policies vaak getraind in een bron-domein (bijv. een simulator) en vervolgens overgedragen naar het doel-domein. Echter, de dynamica-mismatch tussen de bron- en doel-transitiefuncties ( $P_{src}$ en $P_{tar}$ ) leidt vaak tot significante prestatievermindering.

Bestaande oplossingen, zoals domain randomization, meta-learning, of methoden die vertrouwen op domain-classifiers en value-guided filtering, hebben vaak moeite om dynamica-verschillen op een fijnmazige, distributionele manier te vatten, vooral wanneer domeinen complex of stochastisch zijn. Het artikel stelt dat huidige benaderingen een gebrek hebben aan een mechanisme om de dynamica-mismatch te modelleren als een discrepantie in generatieve processen.

Methodologie: DADIFF

De auteurs stellen DADIFF voor, een framework dat domain-adaptatie benadert vanuit een generatief modelleringsperspectief, specifiek gebruikmakend van Diffusion Probabilistic Models (DDPM).

1. Theoretische Fundering: Generatieve Trajectafwijking
De kern van de theoretische bijdrage is de definitie van een generatief traject. In plaats van een toestandstransitie $s' = P(s, a)$ te beschouwen als een enkele stap, breken de auteurs de dynamica van de transitie af in een Markov-keten van $K$ latente toestanden $\{s'_k\}_{k=1}^K$ , die een traject vormen van een initiële latente toestand $s'_K$ naar de volgende toestand $s'_0$ .

Theorem 4.2 stelt een prestatie-bound vast die aantoont dat het verschil in verwachte return tussen het bron- en doel-domein begrensd wordt door de generatieve trajectdiscrepantie.
Specifiek wordt de prestatiekloof gecontroleerd door de Kullback-Leibler (KL) divergentie tussen de latente toestandstransities van het bron- en doel-domein. Als de trajecten vergelijkbaar zijn, is het prestatieverschil klein.

2. Schatten van de Dynamica-mismatch
DADIFF maakt gebruik van het reverse proces van DDPM om deze discrepantie te schatten.

De transitie-dynamica in een domein $M$ wordt gemodelleerd als een denoising-proces waarbij latente toestanden transformeren volgens een Gaussische distributie geparametriseerd door een ruismodel $\epsilon_M$ .
De discrepantie $d(s, a, s')$ wordt berekend als de som van de KL-divergenties tussen de bron- en doel-latente toestandstransities.
In de praktijk wordt dit geschat door de ware ruis $\epsilon$ die gebruikt is om een latente toestand in het forward-proces te genereren te vergelijken met de ruis die voorspeld wordt door een op het doel-domein getraind ruismodel $\epsilon_{tar}^\theta$ .
De afwijking wordt berekend als:
$d(s, a, s') = \sum_{k=1}^K \frac{\beta_k}{2(1-\bar{\alpha}_{k-1})\alpha_k} \|\epsilon - \epsilon_{tar}^\theta(\sqrt{\bar{\alpha}_k}s'_0 + \sqrt{1-\bar{\alpha}_k}\epsilon, s, a, k)\|^2$

3. Adaptatie Varianten
Om de policy aan te passen aan het doel-domein met behulp van deze afwijkingsmetriek, ontwikkelen de auteurs twee complementaire varianten gebaseerd op het Soft Actor-Critic (SAC) algoritme:

DADIFF-modify (Reward Modificatie): De berekende afwijking $d(s, a, s')$ wordt gebruikt als een penalty-term om de bron-domein beloningsfunctie te modificeren: $r_{mod} = r - \lambda d(s, a, s')$ . Dit moedigt de policy aan om transities te vermijden die een hoge dynamica-mismatch vertonen.
DADIFF-select (Data Selectie): De methode filtert bron-domein data door alleen de transities te behouden met de laagste afwijking (onder een specifieke kwantiel $\xi\%$ ). Dit zorgt ervoor dat de value function primair wordt bijgewerkt op bron-data die goed overeenkomt met de doel-dynamica.

Belangrijkste Bijdragen

Generatief Perspectief op Dynamica-mismatch: Het artikel introduceert een nieuw standpunt waarbij dynamica-mismatch wordt geïnterpreteerd als een discrepantie in generatieve trajecten, in plaats van enkel een statisch classifier-probleem of een value-predictiefout.
Theoretische Prestatie-bound: De auteurs bieden een theoretische analyse (Theorem 4.2) die bewijst dat het verschil in policy-prestaties begrensd wordt door de generatieve trajectafwijking. Ze demonstreren ook dat eerder werk (PAR) kan worden gezien als een speciaal geval van hun framework waarbij de trajectlengte $K=1$ .
Diffusion-gebaseerde Schatting: De methode maakt gebruik van de multi-step sampling natuur van diffusiemodellen om fijnmazige, distributionele discrepanties over het gehele transitietraject te vangen, in plaats van enkel te vertrouwen op lokale toestandvergelijkingen.
Duale Adaptatiestrategie: De ontwikkeling van zowel reward-modificatie als data-selectie varianten maakt het mogelijk de methode flexibel toe te passen afhankelijk van de taakkenmerken.

Experimentele Resultaten

De auteurs evalueerden DADIFF op vier MuJoCo omgevingen (Ant, Hopper, HalfCheetah, Walker) met vier soorten verschuivingen: kinematica, morfologie, wrijving en zwaartekracht.

Prestaties: DADIFF toonde superieur of zeer competitief presterende resultaten vergeleken met baselines (DARC, VGDF, PAR, SAC-IW, SAC-tune) over 16 diverse taken. Het presteerde consequent beter dan bestaande methoden, met name in taken waar reward-modificatie baselines faalden.
Stochasticiteit: In experimenten met stochastische dynamica (toegevoegde ruis aan acties), behield DADIFF-modify robuuste prestaties, terwijl de PAR baseline significant degradeerde. De auteurs schrijven dit toe aan de afhankelijkheid van PAR van one-to-one representatie aannames, wat DADIFF vermijdt.
Efficiëntie: Hoewel DADIFF-modify een lichte toename in GPU-geheugen veroorzaakt door de generatie van latente toestanden, blijft het computationeel efficiënt vergeleken met model-gebaseerde benaderingen zoals VGDF, die aanzienlijk meer trainingstijd vereisten.
Parameter Sensitiviteit: De studie toonde aan dat hyperparameters (penalty coëfficiënt $\lambda$ , data selectie ratio $\xi$ , en diffusie tijdstappen $K$ ) taak-afhankelijk zijn, waarbij optimale prestaties over het algemeen worden gevonden bij gematigde waarden (bijv. $K=100$ ).

Betekenis en Claims

Het artikel claimt dat DADIFF effectief het dynamica-mismatch probleem aanpakt door gebruik te maken van de fijnmazige, distributionele aard van generatieve trajecten. Door de adaptatie-problematiek te kaderen via de lens van diffusiemodellen, vangt de methode hoe divergentie accumuleert langs een traject, wat een robuustere schatting van de dynamica-discrepantie biedt dan vorige methoden.

De auteurs benadrukken dat hun theoretische analyse de generatieve trajectafwijking direct verbindt met prestatiegaranties, wat een gefundeerde motivatie biedt voor het algoritmische ontwerp. Ze concluderen dat hun methode een superieure trade-off biedt tussen computationele kosten en adaptatie-effectiviteit, met name in complexe of stochastische omgevingen waar traditionele representatie learning of classifier-gebaseerde benaderingen moeite hebben. De code is beschikbaar gesteld om reproduceerbaarheid te faciliteren.