🤖 machine learning

DADP: Domain Adaptive Diffusion Policy

Das Paper stellt DADP (Domain Adaptive Diffusion Policy) vor, eine Methode, die durch unüberwachte Entflechtung statischer Domäneninformationen mittels verzögerter Kontextvorhersage und deren gezielte Integration in den Diffusionsprozess robuste, zero-shot Anpassungsfähigkeit an unbekannte Übergangsdynamiken in lernbasierten Steuerungsaufgaben ermöglicht.

Ursprüngliche Autoren: Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du lernst ein neues Videospiel. Du bist so gut darin geworden, dass du jeden Level meistern kannst. Aber dann kommt ein Update: Die Schwerkraft ist plötzlich etwas stärker, oder deine Spielfigur hat längere Beine bekommen. Plötzlich stolperst du über die gleichen Hindernisse, die du vorher mühelos übersprungen hast.

Das ist das Problem, das sich die Forscher mit ihrer neuen Methode DADP (Domain Adaptive Diffusion Policy) stellen. Sie wollen einen KI-Agenten bauen, der nicht nur in einer Welt perfekt ist, sondern sich sofort an jede neue Welt anpassen kann – ohne dass er erst wieder von vorne lernen muss.

Hier ist die Erklärung, wie sie das geschafft haben, ganz einfach und mit ein paar Bildern:

1. Das Problem: Der verwechselte Rucksack

Bisherige Methoden versuchten, dem KI-Agenten einen "Rucksack" mitzugeben, der Informationen über die aktuelle Welt enthält (z. B. "Hier ist die Schwerkraft stark").

Das Problem war aber: Der Rucksack war zu voll mit Schnickschnack.
Stell dir vor, du schaust dir nur die letzten paar Sekunden an, um zu verstehen, in welcher Welt du bist. Du siehst, wie schnell der Agent gerade läuft (das ändert sich jede Sekunde) und wie er gerade springt. Das sind flüchtige Dinge (wie der Wind, der gerade weht).
Frühere Methoden haben diese flüchtigen Dinge zusammen mit den echten Welt-Regeln (wie die Schwerkraft) in den Rucksack gepackt.

Das Ergebnis: Der Agent war verwirrt. Er dachte, der Wind sei Teil der Welt-Regeln. Wenn der Wind aufhörte zu wehen, war er ratlos. Er konnte sich nicht gut anpassen.

2. Die Lösung Teil 1: Der "Zeit-Verzögerungs-Trick" (Lagged Context)

Um den Rucksack zu reinigen, haben die Forscher einen genialen Trick angewandt: Sie schauen nicht mehr auf das, was gerade passiert, sondern auf das, was vor langer Zeit passiert ist.

Die Analogie: Stell dir vor, du willst herausfinden, ob du in einem Bergland oder am Strand bist.
- Der alte Weg: Du schaust auf einen Stein, der gerade den Hang hinunterrollt. Der Stein rollt schnell (weil er gerade losgelassen wurde). Das sagt dir nichts über den Berg, nur über den Moment.
- Der neue Weg (DADP): Du schaust auf einen Stein, der vor 10 Minuten losgelassen wurde. Egal, ob er gerade rollt oder steht – seine Geschwindigkeit ist jetzt egal. Aber die Tatsache, dass er überhaupt den Hang hinunterrollt, verrät dir: "Aha, hier gibt es Schwerkraft!"

Durch diesen "Zeit-Verzögerungs-Trick" (im Paper Lagged Context Dynamical Prediction genannt) filtert die KI automatisch alles raus, was sich nur kurz ändert (wie Geschwindigkeit oder aktuelle Bewegungen). Übrig bleibt nur das Statische: Die eigentlichen Regeln der Welt (Schwerkraft, Reibung, Beinlänge). Der Rucksack ist jetzt leer von Schnickschnack und enthält nur die wichtigen Regeln.

3. Die Lösung Teil 2: Der "Magische Kompass" (Diffusion Injection)

Jetzt hat die KI den perfekten Rucksack mit den Welt-Regeln. Aber wie nutzt sie ihn?
Frühere Methoden haben den Rucksack einfach nur als "Zusatzinfo" in das Gehirn des Agenten gesteckt. Das war wie ein Kompass, der nur daneben lag, aber nicht den Weg wies.

DADP macht etwas anderes: Sie verändern den Startpunkt der Reise.

Die Analogie: Stell dir vor, der Agent muss einen Weg durch einen dichten Nebel finden (das ist das "Denoising" im Diffusions-Modell).
- Normalerweise: Der Agent startet irgendwo im Nebel und versucht, den Weg zu erraten.
- Mit DADP: Bevor der Agent überhaupt losgeht, wird der Nebel so manipuliert, dass er sich automatisch in die richtige Richtung neigt. Der Rucksack mit den Welt-Regeln wird direkt in den Startpunkt integriert.

Statt den Agenten zu sagen: "Hey, denk an den Rucksack!", sagen sie: "Wir starten die Reise direkt in der richtigen Welt." Das macht den Weg viel kürzer und sicherer. Der Agent muss nicht raten, sondern folgt einem klaren Pfad, der schon auf die spezifische Welt zugeschnitten ist.

Das Ergebnis: Ein Meister der Anpassung

Wenn man diese beiden Tricks kombiniert, passiert Magie:

Die KI versteht die Welt sofort, weil sie nur die echten Regeln kennt (kein Schnickschnack).
Sie startet ihre Aktionen perfekt vorbereitet, weil der Startpunkt schon "gefärbt" ist.

In Tests (wie beim Laufen von Robotern oder beim Öffnen von Türen mit Roboterhänden) hat sich DADP als deutlich besser erwiesen als alle vorherigen Methoden. Sie funktioniert nicht nur in den Welten, die sie trainiert hat, sondern auch in völlig neuen, unbekannten Welten – ohne dass sie jemals dort trainiert wurde (das nennt man "Zero-Shot Adaptation").

Zusammengefasst:
DADP ist wie ein Reisender, der lernt, den Wetterbericht (flüchtige Dinge) zu ignorieren und stattdessen nur die Karte (die festen Regeln der Welt) zu lesen. Und bevor er losgeht, wird ihm der Kompass direkt in die Hand gedrückt, der genau auf sein Ziel zeigt. So kommt er immer sicher an, egal ob im Regen, in der Sonne oder im Schnee.

1. Problemstellung

Das zentrale Problem, das in diesem Paper adressiert wird, ist die Domänenanpassung (Domain Adaptation) in lernbasierten Kontrollsystemen. Herkömmliche lernbasierte Strategien (Policies) sind oft stark an spezifische Umgebungen oder Betriebsbedingungen gekoppelt und leiden unter drastischen Leistungsverschlechterungen, wenn sie in unbekannten Domänen (Out-of-Distribution, OOD) eingesetzt werden.

Ein spezifisches Hindernis bei bestehenden Ansätzen ist die Entanglement (Verschlingung) von Informationen bei der Darstellungslernen (Representation Learning):

Viele Methoden lernen Domänenrepräsentationen durch dynamische Vorhersage (z. B. Vorhersage des nächsten Zustands basierend auf dem aktuellen Kontext).
Das Paper identifiziert, dass die Verwendung von Kontexten, die direkt an den aktuellen Schritt angrenzen (z. B. die letzten $H$ Schritte), dazu führt, dass die gelernten Repräsentationen sowohl statische Domäneninformationen (z. B. Schwerkraft, Reibungskoeffizienten) als auch sich ändernde dynamische Eigenschaften (z. B. momentane Geschwindigkeiten, Beschleunigungen) enthalten.
Diese Mischung verwirrt die konditionierte Policy und schränkt die „Zero-Shot"-Anpassungsfähigkeit ein, da die Repräsentation nicht stabil genug ist, um die Domäne eindeutig zu beschreiben.

2. Methodik: DADP (Domain Adaptive Diffusion Policy)

Das vorgeschlagene Framework DADP löst das Problem durch zwei Hauptkomponenten: Unsupervised Disentanglement (unüberwachte Entschlüsselung) und Domain-Aware Diffusion Injection (domänenbewusste Diffusionsinjektion).

A. Lagged Context Dynamical Prediction (Unschlüsselung der Repräsentation)

Um die statischen Domäneninformationen von den zeitlich variierenden Informationen zu trennen, führen die Autoren eine neue Strategie namens Lagged Context Dynamical Prediction ein:

Prinzip: Anstatt den Kontext $\tau_t$ aus der unmittelbaren Vergangenheit zu nehmen, wird ein zeitlicher Versatz $\Delta t$ eingeführt. Der Kontext für die Vorhersage stammt aus einer früheren Epoche oder einem früheren Zeitpunkt ( $\tau_{t-\Delta t}$ ).
Wirkung: Durch Vergrößerung von $\Delta t$ (im Grenzfall $\Delta t \to \infty$ , z. B. Nutzung eines Kontexts aus einer anderen Episode derselben Domäne) werden die zeitlokalen Hinweise (wie momentane Geschwindigkeit) für die Vorhersage des nächsten Zustands unbrauchbar.
Ergebnis: Der Encoder wird gezwungen, nur die statischen, domänenspezifischen Faktoren (z. B. Schwerkraft, Masseneigenschaften) zu extrahieren, da nur diese über große Zeitabstände hinweg konsistent bleiben. Dies führt zu einer hochqualitativen, entkoppelten Domänenrepräsentation $z$ .

B. Diffusion Modulation (Nutzung der Repräsentation)

Anstatt die gelernte Repräsentation $z$ lediglich als zusätzlichen Eingabevektor für die Policy zu verwenden (wie bei herkömmlichen Conditional Policies), injiziert DADP die Repräsentation direkt in den generativen Diffusionsprozess:

Bias der Prior-Verteilung: Der Denoising-Prozess startet nicht von reinem Gaußschen Rauschen, sondern von einer Gaußschen Mischverteilung (Gaussian Mixture), bei der die Repräsentation $z$ als Mittelwert (Peak) dient. Dies verschiebt den Startpunkt im latenten Raum in Richtung der domänenspezifischen Aktionsmodalitäten.
Reformulierung des Diffusionsziels: Das Vorhersageziel des Modells wird angepasst. Anstatt nur das Rauschen $\epsilon$ vorherzusagen, lernt das Modell eine kombinierte Größe $\hat{\epsilon}_\theta$ , die sowohl das Rauschen als auch die Verschiebung durch die Repräsentation $z$ umfasst.
Vorteil: Dies ermöglicht es der Policy, die Struktur des Rauschraums besser zu nutzen und domänenspezifische Aktionsmuster effizienter zu rekonstruieren, was zu stabileren und leistungsfähigeren Entscheidungen führt.

3. Wichtige Beiträge

Unüberwachtes Repräsentationslernen: Einführung von Lagged Context Dynamical Prediction, einer einfachen aber effektiven Methode, um statische Domänenmerkmale durch zeitliche Verschiebung des Kontexts zu isolieren, ohne auf überwachtes Lernen oder zusätzliche Daten zu angewiesen zu sein.
Repräsentationsgesteuerte Denoising: Ein neuer Ansatz zur Nutzung von Domänenrepräsentationen in Diffusionsmodellen durch Biasing der Prior-Verteilung und Umformulierung des Vorhersageziels, anstatt nur konditionale Eingaben zu verwenden.
Überlegene Leistung: Umfassende Evaluierung auf anspruchsvollen Benchmarks (Laufroboter in MuJoCo und Manipulation in Adroit), die eine konsistent überlegene Leistung im Zero-Shot-Setting zeigt.
Open Source: Bereitstellung eines vollständigen Codebases, einschließlich Algorithmen, Datensätzen und der Pipeline zur Datengenerierung.

4. Ergebnisse

Die Autoren evaluieren DADP auf mehreren Umgebungen (HalfCheetah, Walker2d, Ant, Hopper, Door, Relocate) unter In-Distribution (IID) und Out-of-Distribution (OOD) Bedingungen.

Leistung: DADP übertrifft State-of-the-Art-Methoden wie CORRO, Prompt-DT und Meta-DT signifikant, insbesondere in OOD-Szenarien.
- Beispiel Walker2d (OOD): DADP erreicht einen normalisierten Return von 2834, während Meta-DT nur 889 und CORRO nur 66 erreicht.
- Beispiel HalfCheetah (OOD): DADP erreicht 3001 gegenüber 3174 (Meta-DT) und -246 (CORRO).
Stabilität: DADP zeigt über verschiedene Zufallssamen hinweg eine geringere Standardabweichung, was auf eine höhere Robustheit hindeutet.
Ablationsstudien:
- Die Analyse des Versatzes $\Delta t$ zeigt, dass mit zunehmendem $\Delta t$ die Qualität der Repräsentation (gemessen an Linear-Probe-Genauigkeit und Rekonstruktionsverlust) stark ansteigt und sich der Qualität überwachter Repräsentationen annähert.
- Die Kombination aus verbesserter Repräsentation und der neuen Diffusions-Injektion führt zu den besten Ergebnissen. Ein Metrik namens „Mastery" (Fähigkeit, 60% der Expertenleistung in verschiedenen Domänen zu erreichen) ist bei DADP am höchsten.

5. Bedeutung und Fazit

Das Paper leistet einen wichtigen Beitrag zum Bereich des Offline Meta-Reinforcement Learning und Diffusion Policies.

Es adressiert ein fundamentales Problem der bisherigen Ansätze: die Vermischung von statischen und dynamischen Informationen in den gelernten Repräsentationen.
Durch die Entkopplung dieser Informationen und die direkte Integration in den Diffusionsprozess wird gezeigt, dass Diffusionsmodelle besonders gut geeignet sind, um komplexe, domänenspezifische Aktionsverteilungen zu modellieren.
Die Methode ermöglicht es Agenten, sich ohne weitere Trainingsdaten (Zero-Shot) an völlig neue physikalische Umgebungen anzupassen, was einen großen Schritt hin zu robusteren und allgemeiner einsetzbaren Robotersystemen darstellt.

Die Autoren weisen jedoch auf eine Einschränkung hin: Der Ansatz konzentriert sich derzeit auf stationäre (zeitinvariante) Dynamiken. Für nicht-stationäre Umgebungen, in denen sich die Dynamik während des Betriebs ändert, müsste die Methode erweitert werden, um zeitvariante Signale gezielt zu behalten.