🤖 machine learning

DAWM: Diffusion Action World Models for Offline Reinforcement Learning via Action-Inferred Transitions

Das Papier schlägt DAWM vor, ein modulares, diffusionsbasiertes Weltmodell, das zukünftige Zustands-Belohnungs-Trajektorien unter Bedingung aktueller Zustände und Aktionen generiert und mit einem inversen Dynamikmodell zur Inferenz von Aktionen gekoppelt ist, wodurch ein effizientes Temporal-Difference-Training in einem Schritt für offline verstärkendes Lernen ermöglicht wird und bestehende Baselines auf D4RL-Benchmarks übertroffen werden.

Ursprüngliche Autoren: Zongyue Li, Xiao Han, Yusong Li, Niklas Strauss, Matthias Schubert

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zongyue Li, Xiao Han, Yusong Li, Niklas Strauss, Matthias Schubert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, zu gehen, zu laufen oder zu springen. Normalerweise bräuchten Sie dafür Tausende von Stunden, in denen der Roboter diese Bewegungen tatsächlich ausprobiert, wobei jeder Schritt, jedes Wackeln und jede Belohnung, die er erhält, aufgezeichnet wird. Dies ist der „offline"-Teil: Das Lernen aus einer riesigen, vorab aufgezeichneten Bibliothek vergangener Versuche, ohne dass der Roboter weiterhin mit der realen Welt interagieren kann.

Das Problem ist, dass diese Bibliothek oft unvollständig ist. Sie mag ein Video enthalten, auf dem der Roboter umfällt, aber es fehlt der spezifische Befehl (die „Aktion"), der zum Sturz führte, oder es fehlt der Belohnungswert. Ohne die vollständige Geschichte – Zustand (wo er war), Aktion (was er tat), Belohnung (wie gut er es tat) und Nächster Zustand (wo er landete) – hat das Gehirn des Roboters Schwierigkeiten, effizient zu lernen.

Der alte Weg: Der „Träumer", der Details vergisst

Forscher haben versucht, Diffusionsmodelle (eine Art künstliche Intelligenz, die für die Erzeugung realistischer Bilder bekannt ist), zu verwenden, um neue Szenarien zu „träumen", die die Lücken füllen. Man kann sich diese Modelle wie einen kreativen Schriftsteller vorstellen, der sich ein perfektes 10-Sekunden-Video vorstellen kann, auf dem ein Roboter reibungslos läuft.

Frühere Versionen dieses „Träumers" hatten jedoch einen Fehler: Sie waren hervorragend darin, die Szene vorzustellen (die Position des Roboters und die erzielte Punktzahl), aber schlecht darin, sich zu merken, was der Roboter tatsächlich getan hat, um dorthin zu gelangen. Sie erzeugten den Film, vergaßen aber das Drehbuch. Da sie keine spezifischen Aktionen hatten, konnten sie den Roboter nicht mit standardmäßigen, effizienten Lernmethoden (genannt „Einschritt-Lernen") trainieren. Sie mussten langsamere, kompliziertere Umwege nutzen.

Die neue Lösung: DAWM (Der Regisseur und der Drehbuchautor)

Die Autoren dieses Papiers schlagen ein neues System namens DAWM (Diffusion Action World Model) vor. Sie lösten das Problem des „fehlenden Drehbuchs", indem sie die Aufgabe in zwei spezialisierte Rollen aufteilten, ähnlich wie bei einem Filmproduktionsteam:

Der Regisseur (Das Diffusionsmodell): Diese KI ist der kreative Visionär. Sie betrachtet, wo sich der Roboter gerade befindet, und eine Ziel-Punktzahl, die der Roboter erreichen sollte. Sie „träumt" dann eine realistische zukünftige Sequenz davon, wo der Roboter sein wird und welche Belohnungen er erhalten wird. Sie ist hervorragend darin, das Ergebnis vorherzusagen, weiß aber nicht das Wie.
Der Drehbuchautor (Das Inverse-Dynamik-Modell): Dies ist eine separate, leichte KI, die speziell darauf trainiert ist, eine Abfolge von Ereignissen (wo der Roboter war, wo er landete) zu betrachten und herauszufinden: „Welche Bewegung muss passiert sein, um dies zu verursachen?" Sie agiert wie ein Detektiv, der die fehlenden Aktionen rekonstruiert.

Der magische Trick:
DAWM nimmt den Traum des Regisseurs (die zukünftigen Zustände und Belohnungen) und gibt ihn an den Drehbuchautor weiter. Der Drehbuchautor füllt die fehlenden „Aktionen" ein. Plötzlich haben Sie eine vollständige, perfekte Geschichte: Hier ist, wo wir begannen, hier ist die Bewegung, die wir machten, hier ist die Belohnung, und hier ist, wo wir landeten.

Warum dies wichtig ist

Da das System nun die vollständige Geschichte hat (Zustand + Aktion + Belohnung + Nächster Zustand), kann es den Roboter mit standardmäßigen, schnellen Lerntechniken trainieren.

Geschwindigkeit: Alte Methoden, die versuchten, die gesamte Geschichte (einschließlich der Aktionen) auf einmal zu generieren, waren langsam und instabil, wie der Versuch, einen Roman zu schreiben, den Film zu schneiden und die Musik zu komponieren, alles gleichzeitig. DAWM trennt die Aufgaben, was es viel schneller und stabiler macht.
Leistung: Das Papier testete dies an 9 verschiedenen Roboterbewegungsaufgaben (wie einem Hopper, der springt, oder einem Geparden, der läuft). Die Roboter, die mit den „geträumten" Daten von DAWM trainiert wurden, schnitten besser ab als diejenigen, die mit älteren Diffusionsmethoden trainiert wurden.
Realismus: In vielen Fällen schnitten Roboter, die mit diesen synthetischen, KI-generierten Geschichten trainiert wurden, genauso gut ab wie Roboter, die mit echten, chaotischen, von Menschen gesammelten Daten trainiert wurden.

Das Fazit

DAWM ist wie ein intelligenter Assistent, der perfekte Trainingsszenarien für einen Roboter vorstellen und dann sofort die fehlenden Details ergänzen kann, damit der Roboter effizient daraus lernen kann. Es schließt die Lücke zwischen „kreativer Vorstellungskraft" (Erzeugung neuer Daten) und „praktischem Lernen" (Nutzung dieser Daten zur Verbesserung) und ermöglicht es Robotern, schneller und besser zu lernen, ohne jeden einzelnen Zug in der realen Welt physisch üben zu müssen.

Technischer Zusammenfassung: DAWM – Diffusions-Action-Weltmodelle für Offline-Reinforcement-Learning durch actionsinferierte Übergänge

1. Problemstellung

Diffusionsbasierte Weltmodelle haben starke Fähigkeiten bei der Synthese realistischer Trajektorien mit langem Zeithorizont für Offline-Reinforcement-Learning (RL) unter Beweis gestellt. Allerdings stehen bestehende Methoden vor einem kritischen Kompatibilitätsproblem mit standardmäßigen, wertbasierten Offline-RL-Algorithmen (z. B. TD3BC, IQL), die auf einschrittigem Temporal-Difference-Learning (TD) basieren.

Einschränkung actionsfreier Modelle: Methoden wie das Diffusion World Model (DWM) generieren zukünftige Zustände und Belohnungen, erzeugen jedoch keine Aktionen explizit. Folglich können sie keine vollständigen Übergänge $(s, a, r, s')$ konstruieren, was sie mit einschrittigem TD-Learning unvereinbar macht, welches Konsistenz zwischen Zuständen, Aktionen und Belohnungen für eine effektive Regularisierung des Critics erfordert.
Einschränkung der gemeinsamen Modellierung: Ansätze, die versuchen, Zustände, Belohnungen und Aktionen gemeinsam zu modellieren, leiden häufig unter erhöhter Trainingskomplexität und Instabilität, was zu einer verringerten praktischen Leistung führt.
Einschränkung planungsbasierter Methoden: Diffusionsbasierte Planer (z. B. Diffuser, Decision Diffuser), die Aktionen über Inverse-Dynamik-Modelle (IDM) oder gemeinsame Modellierung rekonstruieren, verlassen sich typischerweise auf iteratives Sampling und nachgelagerte Belohnungsauswahl. Dies führt zu hohen Inferenzkosten und umgeht die Effizienz des einschrittigen TD-Learnings.

Die zentrale Herausforderung besteht darin, synthetische Daten zu generieren, die stabiles, effizientes einschrittiges TD-Learning unterstützen, ohne die Trainingsinstabilität der gemeinsamen Modellierung oder die Inferenzkosten des iterativen Planens in Kauf nehmen zu müssen.

2. Methodik: DAWM

Die Autoren schlagen DAWM (Diffusion Action World Model) vor, ein modulares Framework, das die Trajektoriengenerierung von der Actionsinferenz entkoppelt, um vollständige, gelabelte Übergänge für Offline-RL zu produzieren. Das Framework besteht aus zwei Hauptphasen:

Phase 1: Bedingte Diffusions-Trajektorien-Generierung

Ein Diffusionsmodell $p_\theta$ wird trainiert, um zukünftige Sequenzen von Zuständen und Belohnungen zu generieren, bedingt auf den aktuellen Zustand $s_t$ , die Aktion $a_t$ und ein Ziel-Return-to-Go ( $R_{tg}$ ).
Das Modell definiert die bedingte Verteilung $p_\theta(\hat{s}_{t+1:t+H+1}, \hat{r}_{t:t+H} \mid s_t, a_t, R_{tg})$ .
Das Trainingsziel minimiert den erwarteten Fehler zwischen vorhergesagtem und wahrem Rauschen unter Verwendung eines Scoring-Denoising-Ziels mit classifier-freier Führung.
Entscheidend ist, dass dieses Modell actionsfreie Trajektorien (nur Zustände und Belohnungen) generiert, wodurch die generative Aufgabe vereinfacht wird, indem die Komplexitäten der gemeinsamen Modellierung von Aktionen innerhalb des Diffusionsprozesses vermieden werden.

Phase 2: Action-Vervollständigung durch Inverse-Dynamik-Modell (IDM)

Um die actionsfreien Trajektorien in vollständige Übergänge umzuwandeln, wird ein separat trainiertes Inverse-Dynamik-Modell (IDM), $f_\phi$ , eingesetzt.
Das IDM rekonstruiert die fehlenden Aktionen, indem es die Verteilung $f_\phi(a_t \mid s_{t-m:t-1}, s_t, s_{t+1})$ als diagonale Gauß-Verteilung modelliert.
Das IDM wird auf realen Offline-Daten trainiert, um die Likelihood der beobachteten Aktionen gegeben Zustandsübergänge zu maximieren.
Bei der Inferenz wird das IDM auf die durch Diffusion generierten Trajektorien angewendet, um Aktionen zu inferieren, was vollständige Tupel $(s, a, r, s')$ ergibt.

Offline-Policy-Training

Die synthetisierten vollständigen Übergänge werden verwendet, um Offline-RL-Agenten mit standardmäßigen wertbasierten Algorithmen zu trainieren, speziell TD3BC (das einen Behavior-Cloning-Regularizer zu TD3 hinzufügt) und IQL (das eine advantagesgewichtete supervidierte Regression durchführt).
Die Q-Funktionen werden unter Verwendung von Bellman-Zielen aktualisiert, die aus den rekonstruierten Übergängen berechnet werden, was effiziente einschrittige TD-Updates ermöglicht.

3. Hauptbeiträge

Modulares Framework: Die Autoren schlagen ein effizientes Framework vor, das die diffusionsbasierte Generierung von Zuständen und Belohnungen mit einem separat trainierten IDM zur Actionsinferenz kombiniert. Dieses Design vermeidet die Trainingsinstabilität der gemeinsamen Modellierung und produziert dennoch vollständige Übergänge.
Kompatibilität mit einschrittigem TD-Learning: Durch die Generierung vollständiger $(s, a, r, s')$ -Übergänge ermöglicht DAWM die Nutzung konservativer Offline-RL-Algorithmen (TD3BC, IQL), die auf einschrittigem TD-Learning basieren, und bietet eine rechnerisch effiziente Alternative zu iterativen Diffusionsplanern.
Empirische Leistung: Die Arbeit zeigt, dass konservative Offline-RL-Algorithmen erheblich von der Schulung auf diesen augmentierten Trajektorien profitieren und priorisierte diffusionsbasierte Baselines (DWM, DD) über mehrere D4RL-Lokomotionsaufgaben hinweg konsistent übertreffen.
Tauglichkeit synthetischer Daten: Die Ergebnisse deuten darauf hin, dass Agenten, die auf von DAWM generierten synthetischen Daten trainiert wurden, eine Leistung erzielen können, die mit Agenten vergleichbar ist oder diese übertrifft, die auf realen Offline-Datensätzen trainiert wurden. Dies unterstreicht das Potenzial synthetischer Trajektorien als praktische Alternative.

4. Experimentelle Ergebnisse

Experimente wurden an 9 Standard-D4RL-Lokomotions-Benchmarks (Hopper, Walker2d, HalfCheetah) mit variierender Datenqualität (Medium, Medium-Replay, Medium-Expert) durchgeführt.

Vergleich mit DWM: DAWM übertraf die actionsfreie DWM-Baseline konsistent. Mit TD3BC erzielte DAWM eine durchschnittliche Verbesserung von 9,3 %, und mit IQL von 9,5 %. Die Gewinne waren insbesondere bei komplexen Kontrollaufgaben wie Walker2d besonders ausgeprägt.
Vergleich mit planungsbasierten Methoden (DD): DAWM übertraf den Decision Diffuser (DD) in Bezug auf den normalisierten Return. Darüber hinaus zeigte DAWM eine deutlich höhere Effizienz und erreichte eine etwa 4,0-fach schnellere Inferenz im Vergleich zu DD, da es während der Inferenz kein iteratives Sampling benötigt.
Vergleich mit realen Daten: Agenten, die auf von DAWM generierten Daten trainiert wurden, erzielten normalisierte Returns, die mit Agenten vergleichbar waren, die auf realen Daten mit standardmäßigem TD3BC/IQL trainiert wurden, und übertrafen diese in einigen Fällen (z. B. Hopper-MR mit TD3BC). Während SSORL (eine Baseline, die ein IDM auf realen Daten verwendet) gut abschnitt, stellen die Autoren fest, dass SSORL von einer Filterung nach den längsten Trajektorien profitiert, ein Faktor, der bei der festgelegten Längengenerierung von DAWM nicht vorhanden ist.
Ablationsstudien:
- Datenvolumen (DAWM-T): Die Reduzierung der Anzahl der Bedingungspaare um den Faktor 8 (DAWM-T) führte nur zu moderaten Leistungseinbußen, was darauf hindeutet, dass der Mechanismus der Action-Vervollständigung ein kritischerer Faktor ist als das reine Datenvolumen.
- Generierungshorizont: DAWM behielt über verschiedene Generierungshorizonte hinweg ( $H=1, 3, 7$ ) eine robuste Leistung bei, was darauf hindeutet, dass das Framework des einschrittigen TD-Learnings unabhängig von der Rollout-Länge stabil ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DAWM die Lücke zwischen effizienter generativer Modellierung und TD-basiertem Policy-Learning schließt. Ihre primäre Bedeutung liegt in:

Ermöglichung einschrittigen TD-Learnings: Es bietet einen Mechanismus, um diffusionsgenerierte Daten für standardmäßige, stabile Offline-RL-Algorithmen zu nutzen, die zuvor mit actionsfreien Weltmodellen unvereinbar waren.
Rechnerische Effizienz: Es bietet eine praktische Lösung für skalierbares generatives Offline-RL durch die Reduzierung der Inferenzkosten im Vergleich zu iterativen Planungsmethoden.
Praktische Alternative: Die Ergebnisse legen nahe, dass synthetische Trajektorien, die über diesen modularen Ansatz generiert werden, als eine viable, hochwertige Alternative zu realen Offline-Datensätzen dienen können, was potenziell Datenknappheitsprobleme in realen Anwendungen mildert, in denen Exploration teuer oder unsicher ist.

Die Autoren schließen, dass die Methode vielversprechend ist, zukünftige Arbeiten jedoch ihre Erweiterung auf visuelle Kontrolle, hochdimensionale Robotik und Robustheit unter unvollkommenen Dynamiken untersuchen werden.