🤖 machine learning

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

Dieses Papier stellt die modellbasierte Diffusionsrichtlinienoptimierung (MBDPO) vor, ein Rahmenwerk, das Suche und Richtlinienlernen innerhalb von Weltmodellen vereint, indem es die Richtlinienoptimierung als Diffusionsprozess über gesuchte Trajektorien neu formuliert, um strukturelle Fehlausrichtungen zu beheben und skalierbares, konsistentes Bestärkendes Lernen zu ermöglichen.

Ursprüngliche Autoren: Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

Veröffentlicht 2026-05-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, zu laufen, ein Videospiel zu spielen oder Objekte zu manipulieren. Um dies effizient zu tun, benötigt der Roboter einen „Traum" oder eine mentale Simulation davon, wie die Welt funktioniert. In der Welt der KI nennt man dies ein Weltmodell. Es ist wie ein Simulator im Gehirn des Roboters, in dem er Millionen von Malen üben kann, ohne ein echtes Bein zu brechen oder ein echtes Auto zu zerstören.

Lange Zeit haben Forscher versucht, diese Simulatoren größer und intelligenter zu machen, in der Hoffnung, dass ein größeres Gehirn automatisch zu einem besseren Roboter führen würde. Doch sie stießen auf eine Wand. Das von Ihnen geteilte Papier, „Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization" (MBDPO), erklärt, warum diese Wand existiert und wie sie durchbrochen wurde.

Hier ist die Geschichte ihrer Entdeckung, einfach erklärt.

Das Problem: Der „Tagträumer" vs. der „Bewerter"

Stellen Sie sich einen Schüler vor, der versucht, Schach zu lernen.

Der Tagträumer (Die Suche): Dieser Schüler stellt sich vor, wie er gegen einen Großmeister spielt. Er probiert verschiedene Züge in Gedanken aus und simuliert die Zukunft, um zu sehen, welcher gewinnt. So funktionieren aktuelle KI-Methoden: Sie „suchen" nach dem besten Zug, indem sie die Zukunft simulieren.
Der Bewerter (Die Wertefunktion): Dies ist ein Lehrer, der jedem Zug basierend auf vergangenen Lektionen eine Punktzahl gibt. Der Lehrer sagt: „Dieser Zug sieht gut aus, weil er in der Vergangenheit funktioniert hat."

Der Fehler: Bei früheren Methoden waren der „Tagträumer" und der „Bewerter" nicht synchron.

Der Bewerter wurde mit Daten eines Schülers trainiert, der nur zufällig geraten hat (oder sehr konservativ gespielt hat).
Der Tagträumer versuchte, wie ein Großmeister zu spielen, ging enorme Risiken ein und probierte verrückte neue Züge aus.

Wenn der Tagträumer einen verrückten neuen Zug versuchte, gab ihm der Bewerter eine hohe Punktzahl, weil er auf dem Papier gut aussah, obwohl der Bewerter diesen Zug in der Realität noch nie funktionieren gesehen hatte. Der Tagträumer wurde übermütig, machte einen Fehler, und das gesamte System stürzte ab. Das Papier nennt dies „Fehljustierung" (Misalignment). Der Roboter träumte von einer Zukunft, die sein Lehrer nicht verstand.

Die Lösung: MBDPO (Die „Diffusions"-Korrektur)

Die Autoren, Xiaoyuan Cheng und Kollegen, führten eine neue Methode namens MBDPO ein. Sie machten den Simulator nicht nur größer; sie veränderten, wie der Roboter lernt, sich zu bewegen.

Sie verwendeten ein Konzept namens Diffusion, das dieselbe Mathematik ist, die zur Erzeugung realistischer KI-Bilder verwendet wird (wie das Umwandeln einer verschwommenen Wolke in eine scharfe Katze).

Die Analogie: Eine Statue aus einem Tonblock formen
Stellen Sie sich vor, die Strategie des Roboters ist nicht ein einzelner Zug, sondern eine ganze Abfolge von Zügen (wie eine Tanzroutine).

Alter Weg (Suche): Sie versuchen, die perfekte Tanzroutine zu erraten, indem Sie zufällig Pfeile auf ein Brett werfen. Wenn Sie einen glücklichen Treffer landen, behalten Sie ihn. Wenn das Brett leicht falsch ist, erhalten Sie eine schlechte Routine.
MBDPO-Weg (Diffusion): Stellen Sie sich vor, der Roboter beginnt mit einem Tonblock, der nur zufälliges Rauschen (Statik) ist.
1. Der Roboter hat ein „Weltmodell" (eine Glaskugel), das die Zukunft jedes Tanzschritts sehen kann, den er sich vorstellt.
2. Der Roboter häuft das Rauschen Schritt für Schritt ab und verfeinert den Tonblock zu einer Statue.
3. In jedem Schritt sagt das Weltmodell: „Wenn Sie Ihren Arm so bewegen, erhalten Sie eine hohe Punktzahl. Wenn Sie ihn so bewegen, werden Sie fallen."
4. Der Roboter nutzt dieses Feedback, um den Tonblock sanft in Richtung der „besten" Tanzroutine zu schieben.

Dieser Prozess wird Diffusion Policy Optimization genannt. Anstatt zu raten und zu prüfen, „entrauscht" der Roboter seine Strategie und verwandelt langsam Chaos in einen perfekten, hochbewerteten Plan.

Warum das eine große Sache ist

Das Papier macht drei Hauptbehauptungen:

Es behebt die „Fehljustierung": Durch die Verwendung dieses Diffusionsprozesses finden die „Suche" (Vorstellen der Zukunft) und das „Lernen" (Aktualisieren des Gehirns) des Roboters im selben Loop statt. Der Roboter wird niemals übermütig bezüglich Zügen, die er nicht tatsächlich simuliert hat. Es ist, als wären der Bewerter und der Tagträumer nun dieselbe Person, die ständig miteinander spricht.
Es skaliert hoch: Normalerweise wird ein KI-Modell besser, wenn man es größer macht (mehr „Neuronen" hinzufügt), aber irgendwann stößt es an eine Plateau oder wird aufgrund der oben genannten Fehler schlechter. MBDPO zeigt, dass der Roboter konsistent besser wurde, als sie das Modell größer machten (von 1,7 Millionen Parametern auf 340 Millionen). Es stieß nicht auf eine Wand; es kletterte weiter.
Es funktioniert überall: Sie testeten dies bei 121 verschiedenen Aufgaben, vom Laufen und Rennen eines Roboterhundes über das Stapeln von Blöcken durch einen Roboterarm bis hin zum Spielen komplexer Videospiele. In fast jedem Fall schlug MBDPO die bisherigen besten Methoden (wie TD-MPC2 und DreamerV3).

Das „Geheimrezept": Die Energie-Anker

Einer der cleveren Tricks in MBDPO ist etwas, das sie „Implizite Energie-Funktion" nennen.

Stellen Sie sich dies als eine Sicherheitsleine vor.

Der Roboter darf erkunden und neue, riskante Züge versuchen (die „Suche").
Aber die „Energie-Funktion" wirkt wie eine Leine, die an einem sicheren, bewährten Verhalten (der „Verhaltenspolitik") befestigt ist.
Wenn der Roboter versucht, zu weit von dem wegzudriften, was als sicher bekannt ist, zieht die Leine ihn zurück. Dies verhindert, dass der Roboter in seinen eigenen Tagträumen verloren geht, und stellt sicher, dass er in der Realität verankert bleibt.

Die Ergebnisse

Offline-Lernen: Sie trainierten den Roboter auf einem massiven Datensatz vergangener Videos (wie das Ansehen von Tausenden von Stunden Sport). Der Roboter lernte, besser zu spielen als jede vorherige Methode, und je größer das Modell war, desto besser spielte es.
Online-Lernen: Als der Roboter von Null begann (ohne vorherige Videos), lernte er schneller und stabiler als seine Konkurrenten.
Visueller Beweis: Als die Forscher die „Träume" des Roboters (die internen Pfade, die er sich vorstellte) betrachteten, sahen sie, dass die Träume von MBDPO glatt, logisch und physikalisch realistisch waren. Die Träume der alten Methoden waren unordentlich und chaotisch.

Zusammenfassung

Das Papier argumentiert, dass wir, um wirklich intelligente KI-Roboter zu bauen, nicht einfach das Gehirn größer machen können. Wir müssen die Art und Weise reparieren, wie das Gehirn denkt. MBDPO behebt die Diskrepanz zwischen „Planen" und „Lernen", indem es einen Diffusionsprozess (wie das Formen aus Rauschen) verwendet, der von einem Weltmodell geleitet wird. Dies ermöglicht es dem Roboter, komplexe Fähigkeiten schneller, sicherer und effektiver zu lernen als je zuvor, und beweist, dass größere Modelle tatsächlich zu intelligenteren Robotern führen können, wenn die Mathematik stimmt.

Technisches Fazit: Skalierung des Reinforcement Learning mit Weltmodellen durch Diffusions-Policy-Optimierung

1. Problemstellung

Modellbasiertes Reinforcement Learning (RL) mit Weltmodellen bietet ein vielversprechendes Paradigma für eine probeneffiziente Planung, indem es Agenten ermöglicht, in erlernten internen Umgebungen zu „träumen" und zu planen. Die Skalierbarkeit dieser Ansätze bleibt jedoch fundamental begrenzt. Während frühere Arbeiten Leistungsunterschiede auf Modellverzerrungen und sich kumulierende Vorhersagefehler zurückführten, identifiziert diese Arbeit einen kritischeren, bisher wenig erforschten Engpass: strukturelle Fehlausrichtung zwischen Suche und Wertlernen.

Bei bestehenden Weltmodell-Ansätzen (z. B. TD-MPC-Serie) stützt sich die Policy-Verbesserung typischerweise auf einen samplingbasierten Planer (wie Model Predictive Path Integral, MPPI), der über das erlernte Weltmodell operiert. Im Gegensatz dazu wird die Wertfunktion auf Trajektorien trainiert, die von einer separaten, suchfreien Policy generiert werden (oft die Verhaltenspolicy oder eine Policy aus dem Replay-Buffer). Dies erzeugt eine Verteilungsabweichung:

Lücke der Wertiteration: Die Wertfunktion wird mit Daten der Policy $\beta$ trainiert, aber von der Suchpolicy $\pi$ abgefragt. Wenn $\pi$ signifikant von $\beta$ abweicht, werden die Wertabschätzungen unzuverlässig und führen häufig zu irreführenden Überschätzungen.
Lücke der Policy-Verbesserung: Das Suchverfahren nutzt diese überschätzten Werte aus, verstärkt Fehler und verursacht einen Teufelskreis aus Verteilungsverschiebung und Fehlerverstärkung. Folglich stellt die Suche keine echte Policy-Optimierung im konventionellen Sinne dar und garantiert weder monotone Verbesserung noch Konvergenz zur optimalen Policy.

2. Methodik: Modellbasierte Diffusions-Policy-Optimierung (MBDPO)

Um diese Einschränkungen zu adressieren, schlagen die Autoren Modellbasierte Diffusions-Policy-Optimierung (MBDPO) vor, ein Framework, das Suche und Policy-Optimierung durch Diffusions-Policy-Repräsentationen innerhalb latenter Weltmodelle vereint.

Kernframework

MBDPO formuliert die Policy-Optimierung als Diffusionsprozess über imaginierte Trajektorien im latenten Raum neu, anstatt sich auf explizite Planer wie MPPI zu verlassen. Der Prozess umfasst:

Latentes Weltmodell: Der Agent lernt einen Encoder $E$ , latente Dynamiken $F$ und einen Reward-Vorhersager $R$ , um in einem kompakten latenten Raum $Z$ zu operieren.
Implizite Energiefunktion: Um Policy-Updates zu verankern und Verteilungsverschiebungen zu verhindern, lernt MBDPO eine implizite Energiefunktion $E_\theta$ aus dem Pufferdatensatz über ein kontrastives Ziel. Diese Funktion approximiert die Log-Dichte der Verhaltenspolicy $\beta$ und wirkt effektiv als KL-Nebenbedingung.
Score Matching durch imaginierte Trajektorien: Anstelle eines Vorwärts-Diffusionsprozesses wird die Score-Funktion $\phi$ $ϕ$ direkt aus Trajektorien geschätzt, die innerhalb des erlernten Weltmodells imaginiert werden.
- Der Algorithmus zieht Kandidaten für saubere Aktionssequenzen aus einer Vorschlagsverteilung.
- Diese Sequenzen werden durch die latenten Dynamiken $F$ durchgespielt, um einen energie-regulierten kumulierten Return $\tilde{G}$ zu berechnen.
- Die Samples werden basierend auf $\tilde{G}$ neu gewichtet, um die Score-Funktion zu schätzen, die den inversen Diffusionsprozess steuert.

Theoretische Vereinheitlichung

Die Arbeit stellt eine theoretische Äquivalenz (Theorem 1) zwischen der Score-Matching-Bedingung in Diffusionsmodellen und der Lösung eines KL-optimierten Policy-Optimierungsproblems her.

Das Ziel ist die Maximierung des erwarteten Returns unter einer KL-Divergenz-Nebenbedingung gegenüber der Verhaltenspolicy: $\max_{\pi_\phi} \mathbb{E}[G] \text{ s.t. } D_{KL}(\pi_\phi \| \beta) \leq \epsilon$ .
MBDPO zeigt, dass die optimale Policy für dieses restringierte Problem einer Gibbs-Verteilung folgt.
Durch das Erlernen der Score-Funktion, um diese Verteilung zu matchen, führt der inverse Diffusionsprozess implizit die restringierte Optimierung durch und vereint somit die Suche (Trajektoriengenerierung) und das Policy-Lernen (Wertmaximierung) in einem einzigen, konsistenten Framework.

Praktischer Algorithmus

MBDPO nutzt ein Joint-Training-Paradigma:

Weltmodell & Wertiteration: Encoder, Dynamiken, Reward, Wertfunktion ( $\hat{Q}$ ) und implizite Energiefunktion werden mit Trajektoriensegmenten aus einem Replay-Buffer aktualisiert.
Diffusions-Policy-Optimierung: Das Score-Netzwerk wird trainiert, die Score-Funktion unter Verwendung von Monte-Carlo-Sampling imaginerter Trajektorien zu vorhersagen, die nach ihren Returns gewichtet sind. Während der Inferenz dient das Score-Netzwerk als amortisierte Lösung für eine effiziente Generierung von Aktionssequenzen.

3. Hauptbeiträge

Identifikation struktureller Fehlausrichtung: Die Arbeit liefert eine theoretische Analyse (Probleme 1 und 2), die zeigt, dass die Entkopplung von Suche und Wertlernen in bestehenden Weltmodell-Ansätzen zu Suboptimalität führt und eine monotone Policy-Verbesserung verhindert.
MBDPO-Framework: Die Einführung eines einheitlichen Frameworks, das Suche und Policy-Optimierung als Diffusionsprozess formuliert. Dieser Ansatz nutzt eine implizite Energiefunktion, um die Policy an die Verteilung der Verhaltensdaten zu verankern, und mildert so die Lücke der Wertiteration und die Verteilungsdrift.
Skalierbare Leistung: Die Entwicklung eines skalierbaren Diffusions-RL-Algorithmus, der konsistente, monotone Leistungsgewinne zeigt, wenn die Modellkapazität steigt (von 1,7 Mio. auf 340 Mio. Parameter), über diverse Settings hinweg, einschließlich Multi-Task-Offline-Vor-Training, Online-Lernen und Offline-zu-Online-Feinabstimmung.
Empirische Validierung: Umfassende Evaluierung über 121 Aufgaben in vier Benchmarks (DMControl, MetaWorld, ManiSkill2, MyoSuite), die eine überlegene Leistung gegenüber State-of-the-Art-Baselines (SAC, DreamerV3, TD-MPC, TD-MPC2) zeigt.

4. Experimentelle Ergebnisse

Offline-Vor-Training: MBDPO zeigt ein klares monotones Skalierungsverhalten. Wenn die Modellparameter von 1,7 Mio. auf 340 Mio. steigen, verbessert sich der normalisierte Score auf 80-Aufgaben- und 30-Aufgaben-Datensätzen konsistent und übertrifft TD-MPC2 signifikant, insbesondere bei kleineren Modellgrößen.
Online-Lernen: In Online-Settings von Grund auf erreicht MBDPO überlegene oder wettbewerbsfähige Ergebnisse bei allen 121 Aufgaben. Es zeigt eine beschleunigte Policy-Verbesserung mit geringerer Varianz in den frühen Trainingsphasen im Vergleich zu Baselines.
Minderung von Engpässen: Die empirische Analyse zeigt, dass MBDPO im Vergleich zu TD-MPC2 die Cross-Temporal-Difference (TD)-Fehler und die Aktionsdrift signifikant reduziert. Die Diffusions-Policy bleibt stabil und konvergiert glatt, während heuristische Suchmethoden eine hohe Volatilität und eine starke Policy-Drift aufweisen.
Generalisierung: Bei Offline-zu-Online (O2O)-Transfer-Experimenten wurde ein Generalist-Agent, der auf 70 Aufgaben vor-trainiert wurde, erfolgreich auf 10 unsichtbare Aufgaben feinabgestimmt, und zwar mit nur 40k Interaktionen pro Aufgabe, und schnitt besser ab als ein Training von Grund auf.
Effizienz: MBDPO verursacht vernachlässigbare Overheads im Online-Training; die Trainingszeiten pro Schritt sind in den meisten Domänen mit TD-MPC2 vergleichbar oder schneller.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MBDPO ein neues Paradigma für das Policy-Lernen innerhalb von Weltmodellen etabliert, indem es die strukturelle Fehlausrichtung zwischen Suche und Wertlernen auflöst. Zu den wichtigsten Erkenntnissen gehören:

Skalierbarkeit von Diffusion: Diffusionsmodelle fungieren als intrinsische Schnittstelle, die Weltmodelle und Policy-Optimierung verbindet und eine kontinuierliche Wertiteration sowie Policy-Verbesserung durch imaginierte Trajektorien ermöglicht.
Repräsentation ist entscheidend: Die Qualität der erlernten latenten Repräsentation ist kritisch. Die gemeinsame Optimierung durch MBDPO hilft, den latenten Raum so zu strukturieren, dass er mit physikalischer Intuition übereinstimmt, was zu strukturierten, geschlossenen Schleifen-Trajektorien für zyklische Aufgaben und zielgerichteten Pfaden für Manipulation führt, die physikalisch aussagekräftiger sind als diejenigen, die durch heuristische Suchmethoden erzeugt werden.
Prinzipielle Grundlage: Die Arbeit legt nahe, dass die Skalierung des Policy-Lernens keine komplexeren heuristischen Suchpipelines erfordert, sondern vielmehr eine prinzipielle Grundlage, die Weltmodelle inhärent mit grundlegenden RL-Paradigmen verknüpft (insbesondere über KL-restringierte Ziele).

Die Autoren weisen auf Einschränkungen hin, darunter den aktuellen Fokus auf simulierte Umgebungen und das Fehlen einer Skalierung auf extrem große Foundation-Model-Größen aufgrund von Rechenbeschränkungen. Zukünftige Richtungen umfassen den Einsatz von MBDPO auf realen Robotern und die Integration mit reichhaltigeren vor-trainierten visuellen oder multimodalen Repräsentationen.