🤖 machine learning

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

Dieses Paper führt einen effizienten, simulationsfreien Algorithmus zum Training von Diffusions-Policies im Online-Reinforcement-Learning ein, indem es Adjoint-Matching nutzt, um die Einschränkungen des Standard-Score-Matchings zu überwinden und die Notwendigkeit einer kostspieligen Likelihood-Schätzung oder Backpropagation durch den Diffusionsprozess zu eliminieren.

Ursprüngliche Autoren: Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen, Tanzen oder das Spielen eines Videospiels bei. Der Roboter muss lernen, welche Aktionen er ausführen muss, um die beste Punktzahl (Belohnungen) zu erzielen. In der Vergangenheit lernten Roboter oft, indem sie einfache, „Glockenkurven“-ähnliche Aktionen erraten (wie zum Beispiel ein wenig nach links oder ein wenig nach rechts zu bewegen). Aber das echte Leben ist chaotisch; manchmal ist der beste Zug ein komplexer, mehrstufiger Tanz, der nicht in eine einfache Kurve passt.

Hier kommen Diffusions-Policies ins Spiel. Betrachten Sie diese als einen Roboter, der lernt, indem er mit einem chaotischen, verrauschten Durcheinander beginnt und dieses langsam „entstört“ (denoise), bis er die perfekte, komplexe Bewegung findet. Es ist so, als würde man ein unscharfes Foto nehmen und es Schritt für Schritt schärfen, bis das Bild klar ist.

Das Erlernen in Echtzeit (Online Reinforcement Learning) war jedoch aus zwei Hauptgründen ein Albtraum für diesen Roboter:

Das Speicherproblem: Um zu lernen, muss der Robot normalerweise seinen gesamten „Entstörungsprozess“ in seinem Kopf wiederholen, jedes Mal wenn er einen Fehler macht. Das ist, als müsste man sich jedes einzelne Frame eines Films merken, nur um eine einzige Szene zu korrigieren. Das verbraucht so viel Speicher, dass der Roboter abstürzt oder unglaublich langsam lernt.
Das „Kein Grundwahrheits“-Problem: In einem Klassenzimmer hat man einen Lösungsschlüssel. Beim Lernen in Echtzeit weiß der Roboter nicht im Voraus, was die „perfekte“ Bewegung ist; er weiß nur später, ob er eine Belohnung erhalten hat. Standard-Lehrmethoden, die darauf basieren, Vermutungen mit einer bekannten Antwort zu vergleichen, funktionieren hier nicht.

Die Lösung: AMDP (Adjoint Matching Diffusion Policy)

Die Autoren dieses Papers haben eine neue Methode namens AMDP vorgestellt. So haben sie die Probleme mit einigen cleveren Tricks gelöst:

1. Der „Rückwärtsfilm“-Trick (Simulationsfreie Trainingsmethode)
Stellen Sie sich vor, Sie versuchen zu lernen, wie man einen Kuchen backt. Normalerweise müssen Sie den ganzen Kuchen backen, ihn probieren und dann versuchen herauszufinden, in welcher Sekunde Sie genau den Zucker hinzugefügt haben, um es zu korrigieren. Das ist schwierig.
AMDP ist anders. Anstatt den gesamten Backprozess zu wiederholen, nutzt es einen mathematischen Shortcut namens Adjoint Matching.

Die Analogie: Denken Sie daran, wie man den fertigen Kuchen betrachtet (die finale Aktion) und sofort weiß: „Wenn ich in diesem spezifischen Moment Zucker hinzugefügt hätte, wäre der Kuchen perfekt gewesen.“
Das Ergebnis: Der Roboter muss nicht den gesamten verrauschten Prozess rückwärts simulieren, um zu lernen. Er betrachtet einfach die finale Bewegung, berechnet den „Score“ (Q-Score) und aktualisiert sein Gehirn. Dies spart eine enorme Menge an Computerspeicher und macht das Training viel schneller.

2. Die „Squash“-Funktion (Aktionen sicher halten)
Roboter haben oft Grenzen. Ein Roboterarm kann sich nicht zu negativer Unendlichkeit bewegen; er hat einen physischen Bereich (z. B. zwischen -1 und 1).

Das Problem: Die Mathematik hinter der Diffusion produziert oft Zahlen, die zu groß oder zu klein sind, was die physikalischen Grenzen des Roboters verletzt.
Die Lösung: Die Autoren verwendeten eine spezielle mathematische „Squash“-Funktion (basierend auf der Fehlerfunktion oder erf). Stellen Sie sich eine Feder vor, die immer fester wird, je mehr man an ihr zieht, und schließlich an einer harten Wand stoppt. Dies stellt sicher, dass egal wie wild die interne Mathematik des Roboters auch wird, die finale Aktion, die er ausgibt, immer sicher und innerhalb seiner physikalischen Grenzen liegt. Sie fanden heraus, dass dieser spezifische „Squash“ viel stabiler ist als die alten Methoden.

3. Die „Vertrauensregion“ (Nicht überreagieren)
Beim Lernen kann es passieren, dass ein Roboter eine schlechte Punktzahl erhält und dann panisch wird und über Nacht seine gesamte Persönlichkeit ändert, wobei er alles vergisst, was er zuvor wusste.

Die Lösung: Die Autoren fügten eine „Trust Region“-Regel hinzu. Dies ist wie eine Sicherheitsleine. Sie sagt dem Roboter: „Du kannst aus dieser neuen Erfahrung lernen, aber ändere dein Verhalten nicht zu drastisch. Bleib nah an dem, was du vorher getan hast.“ Dies hält den Lernprozess stabil und verhindert, dass der Roboter durchdreht.

Was haben sie herausgefunden?

Das Team hat diese neue Methode in 63 verschiedenen Umgebungen getestet, die von einfachen Balancieraufgaben bis hin zu komplexen humanoiden Robotern, die gehen und Objekte manipulieren, reichen.

Geschwindigkeit: AMDP trainiert fast so schnell wie die einfachsten, effizientesten Methoden (wie Gaußsche Policies), kann aber viel komplexere Bewegungen bewältigen.
Leistung: Es hat besser gelernt zu gehen und Objekte zu manipulieren als viele bestehende fortgeschrittene Methoden. In einigen komplexen Tests war es der klare Gewinner.
Effizienz: Da es nicht den ganzen „Film“ des Denkprozesses des Roboters wiederholen muss, verbraucht es deutlich weniger Computerleistung. Sie zeigten, dass selbst bei einem riesigen, komplexen Robotermodell die Trainingszeit im Vergleich zu einfachen Methoden nur um etwa 10 % anstieg, während ältere komplexe Methoden 70- bis 80-mal länger gedauert hätten.

Zusammenfassend

Das Paper präsentiert einen Weg, Robotern komplexe, mehrstufige Bewegungen beizubringen, ohne deren Computer zu überlasten. Dies gelang ihnen durch die Erfindung eines mathematischen Shortcuts, der es dem Roboter erlaubt, aus dem Endergebnis zu lernen, ohne die gesamte Historie wiederholen zu müssen, durch das Hinzufügen einer „Sicherheitsleine“, um das Lernen stabil zu halten, und durch den Einsatz eines speziellen „Squash“-Werkzeugs, um Aktionen innerhalb sicherer Grenzen zu halten. Das Ergebnis ist ein Roboter, der komplexe Fähigkeiten schnell, effizient und ohne sich in der Mathematik zu verlieren, erlernt.

Technisches Resümee: Skalierbares Maximum-Entropy-Reinforcement-Learning für Diffusions-Policies via Adjoint Matching

Problemstellung

Diffusions-Policies haben sich als ein leistungsfähiges Paradigma zur Repräsentation komplexer, multimodaler Aktionsverteilungen im Reinforcement Learning (RL) etabliert. Ihre Anwendung auf das Online-RL bleibt jedoch durch die Herausforderung der skalierbaren Trainingsfähigkeit in Abwesenheit von Ground-Truth-Daten begrenzt. Standardmäßige Trainingsziele wie Score Matching oder Bridge Matching sind nicht direkt auf Online-RL anwendbar, da im Online-RL kein statischer Datensatz optimaler Stichproben vorliegt.

Bestehende Ansätze zum Training von Diffusions-Policies in Online-Settings stehen vor drei primären Einschränkungen:

Reverse KL-Divergenz: Methoden, die die Reverse KL-Divergenz minimieren, erfordern eine Backpropagation durch den gesamten Diffusionsprozess. Dies verursacht einen massiven Speicher-Overhead und eine rechentechnische Ineffizienz, was die Skalierung auf größere Probleme verhindert.
Importance Weighted Matching: Ansätze, die Importance Sampling nutzen, um Fehler zwischen vorhergesagten und Ziel-Aktionen zu minimieren, haben Schwierigkeiten, in hochdimensionalen Aktionsräumen zu skalieren.
Q-Score-Methoden: Techniken, die den Gradienten der Q-Funktion ( $\nabla_a Q$ ) nutzen, verlassen sich oft auf überdämpfte Langevin-Dynamik. Diese Prozesse erfordern typischerweise eine Trunkierung nach endlichen Schritten, was nur wenige theoretische Garantien im Endzeit-Regime bietet, oder sie verlassen sich auf heuristische Sampling-Techniken, denen es an Garantien mangelt, Stichproben aus der wahren Zielverteilung zu generieren.

Methodik: Adjoint Matching Diffusion Policy (AMDP)

Die Autoren schlagen die Adjoint Matching Diffusion Policy (AMDP) vor, ein Framework, das die Optimierung der Diffusions-Policy für Maximum Entropy RL (MaxEnt-RL) als Problem der stochastischen optimalen Steuerung (Stochastic Optimal Control, SOC) formuliert. Die zentrale Innovation ist die Adaption von Adjoint Matching (AM), spezifisch Reciprocal Adjoint Matching (RAM), um ein simulationsfreies Training zu ermöglichen.

1. Theoretische Fundamente

Die Methode formuliert den Policy-Verbesserungsschritt als Suche nach einer Drift-Funktion $u$ , sodass die Randverteilung eines Diffusionsprozesses zum Endzeitpunkt $\tau=1$ der optimalen MaxEnt-Policy $\pi^*(a|s) \propto \exp(Q^\pi(s,a)/\alpha)$ entspricht.

Schrödinger-Bridge: Das Problem wird als Schrödinger-Bridge-Problem formuliert, bei dem die kinetische Kosten der Steuerung $u$ unter Einhaltung der Randbedingungen minimiert werden.
Reciprocal Adjoint Matching: Anstatt durch den Diffusionspfad zu backpropagieren (was das Speichern intermediärer Zustände erfordert), nutzt AMDP die reziproke Projektion des gesteuerten Prozesses auf einen ungesteuerten Referenzprozess. Dies ermöglicht die Minimierung des Verlusts durch Sampling intermediärer Zustände $X_\tau$ direkt aus dem Endzustand $X_1$ unter Verwendung eines konditionalen reziproken Prozesses $\Pi^0_{\tau|1}$ .
Simulationsfreies Training: Durch das Sampling von $X_\tau$ aus dem Endzustand $X_1$ (der in einem Replay-Buffer gespeichert ist), vermeidet der Algorithmus die Simulation der Vorwärts-SDE während des Gradienten-Updates. Dies umgeht die Notwendigkeit einer expliziten Likelihood-Schätzung und der kostspieligen Backpropagation durch die Diffusionskette.

2. Zentrale algorithmische Komponenten

Adaption des Aktionsraums (Error Function Squashing):
Um beschränkte Aktionsräume (z. B. $A = [-1, 1]^d$ ) zu handhaben, führen die Autoren eine differenzierbare Transformation $f: \mathbb{R}^d \to [-1, 1]^d$ ein. Im Gegensatz zum Standard-elementweisen $\tanh$ -Squashing verwendet AMDP ein skaliertes Error Function (erf)-Squashing:
$f_{\text{erf}}(x) = (\text{erf}(k x_i))_{i=1}^d$
Der Skalierungsfaktor $k$ wird so gewählt, dass die Determinante der Jacobi-Matrix der Transformation exakt mit der Gaußschen Randverteilungsdichte des Referenzprozesses übereinstimmt. Diese spezifische Wahl bewirkt, dass das Log-Verhältnis der Referenzdichte und der Jacobi-Determinante zu einer Konstanten wird, was das Regressionsziel erheblich vereinfacht und die numerische Stabilität verbessert.
Policy Iteration:
- Evaluation: Es wird ein modifiziertes "Soft" Bellman-Backup verwendet. Da die marginale Entropie von Diffusionsmodellen intraktabel ist, schlagen die Autoren eine handhabbare Entropie-Untere Schranke vor, die aus den Kontrollkosten abgeleitet ist und die Konvergenzeigenschaften bewahrt.
- Improvement: Die Policy wird aktualisiert, indem der AMDP-Loss minimiert wird, welcher eine Fixed-Point-Iteration darstellt. Der eindeutige Fixpunkt dieses Verlusts entspricht der optimalen Steuerung $u^*$ .
Trust-Region Updates:
Um die Stabilität in Online-Settings zu gewährleisten, in denen sich die Zielverteilung schnell verschiebt, wird eine Trust-Region-Beschränkung hinzugefügt. Diese bestraft die Abweichung der neuen Drift $u$ vom vorherigen Iterationsschritt, um aggressive Updates zu verhindern, die zu einer Distributionskollaps oder einer Divergenz der Q-Funktion führen könnten. Dies wird über ein relaxiertes Lagrange-Formalismus gelöst.

Zentrale Beiträge

Skalierbarer Trainingsalgorithmus: AMDP führt einen hocheffizienten Algorithmus ein, der Diffusions-Policies optimiert, ohne durch den Diffusionsprozess zu backpropagieren, was die Speicheranforderungen drastisch reduziert.
Simulationsfreie Optimierung: Durch die Nutzung von Reciprocal Adjoint Matching ermöglicht AMDP die Optimierung unter Verwendung lediglich der terminalen Aktionen, die in einem Replay-Buffer gespeichert sind, was mehrere Gradienten-Updates pro Sample ohne erneute Simulation der SDE ermöglicht.
Numerisch stabiles Action Squashing: Der Vorschlag des Error Function Squashing bietet eine stabile Alternative zu $\tanh$ und vereinfacht das Trainingsziel, indem spezifische Terme in der Verlustfunktion eliminiert werden.
Stabile Policy-Updates: Die Integration eines Trust-Region-Loss stellt stabile Policy-Iterationen in Online-Settings sicher, ohne die theoretischen Garantien des Adjoint-Matching-Frameworks zu verändern.

Experimentelle Ergebnisse

Die Autoren evaluierten AMDP in 63 Umgebungen innerhalb von MuJoCo Playground, ManiSkill und HumanoidBench im On-Policy-Setting sowie in 7 hochdimensionalen Dog- und Humanoid-Umgebungen (DMC Suite) im Off-Policy-Setting.

On-Policy Performance:
- AMDP erreicht oder übertrifft starke Gaußsche Baselines (REPPO, PPO, SPO) sowie State-of-the-Art Diffusionsmethoden (DIME, DPPO, FPO).
- In komplexen, hochdimensionalen Aufgaben (HumanoidBench) übertrifft AMDP alle Baselines signifikant, selbst ohne Best-of-N (BoN) Sampling.
- AMDP konvergiert schneller als REPPO hinsichtlich der Sample-Effizienz in MuJoCo DMC und Humanoid-Lokomotionsaufgaben.
- In Kombination mit BoN-Sampling (Auswahl der besten von 16 Samples) erzielt AMDP eine überlegene Performance über alle Benchmarks hinweg.
Off-Policy Performance:
- Auf DMC Dog- und Humanoid-Aufgaben erreicht AMDP die Performance von DIME (das Reverse KL optimiert) und konvergiert etwas schneller, was die Wettbewerbsfähigkeit des Adjoint-Matching-Ziels in Off-Policy-Settings demonstriert.
Recheneffizienz:
- Wall-clock Time: AMDP verursacht nur einen geringen konstanten Overhead (~10 %) im Vergleich zu hocheffizienten Gaußschen Methoden wie REPPO, unabhängig von der Anzahl der Diffusionsschritte.
- Skalierbarkeit: Im Gegensatz dazu sind Methoden, die Reverse KL-Backpropagation nutzen, 10-mal langsamer bei 16 Diffusionsschritten und bis zu 72-80-mal langsamer bei 128 Schritten.
- Modell-Skalierung: Die Autoren trainierten erfolgreich eine große Diffusions-Policy (106M Parameter, ~300x größer als Standardmodelle) mit AMDP, was die Fähigkeit zeigt, komplexe Modelle zu skalieren, bei denen Backpropagation-basierte Methoden aufgrund von Speicherbeschränkungen scheitern würden.

Bedeutung und Ansprüche

Das Paper behauptet, dass AMDP einen theoretisch fundierten, recheneffizienten und robusten Weg bietet, um expressive generative Policies in realen RL-Anwendungen einzusetzen.

Überwindung von Speicherengpässen: Durch die Eliminierung der Notwendigkeit der Backpropagation durch die Diffusionskette macht AMDP das Training von Diffusions-Policies für Online-RL-Szenarien praktikabel, in denen Speicher- und Rechenressourcen begrenzt sind.
Theoretische Garantien: Im Gegensatz zu heuristischen Q-Score-Methoden leitet sich AMDP aus der stochastischen optimalen Steuerung mit Fixed-Point-Garantien ab, was sicherstellt, dass die Policy zur optimalen MaxEnt-Verteilung konvergiert.
Praktische Lebensfähigkeit: Die Kombination aus simulationsfreiem Training, numerischer Stabilität durch erf-Squashing und Trust-Region-Updates adresset die primären Barrieren (Skalierbarkeit, Stabilität und Effizienz), die die Adoption von Diffusions-Policies im Online-RL bisher begrenzt haben.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz den Rechenaufwand erheblich reduziert und gleichzeitig eine konkurrenzfähige Performance beibehält, wodurch Diffusions-Policies zu einer praktikableren Alternative für traditionelle Gaußsche Policies bei komplexen kontinuierlichen Kontrollaufgaben machen.