🤖 machine learning

Entropy-Regularized Adjoint Matching for Offline RL

Dieser Artikel schlägt Maximum Entropy Adjoint Matching (ME-AM) vor, ein einheitliches Framework, das die Entropiemaximierung mittels Spiegelfolgendes Absteigen und ein Mischungsverhaltensprior in flow-basiertes Offline-RL integriert, um Populäritätsverzerrungen und Bindungsunterstützung zu überwinden und somit eine robuste Extraktion optimaler Strategien aus Datensätzen mit spärlichen Belohnungen zu ermöglichen.

Ursprüngliche Autoren: Abdelghani Ghanem, Mounir Ghogho

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abdelghani Ghanem, Mounir Ghogho

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein komplexes Puzzle zu lösen, wie etwa das Anordnen von Würfeln oder das Lösen eines Schiebepuzzles. Sie haben keinen Lehrer, der dem Roboter Schritt für Schritt zeigt, wie es geht. Stattdessen verfügen Sie nur über eine riesige Videobibliothek, in der jemand anderes versucht, das Puzzle zu lösen. Manchmal macht die Person im Video Fehler; manchmal hat sie Glück und löst es perfekt.

Dies ist die Welt des Offline Reinforcement Learning (RL). Der Roboter muss ausschließlich aus dieser „offline" Videobibliothek lernen, ohne das echte Puzzle je berührt zu haben.

Das Problem: Die „Popularitätsfalle" und der „Leere Raum"

Die Studie identifiziert zwei Hauptprobleme damit, wie Roboter derzeit aus diesen Videobibliotheken lernen:

Die Popularitätsfalle (Dichteverzerrung):
Stellen Sie sich vor, die Videobibliothek ist größtenteils damit gefüllt, dass der Roboter immer wieder dieselben häufigen Fehler macht. Nur wenige seltene Clips zeigen den Roboter, wie er den perfekten Zug macht.
- Das Problem: Standard-Lernalgorithmen bleiben an den beliebten Zügen „hängen". Sie denken: „Jeder im Video macht es so, also muss das richtig sein." Sie ignorieren die seltenen, perfekten Züge, weil sie so selten vorkommen. Es ist wie ein Restaurant, das nur das beliebteste Gericht serviert, obwohl das geheime, erstaunliche Gericht des Kochs in der hinteren Küche steht und selten bestellt wird.
- Der Begriff der Studie: Dies wird als „Popularitätsverzerrung" bezeichnet.
Der Leere Raum (Null-Unterstützungs-Falle):
Stellen Sie sich vor, die perfekte Lösung erfordert, dass der Roboter einen Würfel an einen Ort bewegt, an dem niemand in der Videobibliothek jemals einen Würfel bewegt hat.
- Das Problem: Aktuelle Methoden haben Angst, in diesen „leeren Raum" zu treten. Sie sind mathematisch daran gebunden, sich nur dort zu bewegen, wo Videodaten existieren. Wenn der perfekte Zug außerhalb der Grenzen des Videos liegt, ist es dem Roboter mathematisch verboten, ihn jemals zu versuchen. Es ist wie ein GPS, das sich weigert, Sie zu einem Ziel zu leiten, weil noch niemand diese spezifische Straße zuvor befahren hat, selbst wenn die Straße ins Paradies führt.
- Der Begriff der Studie: Dies ist das „Unterstützungsbindungs-Dilemma".

Die alte Lösung: Der „Pflaster"-Ansatz

Frühere Versuche, dies zu beheben, umfassten ein „Pflaster". Sie ließen den Roboter aus dem Video lernen und fügten dann, im allerletzten Moment, ein wenig zufälliges „Zittern" (wie ein Gaußsches Rauschen) hinzu, um den Roboter in den leeren Raum zu drängen.

Der Fehler: Die Studie argumentiert, dass dies unordentlich ist. Es ist wie der Versuch, ein undichtes Boot zu reparieren, indem man am Ende der Reise Eimer voll Wasser über Bord wirft. Es unterbricht den fließenden Lernprozess des Roboters und scheitert oft daran, die Lücke zwischen dem Ort, an dem die Daten sind, und dem Ort, an dem die Lösung tatsächlich liegt, zu schließen.

Die neue Lösung: ME-AM (Maximum Entropy Adjoint Matching)

Die Autoren schlagen ein neues Framework namens ME-AM vor. Anstatt das Problem am Ende zu patchen, gestalten sie den gesamten Lernprozess neu, um ihn glatt und kontinuierlich zu machen. Sie verwenden zwei Haupttricks:

1. Die „Traumteam"-Erweiterung (Geometrische Erweiterung)

Anstatt nur die rohen Videodaten zu verwenden, erstellt ME-AM eine „Mischpriori".

Wie es funktioniert: Der Roboter betrachtet die Videodaten, fragt aber auch einen intelligenten „Kritiker" (einen Richter) um Rat und stellt sich vor: „Wenn ich einen etwas anderen Zug versuchen würde, der vielleicht besser wäre, wie würde das aussehen?"
Die Analogie: Stellen Sie sich vor, die Videobibliothek ist eine Karte einer Stadt. Die alten Methoden erlaubten Ihnen nur, auf den gepflasterten Straßen zu laufen, die auf der Karte gezeigt werden. ME-AM nimmt die Karte, findet die Lücken zwischen den Straßen und zeichnet „Traumstraßen", die sie basierend darauf verbinden, wo der Schatz (hohe Belohnung) wahrscheinlich versteckt ist. Es lehrt den Roboter, diese neuen, imaginierten Pfade zu gehen, während er lernt, damit er keine Angst hat, wenn er sie tatsächlich betritt.

2. Das Glätten der Menge (Entropiemaximierung)

Um die „Popularitätsfalle" zu beheben, verwendet ME-AM eine Technik namens Mirror Descent.

Wie es funktioniert: Es zwingt den Roboter, die seltenen, perfekten Züge mit derselben Wichtigkeit zu behandeln wie die häufigen, langweiligen Züge. Es „glättet" die Menge.
Die Analogie: Stellen Sie sich ein Konzert vor, bei dem die Menge nach demselben alten Lied schreit. Der DJ (der Lernalgorithmus) spielt normalerweise dieses Lied, weil es beliebt ist. ME-AM wirkt wie ein DJ, der die Lautstärke des beliebten Liedes absichtlich herunterdreht und die Lautstärke des seltenen, erstaunlichen Liedes hochdreht, wodurch sichergestellt wird, dass der Roboter die besten Teile der Bibliothek hört und lernt, nicht nur die lautesten Teile.

Das Ergebnis: Eine glatte, kontinuierliche Reise

Die Studie behauptet, dass durch die Kombination dieser beiden Tricks ME-AM dem Roboter ermöglicht:

Sicher zu explorieren: Es kann in „leere Räume" (Bereiche ohne Daten) treten, weil es gelernt hat, diese mit seinen „Traumstraßen" zu navigieren.
Das Rauschen zu ignorieren: Es hört auf, sich über die häufigsten Fehler im Video zu obsessieren, und konzentriert sich auf Aktionen mit hoher Belohnung, auch wenn sie selten sind.
Glatte Bewegungen beizubehalten: Im Gegensatz zu den alten „Pflaster"-Methoden geschieht dies in einer einzigen, kontinuierlichen, fließenden Bewegung, wie ein Tänzer, der durch eine Choreografie gleitet, anstatt wie ein Roboter, der am Ende seinen Arm ruckartig bewegt.

Der Beweis

Die Autoren testeten dies an schwierigen Puzzles (wie dem 4x4-Schiebepuzzle und dem Anordnen von drei Würfeln).

Das Ergebnis: ME-AM löste diese Puzzles signifikant besser als alle vorherigen „State-of-the-Art"-Methoden.
Die Geschwindigkeit: Es löste sie genauso schnell wie die anderen, was beweist, dass das Hinzufügen dieser intelligenten Funktionen den Roboter nicht verlangsamt hat.

Kurz gesagt, lehrt ME-AM den Roboter, mutig genug zu sein, um neue Pfade zu erkunden, und klug genug, um die Menge zu ignorieren, während es gleichzeitig seine Bewegungen glatt und natürlich hält.

Technische Zusammenfassung: Entropie-reguliertes Adjungiertes Matching für Offline-RL

Problemstellung

Die Arbeit behandelt das Support-Bindungs-Dilemma (SBD), das dem Offline-Reinforcement-Learning (RL) inhärent ist, wenn expressive generative Policies, wie Flow-Matching-Modelle, verwendet werden. Während kontinuierliche Zeitrahmen wie Adjoint Matching (QAM) die Policy-Optimierung stabilisieren, indem sie eine instabile Solver-Rückwärtspropagation umgehen, bleiben sie strikt an die feste Verhaltensverteilung ( $\pi_\beta$ ) des Offline-Datensatzes gebunden. Diese Abhängigkeit erzeugt zwei kritische Einschränkungen:

Popularitätsverzerrung (Dichte-Front): Die Optimierung beruht auf einer multiplikativen Abhängigkeit von der Verhaltenspriorität ( $\pi^* \propto \pi_\beta \exp(Q/\tau)$ ). Wenn eine optimale Aktion im Datensatz selten ist, unterdrückt der verschwindende Term $\pi_\beta$ das Belohnungssignal. Die Überwindung dieses Problems erfordert eine aggressive Temperaturskalierung, was Approximationsfehler des Critics verstärkt und den Agenten zwingt, suboptimale, hochfrequente Aktionen zu akzeptieren, um Stabilität zu gewährleisten.
Null-Support-Falle (Geometrische Front): Liegt eine optimale Aktion außerhalb des Supports der Verhaltensdaten, gilt $\pi_\beta = 0$ . Diese strukturelle Einschränkung verhindert, dass der Agent diese Regionen jemals erreicht, und stoppt die Entdeckung neuer Verhaltensweisen unabhängig vom Belohnungssignal.

Bestehende Workarounds, wie das Anhängen von residualen Gaußschen Policies (z. B. QAM-Edit), um den Agenten vom Daten-Mannigfaltigkeitsbereich wegzudrängen, brechen oft die kontinuierliche gewöhnliche Differentialgleichung (ODE)-Formulierung. Diese Heuristiken wirken als strukturelle Patches, die die kohärente Vektorfeld-Trajektorie stören und die mit unimodalen Verteilungen verbundenen Engpässe der Expressivität wieder einführen.

Methodik: Maximum Entropy Adjoint Matching (ME-AM)

Die Autoren schlagen Maximum Entropy Adjoint Matching (ME-AM) vor, ein einheitliches Framework, das das SBD vollständig innerhalb der kontinuierlichen Flow-Formulierung löst. ME-AM integriert zwei primäre Mechanismen:

1. Belohnungsgesteuertes Mischungs-Prior (Geometrische Expansion)

Um die geometrische Lücke zwischen isolierten Datenclustern zu überbrücken, ohne die kontinuierliche ODE zu brechen, erweitert ME-AM den Verhaltensdatensatz während des Trainings.

Mechanismus: Ein Anteil $\epsilon$ der Datensatzaktionen wird durch synthetische Ziele ersetzt, die von einem auxiliary Gaußschen Actor ( $\pi_\omega$ ) generiert werden. Dieser Actor wird mittels eines Soft Actor-Critic (SAC)-artigen Ziels trainiert, um hochbelohnte Aktionen vorherzusagen, konditioniert auf den Zustand und eine empirische Aktion.
Effekt: Der Basis-Flow wird gegen eine Mischungsverteilung $\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$ trainiert. Dies erweitert den gültigen geometrischen Support nativ, sodass das Modell lernen kann, Rauschen zu Out-of-Distribution (OOD)-Modi zu transportieren, während eine strukturell solide, kontinuierliche ODE erhalten bleibt.

2. Dichte-Flachung durch Mirror Descent (Entropiemaximierung)

Um die Popularitätsverzerrung zu mildern, maximiert ME-AM die differentielle Entropie der feinabgestimmten Policy direkt innerhalb des adjungierten Systems.

Mechanismus: Anstelle einer expliziten Dichtebewertung (die rechnerisch prohibitiv ist) verwendet die Methode Functional Mirror Descent (MD). Der funktionale Gradient für die Entropiemaximierung vereinfacht sich zur negativen Score-Funktion ( $-\nabla \log \pi$ ).
Implementierung: Die negative Score wird direkt in die Randbedingung am Ende der Adjoint-ODE neben dem Wertgradienten injiziert. Um numerische Instabilität am Rand ( $t \to 1$ ) zu vermeiden, wird ein leichtgewichtiges auxiliary Score-Netzwerk ( $S_\psi$ ) mittels eines varianzgewichteten Denoising-Ziels trainiert.
Effekt: Dieser Prozess flacht die spitz zulaufende Verhaltensdichte über den erweiterten Support ab und ermöglicht dem Agenten, hochbelohnte Aktionen zu betonen, ohne den extremen, fehlerverstärkenden Kontrast einer strikten Temperaturskalierung zu benötigen.

Theoretische Formulierung

Das einheitliche Ziel richtet das feinabgestimmte Vektorfeld an einem interpolierten Referenz-Flow ( $v_{ref}$ ) aus, der die statische Mischungs-Basis und einen langsam bewegenden Ziel-Anker ausbalanciert. Die Autoren beweisen (Satz 2), dass die optimale stationäre Policy konvergiert zu:
$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$
wobei $\delta(s) \in (0, 1)$ ein zustandsabhängiger Exponent ist, der mathematisch die Flachung der Prior-Dichte garantiert und die Exploration von empirischen Datenfrequenzen entkoppelt.

Hauptbeiträge

Einheitliches Framework: ME-AM ist die erste Methode, die das Support-Bindungs-Dilemma vollständig innerhalb einer kontinuierlichen Flow-Formulierung löst und damit die Notwendigkeit von getrennten Bearbeitungen oder Nachverarbeitungsheuristiken eliminiert, die die ODE-Struktur brechen.
Geometrische und Dichte-Lösung: Sie adressiert gleichzeitig die Null-Support-Falle durch einen lernbaren, critic-gesteuerten Mischungs-Prior und die Popularitätsverzerrung durch funktionale Mirror Descent-Entropiemaximierung.
Theoretische Garantien: Die Arbeit liefert Beweise, die zeigen, dass das kontinuierliche Zeitziel exakt auf eine zielgerichtete, dichte-geflachte stationäre Policy konvergiert.
Robuste Implementierung: Die Methode nutzt eine entkoppelte auxiliary Score-Parametrisierung, um die numerische Explosion analytischer Scores am Rand zu umgehen und ein stabiles Training sicherzustellen.

Experimentelle Ergebnisse

Die Autoren evaluierten ME-AM auf zwei herausfordernden Domänen aus OGBench (puzzle-4x4 und cube-triple), die durch spärliche Belohnungen und komplexe, multimodale Verhaltensweisen gekennzeichnet sind.

Offline-Leistung: ME-AM zeigte eine wettbewerbsfähige oder überlegene Leistung im Vergleich zu einer Vielzahl von State-of-the-Art (SOTA)-Methoden, einschließlich QAM, FEdit, CGQL und ReBRAC. Auf der Domäne puzzle-4x4 erreichte ME-AM eine globale Erfolgsrate von 56% (aggregiert) und übertraf die zweitbeste Methode (QAM-E mit 37%) signifikant.
Ablationsstudien:
- Geometrische Expansion: Das alleinige Verlassen auf den Verhaltenssupport ( $\epsilon=0$ ) führte in spärlichen Domänen zum totalen Leistungsabfall und bestätigte die Notwendigkeit des Mischungs-Priors.
- KL-Regularisierung: Explizite KL-Pfadbeschränkungen erwiesen sich als essenziell für die Stabilisierung des Trainings, wenn während der geometrischen Expansion Stochastizität eingeführt wurde.
- Rauschboden: Ein größerer Evaluierungs-Rauschboden ( $\sigma_{min} = 0.3$ ) verbesserte die Leistung in bestimmten Aufgaben und wirkte als räumlicher Glättungsfaktor.
Offline-zu-Online Feinabstimmung: ME-AM verbesserte die Online-Leistung im Vergleich zu Vanilla QAM signifikant und erzielte Ergebnisse auf Augenhöhe mit QAM-Edit, während die Notwendigkeit einer zusätzlichen Edit-Policy für die Online-Exploration entfiel.
Effizienz: Obwohl die Trainingszeit aufgrund auxiliary Netzwerke leicht höher ist, entspricht die Inferenzgeschwindigkeit (0,14 ms/Schritt) der von Standard-Flow-Matching-Policies, da die auxiliary Komponenten vor dem Einsatz vom Berechnungsgraphen getrennt werden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ME-AM einen strukturellen Fortschritt im Offline-RL darstellt, indem es die fundamentale Spannung zwischen der Maximierung der Belohnung und der Vermeidung von Extrapolation außerhalb der Datenverteilung auflöst. Durch die Erweiterung des gültigen Aktionsmannigfaltigkeitsbereichs und die Flachung der empirischen Verhaltensdichte innerhalb eines einzigen, kohärenten kontinuierlichen Zeitrahmens ermöglicht ME-AM Agenten, robuste, optimale Policies aus spärlichen Offline-Datensätzen zu extrahieren, ohne die Instabilität oder die Limitierungen der Expressivität vorheriger heuristischer Ansätze. Die Autoren betonen, dass dieser Ansatz die Entdeckung neuer Verhaltensweisen in Regionen ohne Datenunterstützung ermöglicht, während die mathematischen Garantien der kontinuierlichen optimalen Steuerung gewahrt bleiben.