💻 computer science

Recovering Hidden Reward in Diffusion-Based Policies

Das Papier stellt EnergyFlow vor, ein Framework, das generatives Aktionsmodellieren mit inverser Verstärkungslernen vereint, indem es eine skalare Energiefunktion parametrisiert, um Expertenbelohnungen zu rekonstruieren und die Generalisierung der Politik ohne adversarielles Training zu verbessern.

Ursprüngliche Autoren: Yanbiao Ji, Qiuchang Li, Yuting Hu, Shaokai Wu, Wenyuan Xie, Guodong Zhang, Qicheng He, Deyi Ji, Yue Ding, Hongtao Lu

Veröffentlicht 2026-05-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yanbiao Ji, Qiuchang Li, Yuting Hu, Shaokai Wu, Wenyuan Xie, Guodong Zhang, Qicheng He, Deyi Ji, Yue Ding, Hongtao Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Roboter durch Beobachten unterrichten, nicht nur durch Nachahmen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine perfekte Tasse Kaffee zu machen.

Der alte Weg (Behavior Cloning): Sie zeigen dem Roboter ein Video von Ihnen beim Kaffeemachen. Der Roboter versucht, Ihre Handbewegungen exakt zu kopieren. Wenn Sie Ihre Hand aufgrund einer neuen Tassenposition leicht anders bewegen, gerät der Roboter in Verwirrung und verschüttet den Kaffee. Er weiß, was zu tun ist, aber nicht warum.
Das Problem: Aktuelle „Diffusions-Policies" (die fortschrittlichste Methode) sind wie ein Meisterkünstler, der Ihre Bewegungen perfekt kopieren kann. Aber sie verstehen das Ziel nicht. Sie wissen nur, wie man von einem chaotischen Zustand in einen sauberen Zustand gelangt. Wenn sich die Situation leicht ändert (wie das Verrutschen der Tasse), könnten sie scheitern, weil sie den nächsten Zug nur basierend auf Mustern raten, anstatt den „Wert" der Aktion zu verstehen.

ENERGYFLOW ist ein neues Framework, das zwei Dinge gleichzeitig tut:

Es lehrt den Roboter, die Bewegungen des Experten zu kopieren (genau wie der alte Weg).
Es ermittelt im Verborgenen das Belohnungssystem (das „Warum") hinter diesen Bewegungen, damit sich der Roboter an neue Situationen anpassen kann.

Die Kernidee: Die „Hügel- und Tal"-Karte

Um ENERGYFLOW zu verstehen, stellen Sie sich den Entscheidungsprozess des Roboters als eine Landschaft aus Hügeln und Tälern vor.

Die Landschaft (Energiefunktion): Stellen Sie sich eine Karte vor, bei der jeder mögliche Zug, den der Roboter machen könnte, ein Punkt auf dem Boden ist.
- Täler (Niedrige Energie): Dies sind die „guten" Züge. Je tiefer das Tal, desto besser der Zug.
- Hügel (Hohe Energie): Dies sind „schlechte" Züge.
Der Gradient (Die Steigung): Wenn Sie auf einem Hügel stehen, zieht Sie die Schwerkraft den steilsten Hang hinab ins Tal. In der Mathematik wird diese Steigung als „Gradient" bezeichnet.

Wie andere Methoden funktionieren:
Die meisten aktuellen KI-Methoden versuchen, die Windrichtung (das Vektorfeld) an jedem Punkt zu lernen. Sie sagen: „Wenn Sie hier sind, blasen Sie den Wind in diese Richtung, um zum Ziel zu gelangen." Aber manchmal ergeben die gelernten Windrichtungen keinen Sinn zusammen. Sie könnten in einem Kreis herumgeblasen werden (A → B → C → A), ohne jemals den Boden zu erreichen. Dies wird als „nicht-konservatives" Feld bezeichnet und ist für den Roboter verwirrend.

Wie ENERGYFLOW funktioniert:
Anstatt den Wind zu lernen, lernt ENERGYFLOW die Form des Geländes selbst (die skalare Energiefunktion).

Es erstellt eine 3D-Karte aus Hügeln und Tälern.
Der Roboter folgt einfach dem Hang hinab ins Tal.
Da er einer einzigen Karte folgt, kann er niemals in einem verwirrenden Kreislauf stecken bleiben. Der Pfad ist immer logisch.

Der „Magische Trick": Die verborgene Belohnung finden

Der größte Durchbruch des Papiers ist ein mathematischer Beweis, der besagt: Wenn der Roboter die Form des Geländes korrekt lernt, ist die Form die Belohnung.

Die Analogie: Stellen Sie sich vor, Sie beobachten einen Meisterkoch beim Kochen. Sie sehen nicht nur die Messerbewegungen; Sie können ableiten, dass der Koch es liebt, Zwiebeln perfekt zu hacken, weil er es immer so macht.
Das Ergebnis: ENERGYFLOW braucht keinen Menschen, der sagt: „Gute Arbeit!" oder „Schlechte Arbeit!" (was schwer zu programmieren ist). Indem es die Geländekarte aus den Videos des Experten lernt, entdeckt der Roboter automatisch eine „Bewertung" für jede Aktion.
- Niedrige Bewertung = Gute Aktion (Tiefes Tal).
- Hohe Bewertung = Schlechte Aktion (Hoher Hügel).

Diese Bewertung fungiert als Belohnungssignal. Jetzt kann der Roboter diese Bewertung nutzen, um sich selbst beizubringen, die Aufgabe noch besser zu erledigen, oder um mit Situationen umzugehen, die er noch nie gesehen hat.

Warum das wichtig ist: Die „konservative" Einschränkung

Das Papier argumentiert, dass es eine Superkraft ist, den Roboter zu zwingen, eine „Geländekarte" (ein konservatives Feld) zu lernen, anstatt nur „Windrichtungen".

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Stadt zu navigieren.
- Wind-Methode: Sie erhalten eine Liste von Pfeilen: „Gehen Sie hier nach Norden, dort nach Osten." Wenn die Pfeile leicht falsch sind, könnten Sie am Ende im Kreis laufen.
- Gelände-Methode: Sie erhalten eine topografische Karte. Selbst wenn Sie in einem Teil der Stadt sind, den Sie noch nie gesehen haben, können Sie auf die Karte schauen, die Steigung sehen und wissen, welche Richtung zum tiefsten Punkt (dem Ziel) führt.
Der Vorteil: Dieser „Karten"-Ansatz macht den Roboter viel robuster. Wenn Sie den Startpunkt des Roboters verschieben (eine „Verteilungsverschiebung"), funktioniert die Karte immer noch. Der Roboter weiß, wie er den Hügel hinabrutscht, selbst von einem neuen Startpunkt aus. Das Papier beweist mathematisch, dass diese Methode Fehler reduziert und dem Roboter hilft, sich besser als frühere Methoden auf neue, ungesehene Situationen zu verallgemeinern.

Ergebnisse aus der Praxis

Die Autoren testeten dies an Robotern, die Aufgaben wie folgende erledigten:

Eine Dose heben.
Einen quadratischen Stift in ein quadratisches Loch stecken.
Eine Schublade öffnen.
Eine Flasche aufnehmen.

Die Ergebnisse:

Bessere Imitation: Der Roboter kopierte die Experten besser als die bisherigen besten Methoden (Diffusions-Policies).
Erfolg mit echtem Roboter: Sie brachten den Code auf einen echten physischen Roboter (AGIBOT G1) und dieser öffnete erfolgreich Schubladen und platzierte Flaschen, ohne umzufallen, selbst wenn die Startposition leicht unterschiedlich war.
Selbstverbesserung: Als sie den „Energie-Score" als Belohnung nutzten, um den Roboter weiter zu trainieren (Bestärkendes Lernen), lernte der Roboter schneller und erreichte höhere Erfolgsquoten als bei Verwendung von Standard-Belohnungen, die nur selten gegeben werden.

Zusammenfassung

ENERGYFLOW ist wie das Geben einer GPS-Karte der „Güte" an einen Roboter, anstatt nur eine Liste von Wegbeschreibungen.

Es lernt die Form des Problems (die Energielandschaft).
Die Steigung dieser Form sagt dem Roboter, was zu tun ist (die Aktion).
Die Tiefe dieser Form sagt dem Roboter, wie gut es ist (die Belohnung).

Dies ermöglicht es dem Roboter, nicht nur Menschen perfekt zu kopieren, sondern auch die zugrunde liegende Logik der Aufgabe zu verstehen, was ihn intelligenter, anpassungsfähiger und fähiger macht, ohne ständiges menschliches Feedback selbst zu lernen.

1. Problemstellung

Diffusionsbasierte Strategien haben sich aufgrund ihrer Fähigkeit, komplexe, multimodale Aktionsverteilungen zu modellieren, zu einem State-of-the-Art-Paradigma für das Erlernen robotischer Manipulationsfähigkeiten aus Expertendemonstrationen entwickelt. Diese Strategien verlassen sich jedoch typischerweise auf Behavior Cloning (BC), das lernt, Aktionen nachzuahmen, ohne die zugrunde liegende Absicht oder Belohnungsstruktur explizit zu modellieren.

Einschränkungen herkömmlicher Diffusion: Ihnen fehlt eine explizite Energie-Repräsentation, was sie anfällig für Fehler macht, wenn sich Testsituationen von der Trainingsverteilung unterscheiden (Out-of-Distribution oder OOD). Sie können ohne Rückgriff auf instabile adversarielle Trainingsverfahren oder rechenintives Inverse Reinforcement Learning (IRL) keine Belohnungssignale für nachgelagertes Reinforcement Learning (RL) bereitstellen.
Die Lücke: Es besteht Bedarf an einem Rahmenwerk, das generative Aktionsmodellierung mit der Wiederherstellung von Belohnungen vereint, sodass sowohl hochwertige Imitation als auch die Extraktion eines gültigen Belohnungssignals zur Verfeinerung der Strategie ermöglicht werden, und zwar unter gleichzeitiger Gewährleistung theoretischer Garantien für die Generalisierung.

2. Methodik: ENERGYFLOW

Die Autoren schlagen ENERGYFLOW vor, ein Rahmenwerk, das eine skalare Energiefunktion $E_\theta(s, a)$ parametrisiert, deren Gradient als Denoising-Feld für die Aktionsgenerierung dient.

Kernarchitektur

Skalare Energie-Parametrisierung: Im Gegensatz zu herkömmlichen diffusionsbasierten Strategien, die direkt eine vektorwertige Rauschvorhersage $\epsilon_\theta(s, a)$ regressieren, lernt ENERGYFLOW eine skalare Energiefunktion $E_\theta(a, s, t)$ .
Konservatives Vektorfeld: Die Score-Funktion (Denoising-Feld) wird durch automatische Differentiation abgeleitet:
$S_\theta(a, s, t) = -\nabla_a E_\theta(a, s, t)$
Durch Konstruktion wird sichergestellt, dass das Vektorfeld konservativ ist (wirbelfrei, $\nabla \times S = 0$ ), was bedeutet, dass es der Gradient einer skalaren Potentialfunktion ist. Dies erzwingt Integrierbarkeit und stellt sicher, dass Aktionspräferenzen transitiv und physikalisch realisierbar sind.
Training: Das Modell wird mittels Denoising Score Matching (DSM) trainiert. Das Ziel minimiert die Differenz zwischen dem gelernten Gradienten und der wahren Rauschrichtung:
$\mathcal{L} = \mathbb{E}_{t, a_0, \epsilon} \left[ \sigma^2(t) \left\| -\nabla_{a_t} E_\theta(a_t, s, t) + \frac{\epsilon}{\sigma(t)} \right\|^2 \right]$
Inferenz: Aktionen werden durch Integration der Probability-Flow-ODE unter Verwendung des Gradienten der gelernten Energiefunktion generiert.

Extraktion der Belohnung

Das Rahmenwerk extrahiert ein Belohnungssignal direkt aus der gelernten Energielandschaft. Um die zustandsabhängige Integrationskonstante $c(s)$ zu behandeln (die rohe Energie-Werte über verschiedene Zustände hinweg mehrdeutig macht), schlagen die Autoren Centered Shaping vor:
$\tilde{r}(a, s) = -\left( E_\theta(a, s) - \mathbb{E}_{a' \sim \mathcal{N}}[E_\theta(a', s)] \right)$
Dies subtrahiert eine zustandsabhängige Basislinie (geschätzt via Monte-Carlo-Sampling) und normalisiert die Belohnung, sodass sie nur relative Aktionspräferenzen innerhalb eines Zustands widerspiegelt.

3. Haupttheoretische Beiträge

Das Papier liefert rigorose theoretische Beweise, die den Zusammenhang zwischen Diffusions-Score-Matching und Belohnungswiederherstellung herstellen:

Score-Belohnungs-Äquivalenz: Unter der Annahme der Optimalität maximaler Entropie beweist das Papier, dass die von Diffusionsmodellen gelernte Score-Funktion proportional zum Gradienten der weichen Q-Funktion des Experten ist ( $\nabla_a Q^* \propto S^*$ ). Somit wird der Belohnungsgradient durch Score-Matching implizit wiederhergestellt, ohne adversarielle Min-Max-Optimierung.
Komplexitätsreduktion durch konservative Einschränkungen: Die Autoren beweisen, dass die Einschränkung des Hypothesenraums auf konservative Felder (Gradienten von Skalaren) die Rademacher-Komplexität im Vergleich zu unbeschränkten Vektorfeldern strikt reduziert. Spezifisch skaliert die Komplexitätsschranke für konservative Felder mit der Glattheit der Darstellung ( $L$ ), wohingegen unbeschränkte Felder mit der Ausgabedimension skalieren ( $\sqrt{d}$ ).
OOD-Generalisierungsschranken: Unter Ausnutzung der reduzierten Komplexität leitet das Papier engere Generalisierungsschranken für Out-of-Distribution (OOD)-Szenarien ab. Die konservative Einschränkung wirkt als geometrischer Regularisierer, verhindert, dass das Modell willkürliche Vektorrichtungen lernt, und zwingt es, die Form der Energielandschaft zu extrapolieren, was zu besserer Robustheit bei Verteilungsverschiebungen führt.
Identifizierbarkeit und Fehlerfortpflanzung: Das Papier stellt fest, dass zwar der absolute Q-Wert aufgrund der unbekannten zustandsabhängigen Konstante nicht eindeutig identifizierbar ist, die Aktionsrangfolge innerhalb eines Zustands jedoch exakt ist. Darüber hinaus wird die Fortpflanzung von Score-Schätzfehlern auf Aktionspräferenzen begrenzt, wobei sich gezeigt hat, dass Fehler linear mit dem Abstand zwischen Aktionen skalieren (Lipschitz-Stetigkeit).

4. Experimentelle Ergebnisse

Die Autoren evaluierten ENERGYFLOW auf den Benchmarks RoboMimic und Meta-World sowie an realen Roboteraufgaben.

Imitationsleistung (RQ1): ENERGYFLOW erreichte State-of-the-Art (SOTA)-Leistung.
- RoboMimic: 93,8 % durchschnittliche Erfolgsrate (vs. 91,2 % für Diffusion Policy).
- Meta-World: 92,5 % durchschnittliche Erfolgsrate (vs. 90,7 % für Diffusion Policy).
- Es übertraf andere energie-basierte Methoden (wie Implicit BC) und IRL-Baselines signifikant.
Einsatz in der realen Welt (RQ2): Auf einem AGIBOT G1-Roboter für die Aufgaben „Bottle" und „Drawer" eingesetzt. ENERGYFLOW erreichte eine 100%ige Erfolgsrate mit glatten Trajektorien und weniger Zögern im Vergleich zu Baselines.
Qualität der Belohnung für nachgelagertes RL (RQ3): Bei Verwendung als Belohnungssignal zum Training eines Soft Actor-Critic (SAC)-Agents:
- Die „Centered Energy"-Belohnung ermöglichte es SAC, nahezu Orakel-Leistung zu erreichen und übertraf dabei signifikant spärliche Belohnungen und rohe Energie-Belohnungen.
- Sie lieferte dichte, schrittweise Anleitung, die frühe Trainingsplateaus verhinderte.
OOD-Generalisierung (RQ4): Unter zunehmenden Störungen der Anfangsposition behielt ENERGYFLOW robuste Erfolgsraten bei, während unbeschränkte Diffusions- und Flow-Strategien signifikant nachließen. Dies bestätigt den theoretischen Vorteil der konservativen Einschränkung.
Effizienz (RQ6): ENERGYFLOW erreichte Inferenzgeschwindigkeiten, die mit nicht-energiebasierten Flow-Policies vergleichbar sind (~10 ms Latenz), während es die Vorteile einer expliziten Energiefunktion bietet und dabei die langsamen Sampling-Zeiten traditioneller Energie-basierter Modelle (EBMs) vermeidet.

5. Bedeutung und Auswirkung

Vereinigung von Imitation und RL: ENERGYFLOW schließt die Lücke zwischen Behavior Cloning und Reinforcement Learning. Es ermöglicht, dass eine Strategie durch Imitation trainiert wird, während gleichzeitig ein gültiges Belohnungssignal für weitere Verfeinerung offengelegt wird, wodurch die Notwendigkeit für manuelles Belohnungsdesign oder instabiles adversarielles IRL entfällt.
Theoretische Garantien für Diffusion: Die Arbeit liefert die erste theoretische Begründung dafür, warum die Erzwingung eines konservativen Feldes (Integrierbarkeit) in diffusionsbasierten Strategien vorteilhaft ist, und verknüpft dies mit reduzierter Hypothesenkomplexität und verbesserter OOD-Generalisierung.
Praktischer Nutzen: Die Methode ist recheneffizient, skalierbar auf hochdimensionale Aktionsräume und in realen robotischen Umgebungen effektiv und bietet eine robuste Lösung für das Erlernen komplexer Manipulationsfähigkeiten aus begrenzten Demonstrationen.

Zusammenfassend zeigt ENERGYFLOW, dass die strukturellen Einschränkungen, die für eine gültige Belohnungsextraktion erforderlich sind (konservative Felder), gleichzeitig als starke induktive Verzerrungen dienen, die die Generalisierung und Robustheit diffusionsbasierter Strategien verbessern.