🤖 machine learning

Offline Reinforcement Learning with Generative Trajectory Policies

Dieser Beitrag stellt Generative Trajektorienrichtlinien (GTPs) vor, ein einheitliches Offline-Reinforcement-Learning-Framework, das die Lücke zwischen langsamen Diffusionsmodellen und schnellen Konsistenzmodellen schließt, indem es kontinuierliche ODE-basierte Trajektorienlösungskarten erlernt, und dabei auf den D4RL-Benchmarks State-of-the-Art-Leistung erzielt, einschließlich perfekter Punktzahlen bei den herausfordernden AntMaze-Aufgaben.

Ursprüngliche Autoren: Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, durch ein komplexes Labyrinth zu laufen. Sie besitzen eine riesige Videobibliothek mit anderen Robotern, die diese Aufgabe versuchen, aber Sie können Ihren neuen Roboter nicht in der realen Welt üben lassen; er muss ausschließlich durch das Anschauen dieser alten Videos lernen. Dies ist die Herausforderung des Offline Reinforcement Learning.

Das Problem besteht darin, dass die Videos viele verschiedene Bewegungsweisen zeigen. Manchmal dreht sich der Roboter nach links, manchmal nach rechts, manchmal stolpert er und manchmal gleitet er perfekt. Ein einfaches Roboterhirn könnte verwirrt werden und versuchen, diese Bewegungen zu „mitteln", was zu einem Roboter führt, der sich nur im Kreis dreht. Es benötigt ein Hirn, das alle diese verschiedenen Möglichkeiten gleichzeitig verstehen kann.

Das alte Dilemma: Langsam vs. Dumm

In der Vergangenheit versuchten Forscher, diese „intelligenten Hirne" mit zwei Hauptwerkzeugtypen zu bauen, stießen jedoch auf einen frustrierenden Zielkonflikt:

Der langsame Künstler (Diffusionsmodelle): Stellen Sie sich einen Künstler vor, der ein Bild erstellt, indem er mit einer leeren Leinwand beginnt, die mit statischem Rauschen bedeckt ist, und es schrittweise verfeinert, bis ein perfektes Bild erscheint. Diese Methode ist hervorragend darin, komplexe Details und verschiedene Stile (multimodale Verhaltensweisen) einzufangen. Allerdings dauert es sehr lange, ein einziges Bild zu malen. Wenn Ihr Roboter jede Sekunde eine Entscheidung treffen muss, ist dieser langsame Prozess zu träge, um nützlich zu sein.
Der schnelle Skizzierer (Konsistenzmodelle): Stellen Sie sich nun einen Skizzierer vor, der versucht, das endgültige Bild in einem oder zwei schnellen Strichen zu zeichnen. Es ist unglaublich schnell, aber da die Verfeinerungsschritte übersprungen werden, sieht die Zeichnung oft unscharf oder falsch aus. Der Roboter bewegt sich schnell, prallt aber gegen Wände, weil sein Weltverständnis zu einfach ist.

Die neue Lösung: Die „Generative Trajectory Policy" (GTP)

Die Autoren dieses Papiers, Xinsong Feng und Kollegen, sagen: „Warum zwischen langsam und schnell wählen? Bauen wir ein Roboterhirn, das beides ist."

Sie stellen eine neue Methode namens Generative Trajectory Policies (GTP) vor. Um zu verstehen, wie sie funktioniert, stellen Sie sich die Bewegung des Roboters nicht als einen einzelnen Sprung von Punkt A nach Punkt B vor, sondern als einen kontinuierlichen Film seiner Reise.

Die vereinheitlichte Sicht: Die Autoren erkannten, dass sowohl der „langsame Künstler" als auch der „schnelle Skizzierer" eigentlich nur denselben Film aus verschiedenen Blickwinkeln betrachten. Beide versuchen, eine mathematische Gleichung (eine gewöhnliche Differentialgleichung oder ODE) zu lösen, die beschreibt, wie sich der Roboter von Chaos (Rauschen) zu Ordnung (eine perfekte Aktion) bewegt.
Der magische Trick: Anstatt den Film bildweise anzusehen (langsam) oder das Ende sofort zu erraten (schnell), lernt GTP die gesamte Landkarte des Films auf einmal. Es lernt die „Lösungskarte", die ihm genau sagt, wie es von jedem Punkt im Rauschen zur perfekten Aktion gelangt, unabhängig davon, wie viele Schritte es dauert.

Wie sie es funktionierend machten (Die zwei Tricks)

Das Erlernen dieser „gesamten Filmkarte" von Grund auf ist schwierig. Wenn der Roboter frühzeitig falsch rät, gerät er in Verwirrung und macht immer schlechtere Ratschläge. Die Autoren fügten zwei clevere „Tricks" hinzu, um dies praktikabel zu machen:

Der „Spickzettel" (Score-Approximation):
Normalerweise müsste der Roboter, um die Filmkarte zu lernen, den ganzen Film immer wieder simulieren, um seine Arbeit zu überprüfen. Dies ist rechenintensiv.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Lied zu lernen, indem Sie die ganze Symphonie spielen, um zu prüfen, ob Sie den richtigen Ton getroffen haben. Die Autoren sagen: „Nein, schauen Sie sich einfach die Noten an." Sie fanden einen Weg, eine einfache, direkte Formel (einen „Spickzettel") zu verwenden, um den Fortschritt des Roboters zu überprüfen, ohne den ganzen Film zu simulieren. Dies macht das Training schnell und stabil und verhindert, dass der Roboter in Verwirrung gerät.
Der „Trainerpfeife" (Wertgesteuerte Führung):
Das bloße Kopieren der Videos reicht nicht aus; der Roboter muss bessere Bewegungen lernen als die in den Videos.
- Die Analogie: Stellen Sie sich einen Trainer vor, der die Videobibliothek beobachtet. Wenn der Roboter im Video eine Bewegung macht, die zu einer hohen Punktzahl führt, pfeift der Trainer und sagt: „Mach das öfter!" Wenn der Roboter eine schlechte Bewegung macht, sagt der Trainer: „Mach das nicht."
- Die Autoren entwickelten ein System, bei dem ein „Kritiker" (der Trainer) das Training des Roboters überwacht und die Lektionen gewichtet. Er sagt dem Roboter, dass er besonders auf die hochbewerteten Bewegungen in den Videos achten soll, und lehrt ihn so, sich über das bloße Kopieren hinaus zu verbessern.

Die Ergebnisse

Das Team testete dieses neue Roboterhirn an einer berühmten Reihe von Herausforderungen namens D4RL, die Aufgaben wie das Laufen auf zwei Beinen und das Navigieren durch komplexe Labyrinthe (AntMaze) umfasst.

Das Ergebnis: GTP schlug fast jede andere Methode. Es war schnell genug, um praktisch zu sein, aber intelligent genug, um die schwierigsten, mehrstufigen Rätsel zu bewältigen.
Das Highlight: Bei den berüchtigt schwierigen „AntMaze"-Aufgaben (bei denen ein Roboter ein riesiges, gewundenes Labyrinth navigieren muss) erzielte GTP auf mehreren Ebenen perfekte Punktzahlen, etwas, mit dem frühere Methoden zu kämpfen hatten.

Zusammenfassung

Kurz gesagt, überbrückten die Autoren die Lücke zwischen „langsam aber klug" und „schnell aber dumm". Indem sie die Roboterbewegung als kontinuierliche Reise betrachteten und einen „Spickzettel" verwendeten, um sie effizient zu erlernen, schufen sie eine Richtlinie, die sowohl hochexpressiv (kann komplexe, mehroptionale Verhaltensweisen bewältigen) als auch recheneffizient ist. Sie bewiesen, dass man im Offline-Lernen nicht Geschwindigkeit für Intelligenz opfern muss.

Technische Zusammenfassung: Offline-Reinforcement-Learning mit generativen Trajektorien-Policies

Problemstellung

Offline Reinforcement Learning (RL) steht vor einer grundlegenden Herausforderung: das Erlernen einer Policy aus einem statischen, vorab gesammelten Datensatz ohne weitere Interaktion mit der Umgebung. Dieses Setting erfordert, dass die Policy von begrenzten, oft eingeschränkten Erfahrungen auf eine unvorhersehbare Welt verallgemeinert. Ein kritischer Engpass in diesem Bereich ist der Trade-off zwischen Policy-Ausdrucksstärke und Rechenleistungseffizienz.

Traditionelle Offline-RL-Methoden verlassen sich häufig auf einfache Funktionsapproximatoren (z. B. Gaußsche Policies), die Schwierigkeiten haben, die komplexen, multimodalen Verhaltensweisen zu erfassen, die in realen Datensätzen vorhanden sind. Im Gegensatz dazu bieten neuere generative Ansätze, wie Diffusions-Policies, eine hohe Ausdrucksstärke durch die Modellierung komplexer Aktionsverteilungen, leiden jedoch unter langsamen, iterativen Sampling-Prozessen, die eine erhebliche Rechenlast auferlegen. Um dies zu mildern, wurden Konsistenz-Policies eingeführt, um die Inferenz zu beschleunigen (oft auf ein oder zwei Schritte), doch diese Vereinfachung führt häufig zu einer verschlechterten Policy-Leistung. Die zentrale Forschungsfrage, die von dieser Arbeit adressiert wird, lautet: Ist es möglich, eine Policy-Klasse zu entwerfen, die sowohl eine hohe Policy-Ausdrucksstärke als auch eine hohe Rechenleistungseffizienz erreicht?

Methodik

1. Einheitliches ODE-Rahmenwerk

Die Autoren schlagen eine vereinheitlichende Perspektive vor, die moderne generative Modelle – einschließlich Diffusionsmodelle, Flow Matching, Konsistenzmodelle (CMs) und Konsistenz-Trajektorien-Modelle (CTMs) – als spezifische Instanzen des Lernens einer kontinuierlichen generativen Trajektorie betrachtet, die durch eine gewöhnliche Differentialgleichung (ODE) gesteuert wird.

Der Rückwärtsprozess wird durch die ODE beschrieben:
$\frac{dx_t}{dt} = f(x_t, t)$
wobei $f(x, t)$ eine deterministische Trajektorie von einer Rauschverteilung $x_T$ zu einem Datensample $x_0$ definiert. Die Autoren führen eine Flow-Abbildung $\Phi(x_t, t, s)$ ein, die einen Zustand zum Zeitpunkt $t$ auf einen Zustand zum Zeitpunkt $s$ abbildet. Sie argumentieren, dass bestehende Methoden lediglich Approximationen spezifischer Aspekte dieser Flow-Abbildung sind.

Um diese Abbildung zu lernen, definieren sie zwei komplementäre Trainingsziele:

Instantaneous Flow Loss (Lokaler Anker): Erzwingt die Korrektheit für infinitesimale Schritte, indem die erlernte Abbildung mit dem Vektorfeld (oder Denoiser) im Grenzwert $s \to t$ abgeglichen wird. Dies vereinheitlicht diffusionsartiges Denoising und Flow-Matching-Geschwindigkeitsschätzung.
Trajectory Consistency Loss (Globaler Regler): Erzwingt Selbstkonsistenz über lange, mehrstufige Sprünge hinweg und stellt sicher, dass die Komposition von Zwischenschritten dem direkten Sprung entspricht.

2. Generative Trajektorien-Policies (GTP)

Aufbauend auf diesem Rahmenwerk führt die Arbeit Generative Trajektorien-Policies (GTPs) ein, ein neues Policy-Paradigma, das die gesamte Lösungsabbildung der zugrunde liegenden ODE lernt. Im Gegensatz zu Methoden, die auf langsames, hochpräzises Sampling oder schnelle, niedrigpräzise Abkürzungen beschränkt sind, ermöglichen GTPs eine flexible, mehrstufige, deterministische Generierung.

3. Praktische Anpassungen für Offline-RL

Die Übertragung des GTP-Paradigmas in einen funktionsfähigen Offline-RL-Algorithmus erfordert die Bewältigung dreier spezifischer Herausforderungen: prohibitive Rechenkosten, Trainingsinstabilität und fehlende Zielkongruenz. Die Autoren stellen zwei theoretisch fundierte Schlüssel-Anpassungen vor:

Stabile Score-Approximation:
- Herausforderung: Das Lernen der ODE-Trajektorie erfordert typischerweise das numerische Lösen der ODE rückwärts unter Verwendung eines inneren Lösers für jedes Sample, was aufgrund der Fehlerfortpflanzung durch ungenaue Schätzungen in frühen Stadien rechnerisch nicht handhabbar und instabil ist.
- Lösung: Die Autoren ersetzen das erlernte Vektorfeld durch eine geschlossene Surrogatfunktion, die am Offline-Datensample verankert ist: $\tilde{f}(x_t, t) = (x_t - x)/t$ .
- Theoretische Garantie: Satz 4.1 beweist, dass die Verwendung dieses Surrogats das Trainingsziel nur um $O(h^p)$ ändert (wobei $h$ die Schrittgröße ist), wodurch das praktische Ziel asymptotisch äquivalent zum idealen Ziel wird. Dies eliminiert die Notwendigkeit einer kostspieligen mehrstufigen ODE-Integration während des Trainings und gewährleistet gleichzeitig Stabilität.
Werte-gesteuerte Führung:
- Herausforderung: Standard-generative Ziele passen sich der Datenverteilung an (Behavior Cloning), was nicht inhärent zu einer Policy-Verbesserung führt.
- Lösung: Die Autoren formalisieren ein wertschätzendes Trainingsziel. Durch die Herleitung der optimalen Lösung für ein KL-reguliertes Policy-Optimierungsproblem zeigen sie, dass das Trainieren einer generativen Policy zur Anpassung an die optimale Policy äquivalent zur Lösung eines gewichteten generativen Ziels ist, wobei die Gewichte die exponentiierte Vorteilsfunktion sind: $w(s, a) \propto \exp(\eta A(s, a))$ .
- Implementierung: Um Stabilität zu gewährleisten, werden Vorteilsgewichte normalisiert und negative Werte abgeschnitten. Dies ermöglicht es der Policy, vorrangig Aktionen mit hohem Vorteil nachzuahmen, während sie gleichzeitig am Datenträger verankert bleibt.

Hauptbeiträge

Generative Trajektorien-Policies (GTP): Ein neues, hochausdrucksstarkes Policy-Paradigma, das aus einem vereinheitlichenden Rahmenwerk abgeleitet ist, das moderne generative Modelle mit kontinuierlichen ODE-Trajektorien verbindet.
Theoretische Anpassungen: Zwei Schlüssel-Anpassungen für praktisches Offline-RL:
- Eine Score-Approximations-Technik, die theoretische Garantien für Effizienz und Stabilität bietet und die Notwendigkeit iterativer Löser während des Trainings beseitigt.
- Ein variationsbasiertes Rahmenwerk für werte-gesteuerte Policy-Verbesserung, das die Lücke zwischen Imitationslernen und Policy-Optimierung schließt.
Empirische Validierung: Umfassende Experimente, die zeigen, dass GTP State-of-the-Art-Ergebnisse auf D4RL-Benchmarks erzielt und frühere generative sowie Offline-RL-Methoden übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten GTP auf dem D4RL-Benchmark, der Gym (Lokomotion) und AntMaze (sparse-Rewards, lange Horizonte) Domänen abdeckt.

Behavior Cloning (BC) Leistung: Als reiner Imitationslerner (ohne Werte-Führung) erzielte GTP-BC State-of-the-Art-Ergebnisse in 11 von 15 Aufgaben. Bemerkenswerterweise übertraf es Diffusion-BC und Consistency-BC signifikant, insbesondere in der anspruchsvollen AntMaze-Suite (durchschnittliche Punktzahl 66,3 gegenüber 44,1 für den zweitbesten).
Policy-Verbesserung: Der vollständige GTP-Aktor-Kritik-Algorithmus stellte neue State-of-the-Art-Rekorde für generative Policies auf.
- Bei Gym-Aufgaben erreichte GTP eine durchschnittliche Rückkehr von 89,0 und übertraf damit den bisherigen Bestwert (Diffusion-QL bei 87,9).
- Bei AntMaze-Aufgaben erreichte GTP einen Durchschnitt von 80,6 und übertraf Diffusion-QL (69,6) und QGPO (78,3) signifikant.
- Bemerkenswerte Leistung: GTP erreichte eine perfekte Punktzahl von 100,0 auf der berüchtigt schwierigen antmaze-umaze-Aufgabe.
Effizienz: Ablationsstudien bestätigten, dass GTP für seine Leistung nicht auf lange ODE-Trajektorien angewiesen ist; die Reduzierung des Sampling-Horizonts von 5 auf 2 Schritte behielt die hohe Leistung bei und reduzierte die Inferenz-Latenz erheblich.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GTP erfolgreich die Lücke zwischen Ausdrucksstärke und Effizienz im Offline-RL schließt. Durch die Betrachtung generativer Policies durch die Linse eines einheitlichen ODE-Rahmenwerks und das Lernen der vollständigen Lösungsabbildung vermeidet GTP die rechnerischen Engpässe iterativer Diffusionsmodelle und die Leistungsverschlechterung vereinfachter Konsistenzmodelle.

Die Autoren betonen, dass ihr Ansatz eine prinzipielle Grundlage für das Design generativer Policies bietet. Die Einführung von Score-Approximation und werte-gesteuerter Führung macht diesen theoretisch reichen Rahmen für Offline-RL praktisch umsetzbar. Die Ergebnisse deuten darauf hin, dass das Lernen der vollständigen kontinuierlichen Trajektorie einen starken induktiven Bias für die Erfassung komplexer, zeitlich ausgedehnter Verhaltensweisen bietet, insbesondere in Umgebungen mit sparse-Rewards und langen Horizonten, in denen andere Methoden Schwierigkeiten haben.

Die Arbeit schließt damit, dass, obwohl die Inferenz schnell ist, die Reduzierung der erheblichen Trainingszeit dieser Modellklasse ein wichtiger Ansatzpunkt für zukünftige Forschung bleibt. Die Arbeit eröffnet eine vielversprechende Richtung für die Nutzung kontinuierlicher Dynamiken im RL und bietet ein Gleichgewicht zwischen Robustheit und Leistung, das zuvor nicht erreichbar war.