🤖 machine learning

BiTrajDiff: Bidirectional Trajectory Generation with Diffusion Models for Offline Reinforcement Learning

BiTrajDiff ist ein neuartiges Daten-Augmentierungs-Framework für Offline-Reinforcement-Learning, das bidirektionale Diffusionsmodelle einsetzt, um sowohl zukünftige als auch historische Trajektorien aus Zwischenzuständen zu generieren, wodurch die Verzerrung der Datendistribution überwunden und die Generalisierbarkeit der Politik durch die Erkundung vielfältiger Verhaltensmuster verbessert wird.

Ursprüngliche Autoren: Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Einbahnstraße" des Roboternen Lernens

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Labyrinth zu navigieren. Sie haben nur eine Videoaufnahme eines Menschen, der durch das Labyrinth läuft. Aber hier liegt der Haken: Der Mensch im Video läuft nur durch den linken oder den rechten Flur. Er geht niemals durch die verbindende Tür in der Mitte.

In der Welt des Offline Reinforcement Learning (RL) ist dies ein häufiges Problem. Der Roboter lernt aus einem statischen Datensatz (dem Video) und traut sich nicht, etwas Neues zu versuchen, weil er einen Fehler machen könnte (einen „Out-of-Distribution"-Fehler). Also bleibt er im linken oder rechten Flur stecken und entdeckt nie, dass er die Tür überqueren kann, um eine bessere Belohnung zu erhalten.

Bestehende Methoden versuchen zu helfen, indem sie KI nutzen, um neue Pfade zu „imaginieren". Die meisten dieser Methoden sind jedoch wie Einbahnstraßengeneratoren.

Wenn sie am linken Ende starten, imaginieren sie nur weitere Pfade, die nach links führen.
Wenn sie am rechten Ende starten, imaginieren sie nur weitere Pfade, die nach rechts führen.
Sie finden selten heraus, wie man einen Pfad zusammenfügt, der von Links $\rightarrow$ Tür $\rightarrow$ Rechts führt. Sie bewahren die „Konnektivität" der ursprünglichen schlechten Daten.

Die Lösung: BiTrajDiff (Der „Zwei-Wege-Näher")

Die Autoren schlagen eine neue Methode namens BiTrajDiff vor. Anstatt nur nach vorne oder nach hinten zu schauen, betrachtet diese Methode beide Richtungen gleichzeitig, um eine Brücke zwischen getrennten Pfaden zu bauen.

Stellen Sie es sich wie einen Schneider vor, der ein neues Kleid aus zwei verschiedenen Stoffstücken näht:

Der Ankerpunkt (Die Nadel): Die KI wählt einen bestimmten Punkt in der Mitte des Raums (einen Zustand) aus dem ursprünglichen Video aus. Nennen wir dies den „Anker".
Der Faden nach vorne (Zukunft): Die KI fragt: „Wenn ich an diesem Anker stehe, wie sieht eine gute Zukunft aus?" Sie generiert einen Pfad, der sich von diesem Punkt aus nach vorne bewegt.
Der Faden nach hinten (Vergangenheit): Die KI fragt: „Wenn ich an diesem Anker stehe, wie bin ich hierher gekommen?" Sie generiert einen Pfad, der sich von diesem Punkt aus nach hinten bewegt.
Der Stich: Die Magie geschieht, wenn die KI diese beiden Fäden am Anker zusammennäht. Plötzlich hat sie einen brandneuen, vollständigen Pfad geschaffen, der den „linken Flur" mit dem „rechten Flur" durch die Tür verbindet – einen Pfad, der im ursprünglichen Video niemals existiert hat.

Wie es funktioniert (Schritt für Schritt)

Das Training der Schneider: Das System trainiert zwei separate „KI-Schneider" (Diffusionsmodelle). Einer ist ein Experte für die Vorhersage der Zukunft, der andere ein Experte für die Rekonstruktion der Vergangenheit.
Erstellen der Teile: Es wählt einen zufälligen Punkt aus den alten Daten aus. Es bittet den „Zukunfts-Schneider", einen Pfad nach vorne zu zeichnen, und den „Vergangenheits-Schneider", einen Pfad nach hinten zu zeichnen.
Schließen der Lücken: Die KI verwendet dann ein „Reverse Dynamics"-Werkzeug, um herauszufinden, welche Aktionen (Bewegungen) und Belohnungen (Punkte) benötigt würden, um diese gezeichneten Pfade real zu machen.
Die Qualitätskontrolle (Der Türsteher): Nicht jeder genähte Pfad ist gut. Manche sehen seltsam oder unmöglich aus. Das System hat einen „Türsteher" (einen Filter), der zwei Dinge überprüft:
- Ist es realistisch? (Sieht es so aus, als könnte es im Labyrinth tatsächlich passieren?)
- Ist es gut? (Führt es zu einer hohen Punktzahl?)
- Wenn die Antwort nein ist, wird der Pfad verworfen. Wenn ja, wird er zum Trainingsdatensatz hinzugefügt.

Warum es besser ist

Das Papier testete dies am D4RL-Benchmark (ein Standardsatz von Roboterkontrollaufgaben wie Laufen, Rennen und Labyrinthnavigation).

Das Ergebnis: Durch das Zusammenfügen von Vorwärts- und Rückwärts-Pfaden schuf BiTrajDiff „Brücken" zwischen Verhaltensweisen, die zuvor getrennt waren.
Die Analogie: Wenn die alten Daten eine Bibliothek mit zwei separaten Räumen voller Bücher waren, die nie miteinander sprachen, baute BiTrajDiff einen Flur, der sie verbindet. Jetzt kann der Roboter ein Buch aus dem linken Raum lesen, durch den neuen Flur gehen und ein Buch aus dem rechten Raum lesen.
Das Ergebnis: Roboter, die mit diesen neuen, „genähten" Daten trainiert wurden, lernten schneller und performten besser als Roboter, die nur mit den alten Daten oder mit Daten trainiert wurden, die von Einbahnstraß-Methoden generiert wurden. Sie konnten Aufgaben lösen (wie das Überqueren einer Tür in einem Labyrinth), die die ursprünglichen Daten für unmöglich erklärt hatten.

Zusammenfassung

BiTrajDiff ist eine neue Art, Roboter zu unterrichten, indem man neue Erfahrungen „imaginieren" lässt. Anstatt nur zu raten, was als Nächstes passiert, rät sie, was vorher geschah und was als Nächstes passiert, und näht sie dann zusammen, um eine vollständige, hochwertige Geschichte zu erschaffen. Dies ermöglicht Robotern, aus „Was-wäre-wenn"-Szenarien zu lernen, die in ihren ursprünglichen Trainingsvideos fehlten, und hilft ihnen, die Grenzen ihrer vergangenen Erfahrungen zu überwinden.

Technische Zusammenfassung: BiTrajDiff

Problemstellung

Offline-Verstärkungslernen (RL) zielt darauf ab, effektive Strategien aus statischen, vorab gesammelten Datensätzen zu erlernen, ohne weitere Interaktion mit der Umgebung. Eine primäre Herausforderung in diesem Bereich ist das Out-of-Distribution (OOD)-Problem, bei dem die erlernte Strategie auf Zustands-Aktions-Paare trifft, die nicht in den protokollierten Daten vorhanden sind, was zu Extrapolationsfehlern und einer Überschätzung des Werts führt. Um dies zu mildern, setzen bestehende Methoden oft konservative Einschränkungen durch, die das Lernen unbeabsichtigt auf die strukturellen Verzerrungen des Datensatzes beschränken, wodurch die Verhaltensvielfalt und die Generalisierungsfähigkeit eingeschränkt werden.

Neuere Ansätze zur Datenaugmentation (DA) versuchen, dies zu adressieren, indem sie generative Modelle (insbesondere Diffusionsmodelle) verwenden, um neue Übergänge zu synthetisieren. Aktuelle DA-Methoden operieren jedoch vorwiegend innerhalb eines Single-Rollout-Paradigmas (entweder Vorwärts-Zukunft oder Rückwärts-Vergangenheit), das auf Zuständen innerhalb des Datensatzes konditioniert ist. Infolgedessen neigen diese Methoden dazu, die ursprüngliche Pfad-zu-Pfad-Konnektivität des Datensatzes zu bewahren. Sie erzeugen lokale Variationen innerhalb bestehender Verhaltensmuster, scheitern jedoch daran, Verbindungen zwischen distincten, voneinander getrennten Verhaltensmustern wiederherzustellen (z. B. das Überbrücken zweier separater Räume in einer Navigationsaufgabe, wenn im ursprünglichen Daten keine Trajektorien existieren, die eine Tür durchqueren).

Methodik

Die Autoren schlagen BiTrajDiff (Bidirectional Trajectory Diffusion) vor, ein neues DA-Framework, das entwickelt wurde, um die globale Pfad-zu-Pfad-Konnektivität explizit wiederherzustellen, indem Trajektorien synthetisiert werden, die zuvor getrennte Verhaltensmuster verbinden.

Kernframework

BiTrajDiff zerlegt die Trajektoriensynthese in zwei unabhängige, jedoch komplementäre Diffusionsprozesse:

Vorwärts-Zukunft-Diffusion: Modelliert die Generierung zukünftiger Zustandssequenzen, beginnend bei einem Zwischenzustand.
Rückwärts-Vergangenheits-Diffusion: Modelliert die Rekonstruktion vergangener Zustandssequenzen, die beim selben Zwischenzustand enden.

Beide Prozesse sind auf dieselben Zwischenankerzustände ( $s_t$ ) konditioniert, die aus dem Offline-Datensatz entnommen werden, sowie auf ein Zielkumulatives-Rückgabesignal.

Schlüsselkomponenten

Bidirektionales Diffusions-Training:
- Zwei separate Diffusionsmodelle ( $\epsilon_{\theta_f}$ für vorwärts, $\epsilon_{\theta_b}$ für rückwärts) werden auf dem Offline-Datensatz trainiert.
- Das Vorwärtsmodell generiert Trajektorien $\{s_t, \dots, s_{t+H-1}\}$ , konditioniert auf den Anfangszustand $s_t$ und die Zielrückgabe $R_f$ .
- Das Rückwärtsmodell generiert Trajektorien $\{s_{t-H+1}, \dots, s_t\}$ , konditioniert auf den Endzustand $s_t$ und die Zielrückgabe $R_b$ .
- Das Training nutzt Classifier-Free Guidance (CFG) zur Handhabung von konditionaler und unbedingter Generierung, wobei die kumulative Rückgabe als primäre Bedingung dient.
Bidirektionale Trajektoriengenerierung und -verknüpfung:
- Während der Inferenz wird ein Ankerzustand $s_t$ aus dem Datensatz entnommen.
- Das Vorwärtsmodell generiert ein Zukunftssegment, und das Rückwärtsmodell generiert ein Vergangenheitssegment.
- Diese Segmente werden am gemeinsamen Ankerzustand $s_t$ verknüpft (gestitched), um eine vollständige bidirektionale Trajektorie zu bilden: $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$ .
- Dieser Verknüpfungsmechanismus ermöglicht die Synthese von Trajektorien, die Zustände verbinden, die im ursprünglichen Datensatz zuvor unerreichbar oder unverbunden waren.
Trajektorien-Vervollständigung:
- Da die Diffusionsmodelle Zustandssequenzen generieren, wird ein Inverse Dynamics Model (IDM) verwendet, um Aktionen ( $a_t$ ) basierend auf Zustandsübergängen ( $s_t, s_{t+1}$ ) vorherzusagen.
- Ein Reward Model (RM) sagt Belohnungen ( $r_t$ ) für die Zustands-Aktions-Paare vorher.
- Dies vervollständigt die Trajektorie mit Aktions- und Belohnungssignalen und bildet ein vollständiges Übergangstuple.
Bidirektionale Trajektorienfilterung:
Um die Qualität der augmentierten Daten sicherzustellen, wird ein zweistufiger Filtermechanismus angewendet:
- OOD-Filter: Verwendet einen Isolation Forest, um Trajektorien zu erkennen und zu entfernen, die signifikant von der ursprünglichen Datenverteilung abweichen (Neuartigkeitsdetektion).
- Greedy-Filter: Selektiert die besten Trajektorien basierend auf der höchsten kumulativen Belohnung und stellt sicher, dass die augmentierten Daten die Strategie zu leistungsstarken Verhaltensweisen führen.

Hauptbeiträge

Identifikation von Limitierungen: Die Autoren identifizieren, dass Single-Rollout-DA-Methoden die ursprüngliche Pfad-zu-Pfad-Konnektivität bewahren und dabei versagen, Verbindungen zwischen distincten Verhaltensmustern zu erkunden.
Bidirektionale Synthese: Der Vorschlag von BiTrajDiff, der die Generierung explizit in Vorwärts- und Rückwärtsprozesse zerlegt, die auf gemeinsamen Ankern konditioniert sind, und damit die Synthese von Trajektorien ermöglicht, die getrennte Verhaltensmodi verbinden.
Empirische Validierung: Umfassende Experimente auf dem D4RL-Benchmark zeigen, dass BiTrajDiff konsistent fortschrittliche DA-Baselines (einschließlich Synther, DiffStitch und RTDiff) über verschiedene Offline-RL-Backbones (IQL, TD3BC, CQL, DT) hinweg in verschiedenen Aufgaben übertrifft.

Experimentelle Ergebnisse

Die Arbeit evaluiert BiTrajDiff auf dem D4RL-Benchmark, der Lokomotion, Navigation (Maze2D, AntMaze) und Manipulation (Kitchen) umfasst.

Leistungssteigerungen: BiTrajDiff erzielt die höchsten durchschnittlichen Rückgaben in den meisten Aufgaben und Algorithmen. Beispielsweise übertrifft es in Lokomotionsaufgaben konsistent einseitige Baselines. In Umgebungen mit spärlichen Belohnungen wie Maze und Kitchen, wo Datenqualität kritisch ist, zeigt BiTrajDiff signifikante Verbesserungen in Stabilität und Leistung.
Ablationsstudien:
- Richtung: BiTrajDiff (bidirektional) übertrifft konsistent sowohl reine Vorwärts- als auch reine Rückwärts-Varianten und validiert die Notwendigkeit, sowohl Vergangenheits- als auch Zukunftssegmente zu verknüpfen, um die globale Konnektivität wiederherzustellen.
- Filterung: Die Kombination aus OOD- und Greedy-Filtern erweist sich als überlegen gegenüber der Verwendung eines einzelnen Filters oder gar keiner Filter, indem sie Vielfalt mit Zuverlässigkeit in Einklang bringt.
- Augmentationsverhältnis: Ein Verhältnis von 30 % augmentierter Daten zu Originaldaten ( $\sigma=30\%$ ) liefert optimale Stabilität und Leistung; übermäßige Augmentation (100 %) führt zu Rauschen, das die Leistung verschlechtert.
n-Schritt-TD-Schätzer: BiTrajDiff behält seinen Leistungsüberschuss gegenüber Baselines bei, selbst wenn der n-Schritt-Horizont zunimmt, was darauf hindeutet, dass die generierten Trajektorien von höherer Qualität und konsistenter mit den zugrunde liegenden Dynamiken sind als die anderer DA-Methoden.
Vielfalt vs. Genauigkeit: Visualisierungsmetriken (Dynamic Error und L2-Distanz) zeigen, dass BiTrajDiff Trajektorien mit signifikant höherer Vielfalt (größere L2-Distanz zu den Originaldaten) generiert, während es eine wettbewerbsfähige dynamische Genauigkeit beibehält, im Gegensatz zu einseitigen Methoden, die dazu neigen, die ursprüngliche Verteilung zu überanpassen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BiTrajDiff eine grundlegende Einschränkung in der Datenaugmentation für Offline-RL adressiert: die Unfähigkeit von Single-Process-Rollouts, getrennte Verhaltensmuster zu überbrücken. Durch die explizite Modellierung und Verknüpfung von Vorwärts-Zukunft- und Rückwärts-Vergangenheits-Trajektorien um gemeinsame Ankerzustände herum stellt BiTrajDiff die globale Pfad-zu-Pfad-Konnektivität wieder her, die im ursprünglichen Datensatz fehlt.

Die Autoren behaupten, dass dieser Ansatz es Offline-RL-Algorithmen ermöglicht, aus einer vielfältigeren Menge von Verhaltensmustern zu lernen, ohne die physikalische Konsistenz zu opfern, was zu erheblichen Leistungsverbesserungen in einer breiten Palette von Aufgaben und Algorithmen führt. Die Arbeit wird als ein Schritt vorwärts dargestellt, um die strukturellen Verzerrungen des konservativen Offline-Lernens durch generative Datenaugmentation zu überwinden. Als zukünftige Arbeit wird die Erforschung der bidirektionalen Generierung in Multi-Task-Szenarien mit breiteren Verhaltensmustern notiert.