🤖 AI

Goal-Conditioned Decision Transformer for Multi-Goal Offline Reinforcement Learning

Dieser Beitrag stellt einen Goal-Conditioned Decision Transformer vor, der vorkollektierte Offline-Daten nutzt, um komplexe, Multi-Goal-Roboteraufgaben mit spärlichen Belohnungen effizient zu lösen, und dabei eine überlegene Leistung gegenüber den fortschrittlichsten Online-Baselines auf der Franka-Emika-Panda-Plattform demonstriert.

Ursprüngliche Autoren: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboterarm beibringen, komplexe Aufgaben auszuführen, wie zum Beispiel einen Block aufzuheben und an eine bestimmte Stelle zu legen. Normalerweise müssten Sie den Roboter versuchen lassen, scheitern, gegen Dinge prallen und aus seinen Fehlern in der realen Welt lernen. Doch das ist gefährlich, teuer und verschleißt den Roboter.

Dieser Artikel stellt eine intelligentere, sicherere Methode vor, Roboter mittels Offline-Lernen zu unterrichten. Stellen Sie es sich so vor: Anstatt den Roboter in Echtzeit üben zu lassen, geben wir ihm eine riesige Bibliothek mit „Hausvideos" anderer Roboter (oder von Experten), die Aufgaben ausführen. Der Roboter studiert diese Videos, um zu lernen, wie er sich bewegt, ohne während des Trainings jemals die reale Welt zu berühren.

Hier ist die Aufschlüsselung ihrer neuen Methode, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Ein-Aufgaben"-Roboter

Die meisten Roboter sind wie Schüler, die nur für eine spezifische Prüfung lernen. Wenn Sie einem Roboter beibringen, einen roten Block zu schieben, weiß er möglicherweise nicht, wie er einen blauen Block schiebt oder nach einer Tasse greift. Ihm fehlt die Generalisierung.

2. Die Lösung: Der „Zielkonditionierte Entscheidungs-Transformer"

Die Autoren haben ein neues KI-Modell namens Zielkonditionierter Entscheidungs-Transformer entwickelt. So funktioniert es:

Der „Transformer"-Teil (Der Super-Leser): Stellen Sie sich einen Schüler vor, der nicht nur Schritte auswendig lernt, sondern die Geschichte einer Bewegung versteht. Dieses Modell liest eine Abfolge von Ereignissen (wo der Roboter war, was es tat und was als Nächstes geschah) wie ein Buch. Es nutzt eine „Transformer"-Architektur (dieselbe Technologie, die hinter fortschrittlichen Chatbots steht), um den Kontext der gesamten Geschichte zu verstehen, nicht nur den letzten Satz.
Der „Zielkonditionierte"-Teil (Das GPS): Standard-Roboter werden vielleicht nur gesagt: „Mach das." Dieses neue Modell wird gesagt: „Mach das, um an diesen bestimmten Ort zu gelangen."
- Die Analogie: Stellen Sie sich vor, Sie geben einem Fahrer Anweisungen.
  - Alter Weg: „Links abbiegen, dann rechts." (Der Fahrer kennt das Ziel nicht).
  - Neuer Weg: „Links abbiegen, dann rechts, um zur Pizzeria zu gelangen."
- Indem dem Roboter explizit das „gewünschte Ziel" (die Pizzeria) zusammen mit der Historie der Bewegungen in sein Gedächtnis eingespeist wird, lernt der Roboter, dass verschiedene Pfade zum selben Ziel führen können. Er lernt, seine Bewegungen basierend darauf anzupassen, wo er landen möchte.

3. Der „Rückblick"-Trick

Der Artikel erwähnt eine Technik namens Hindsight Experience Replay (Erinnerung an vergangene Erfahrungen im Nachhinein).

Die Analogie: Stellen Sie sich vor, ein Roboter versucht, einen Block in die Küche zu schieben, schiebt ihn aber versehentlich ins Wohnzimmer. Ein normaler Roboter denkt: „Ich habe versagt."
Der Rückblick-Trick: Diese Methode sagt: „Nun, Sie sind nicht in die Küche gelangt, aber Sie haben den Block erfolgreich ins Wohnzimmer geschoben! Lassen Sie uns so tun, als wäre das von Anfang an das Ziel gewesen." Dies verwandelt „Fehlschläge" in „erfolgreiche Lektionen" und hilft dem Roboter, aus spärlichen Daten viel schneller zu lernen.

4. Das Experiment: Der Franka-Panda-Roboter

Das Team testete dies an einem echten Roboterarm (Franka Emika Panda) mit drei Aufgaben:

Greifen: Berühren einer bestimmten Stelle.
Schieben: Einem Würfel zu einer Stelle schieben.
Aufheben und Platzieren: Ein Objekt anheben und bewegen.

Sie verglichen ihren neuen „Zielkonditionierten Transformer" mit:

Behavioral Cloning (Verhaltensklonierung): Einfach die Videos kopieren, ohne das „Warum" zu verstehen.
TQC+HER: Eine sehr starke, Standard-Online-Lernmethode, die durch Versuch und Irrtum in Echtzeit lernt.

5. Die Ergebnisse: Der Außenseiter gewinnt

Die Ergebnisse waren überraschend und beeindruckend:

Geschwindigkeit: Ihre Methode trainierte in 80 Minuten, während die Standard-Online-Methode 240 Minuten benötigte.
Leistung: Bei komplexen Aufgaben (wie Aufheben und Platzieren) schnitt ihre Offline-Methode tatsächlich besser ab als die Online-Methode, die stundenlang in der realen Welt geübt hatte.
Robustheit: Selbst wenn die „Videos", die sie studierten, größtenteils schlecht waren (zufällige Fehler) mit nur wenigen guten Beispielen, fand das Modell dennoch heraus, wie es erfolgreich sein konnte. Es war wie ein Schüler, der die Prüfung bestehen konnte, auch wenn das Lehrbuch zu 75 % falsch war, solange die Kernlogik vorhanden war.
Spärliche Belohnungen: In Situationen, in denen der Roboter erst am ganz Ende ein „Gut gemacht!"-Signal erhält (spärliche Belohnungen), blieb diese Methode stabil, während andere verwirrt wurden und scheiterten.

Zusammenfassung

Der Artikel behauptet, dass sie, indem sie das Roboterlernen wie das Lesen einer Geschichte mit einem klaren Ziel im Sinn behandeln, Roboter komplexe Aufgaben unter Verwendung nur von vorab aufgezeichneten Daten unterrichten können. Dies ist schneller, sicherer und oft effektiver als traditionelle Methoden, die erfordern, dass der Roboter physisch in der realen Welt übt. Sie haben zudem den verwendeten Datensatz veröffentlicht, damit andere es ebenfalls ausprobieren können.

Technische Zusammenfassung: Goal-Conditioned Decision Transformer für Multi-Goal Offline Reinforcement Learning

Problemstellung

Reinforcement Learning (RL) in der Robotik steht vor kritischen Herausforderungen hinsichtlich der Probeneffizienz und der Fähigkeit, sich auf variierende Ziele zu verallgemeinern. Standard-Online-Algorithmen erfordern eine kontinuierliche Interaktion mit der Umgebung, was für reale Hardware aufgrund von Sicherheitsrisiken, Hardwareverschleiß und Zeitbeschränkungen oft unpraktisch ist. Obwohl Simulationen eine teilweise Lösung bieten, leiden sie häufig unter der „Sim-to-Real"-Lücke.

Offline RL adressiert diese Einschränkungen, indem es Agenten ermöglicht, optimale Strategien ausschließlich aus vorab gesammelten Datensätzen zu lernen, wodurch die Notwendigkeit riskanter Online-Exploration entfällt. Bestehende Offline-Methoden konzentrieren sich jedoch häufig auf einzelne feste Aufgaben, was für allgemeine Robotik unzureichend ist. Darüber hinaus ist die Anwendung des Decision Transformer (DT), der RL erfolgreich als Problem der bedingten Sequenzmodellierung neu definiert hat, auf Multi-Goal-Offline-Szenarien – insbesondere solche mit spärlichen Belohnungen und robotischer Manipulation – noch wenig erforscht.

Methodik

Die Autoren schlagen einen Goal-Conditioned Decision Transformer (GC-DT) vor, der für Offline-Multi-Goal-Robotik angepasst wurde. Die Kernmethodik besteht darin, die Standard-DT-Architektur so zu modifizieren, dass sie Zielinformationen explizit innerhalb des Sequenzmodellierungsrahmens verarbeitet.

1. Architektur-Anpassung

Im Gegensatz zu Standard-DTs, die auf skalaren Returns basieren, integriert der GC-DT strukturierte Zielinformationen direkt in die Eingabesequenz. In Multi-Goal-Umgebungen ist der Beobachtungsraum ein Wörterbuch, das Folgendes enthält:

$o_t$ : Aktuelle Beobachtung.
$g_d$ : Gewünschtes Ziel.
$g_a$ : Erreichtes Ziel.

Der Zustand zum Zeitpunkt $t$ ist definiert als ein Tupel $s_t = (o_t, g_d, g_a)$ . Um den Transformer anzupassen, werden diese Vektoren flachgelegt und zu einem einzigen Eingabevektor konkateniert:
$s_t = [o_t^{(0)}, \dots, o_t^{(n)}, g_d^{(0)}, \dots, g_d^{(m)}, g_a^{(0)}, \dots, g_a^{(m)}]$

Durch die Einbeziehung des erreichten Ziels ( $g_a$ ) neben dem gewünschten Ziel ( $g_d$ ) kann das Modell implizit den Fortschritt zum Ziel ableiten, ohne explizite Distanzmetriken oder Reward-Shaping zu benötigen. Dies ermöglicht dem autoregressiven Modell, eine zeitlich extendede Kreditvergabe bezüglich der Zielerreichung über die gesamte Trajektorie hinweg durchzuführen.

2. Datensatz und Training

Das Modell wird vollständig offline mit Daten trainiert, die aus der Franka Emika Panda-Umgebung über die Panda-Gym-Suite generiert wurden. Der Datensatz umfasst:

Experten-Daten: Trajektorien von konvergierten Truncated Quantile Critics (TQC)-Agenten, die über 1 Million Zeitschritte evaluiert wurden.
Zufallsdaten: Trajektorien, die von Agenten generiert wurden, die Aktionen gleichmäßig zufällig auswählen.
Mischungen: Verschiedene Kombinationen aus Experten- und Zufallsdaten, um die Dateneffizienz und Rauschresistenz zu testen.

Die Autoren veröffentlichen diesen spezialisierten Offline-Datensatz zudem, um die Reproduzierbarkeit zu unterstützen.

3. Aufgaben und Belohnungsstrukturen

Der Ansatz wird an drei robotischen Manipulationsaufgaben evaluiert: Reach (Positionierung des Endeffektors), Push (Bewegen eines Würfels) und PickAndPlace (Anheben und Bewegen eines Objekts). Die Leistung wird unter zwei Belohnungsstrukturen getestet:

Spärliche Belohnungen: Binäres Feedback (0 für Erfolg, -1 sonst).
Dichte Belohnungen: Negativer euklidischer Abstand zwischen dem erreichten und dem gewünschten Ziel.

Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

Architektonische Erweiterung: Erweiterung des Decision Transformer für Multi-Goal-Szenarien durch die Integration expliziter Ziel-Conditioning (gewünschte und erreichte Ziele) in die Eingabesequenz.
Veröffentlichung des Datensatzes: Herausgabe eines spezialisierten Offline-RL-Datensatzes für Multi-Goal-robotische Manipulation auf der Franka Emika Panda-Plattform.
Empirische Validierung: Nachweis, dass der GC-DT-Ansatz in Offline-Szenarien, insbesondere unter spärlichen Belohnungssignalen, State-of-the-Art-Online-Baselines (TQC+HER) und Behavioral Cloning (BC) übertrifft.

Experimentelle Ergebnisse

Die Experimente wurden mit drei Zufallssamen durchgeführt und verglichen den GC-DT mit Behavioral Cloning (BC) sowie TQC mit Hindsight Experience Replay (TQC+HER).

Vergleichende Leistung

Komplexe Aufgaben: In den komplexeren Push- und PickAndPlace-Umgebungen mit dichten Belohnungen übertraf der GC-DT sowohl TQC+HER als auch BC konsistent in Bezug auf den durchschnittlichen Return und die Erfolgsrate.
Effizienz: Der GC-DT erzielte diese Ergebnisse mit deutlich kürzerer Trainingszeit (80 Minuten) im Vergleich zur Online-TQC+HER-Baseline (240 Minuten).
Spärliche Belohnungen: Der GC-DT zeigte eine überlegene Robustheit in Szenarien mit spärlichen Belohnungen. Bei der PickAndPlace-Aufgabe erzielte der GC-DT einen signifikant höheren Return (-7,63 gegenüber -16,96 für TQC+HER) und behielt eine Erfolgsrate von 97,8 % bei, während die Erfolgsrate von TQC+HER auf 77,0 % sank.

Dateneffizienz und Robustheit

Datensatzgröße: Die Leistung blieb für die Reach-Aufgabe unabhängig von der Datensatzgröße. Bei komplexen Aufgaben sank die Leistung erst, wenn die Daten unter 250.000 Stichproben fielen; selbst bei 100.000 Stichproben behielt das Modell in dichten Szenarien eine Erfolgsrate von >96 % bei.
Experten-Daten-Anteil: Das Modell zeigte eine überraschende Robustheit gegenüber Rauschen. Selbst wenn der Datensatz nur aus 25 % Experten-Daten bestand (gemischt mit 75 % Zufallstrajektorien), behielt der GC-DT in komplexen Aufgaben eine Erfolgsrate von >80 % bei. Die Leistung sank erst deutlich unterhalb dieses Schwellenwerts.

Bedeutung und Behauptungen

Die Autoren behaupten, dass der vorgeschlagene Goal-Conditioned Decision Transformer effektiv die Lücke zwischen Offline-RL und Multi-Goal-robotischer Steuerung schließt. Sie hypothesieren, dass die Robustheit des Modells, insbesondere in Szenarien mit spärlichen Belohnungen, auf die Fähigkeit des Transformers zurückzuführen ist, eine langfristige Kreditvergabe via Self-Attention durchzuführen.

Die Arbeit stellt fest, dass dieser Ansatz in komplexen Aufgaben wie PickAndPlace sogar diejenige Expertenstrategie übertreffen kann, die zur Generierung der Trainingsdaten verwendet wurde. Darüber hinaus wird festgestellt, dass zielkonditionierte Sequenzmodellierung eine viable und robuste Alternative zu traditionellen Online-Actor-Critic-Methoden für Offline-Multi-Goal-Robotik darstellt, die suboptimale Demonstrationen und spärliches Feedback bewältigen kann, ohne Online-Interaktion zu erfordern.

Als zukünftige Arbeit wird die Erweiterung dieses Rahmens auf Settings des kontinuierlichen Lernens und das Training mit heterogenen Experten-Trajektorien identifiziert.