💻 computer science

Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

Dieses Paper führt Goal-Set Hindsight Relabeling (GS-HER) ein, eine Methode, die das traditionelle Hindsight Relabeling generalisiert, indem sie es ermöglicht, dass erreichte Zustände abfragdefinierten Zielmengen anstatt exakter Einzelzustände entsprechen, wodurch die Performance des Offline-Robotik-Lernens verbessert wird, wenn vollstatische Ziele durch irrelevante Dimensionen behindert werden, und ein einzelnes Modell ermöglicht, diverse Zielprädikate ohne erneutes Training zu beantworten.

Ursprüngliche Autoren: Carlos Vélez García, Miguel Cazorla, Jorge Pomares

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Carlos Vélez García, Miguel Cazorla, Jorge Pomares

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Spiel „Apportieren“ mit einem Würfel bei. Sie zeigen dem Roboter ein Video, in dem ein Mensch erfolgreich einen Würfel auf einen Tisch legt.

Der alte Weg (Standard HER): Das Problem der „perfekten Kopie“
Beim traditionellen Roboterlernen schaut der Computer das Video an und sagt: „Okay, um erfolgreich zu sein, muss der Roboter exakt in denselben Zustand gelangen wie der Mensch es getan hat.“

Das bedeutet, der Robot muss Folgendes angleichen:

Wo der Würfel ist (Wichtig!).
Den Winkel des Ellenbogens des Roboters (Vielleicht wichtig?).
Wie schnell sich die Finger des Roboters bewegen (Nicht wichtig!).
Die exakte Position der Basis des Roboters (Nicht wichtig!).

Das Problem ist, dass der Roboter verwirrt wird. Er versucht so sehr, die exakte Geschwindigkeit der Finger oder den exakten Winkel des Ellenbogens zu imitieren, dass er vergisst, den Würfel tatsächlich auf den Tisch zu legen. Es ist wie ein Schüler, der versucht, eine Mathearbeit zu bestehen, sich aber so sehr darauf versteift, seinen Namen in exakt derselben Handschrift wie der Lehrer zu schreiben, dass er vergisst, die Gleichungen zu lösen. Die „zusätzlichen“ Details (wie die Fingergeschwindigkeit) wirken als Rauschen, das das Lernen der eigentlichen Aufgabe blockiert.

Der neue Weg (GS-HER): Der „Textmarker“-Ansatz
Die Autoren schlagen eine neue Methode namens Goal-Set Hindsight Relabeling (GS-HER) vor. Anstatt zu verlangen, dass der Roboter eine perfekte Kopie des gesamten Videos erstellt, nutzt diese Methode eine Query (denken Sie an einen Textmarker oder einen Filter), um zu entscheiden, was tatsächlich wichtig ist.

So funktioniert es:

Die Query: Bevor der Roboter lernt, sagen Sie ihm: „Für diese spezifische Lektion kümmere dich nur um die Position des Würfels. Ignoriere alles andere.“
Das Lernen: Wenn der Roboter das Video sieht, sieht er, wie der Mensch Erfolg hat. Anstatt zu sagen: „Du bist gescheitert, weil der Ellenbogen bei 45 Grad statt bei 46 Grad war“, sagt der Roboter: „Toll! Der Würfel liegt auf dem Tisch. Das zählt als Erfolg, auch wenn der Ellenbogen bei 45 Grad war.“
Das Ergebnis: Der Roboter lernt das Konzept des Erfolgs (Würfel auf dem Tisch), ohne sich in irrelevanten Details (wie dem Ellenbogenwinkel) zu verlieren.

Die Superkraft: Ein Roboter, viele Aufgaben
Der kreativste Teil dieser Arbeit ist, dass der Roboter nicht neu trainiert werden muss, um eine neue Aufgabe zu lernen.

Stellen Sie sich vor, Sie haben einen einzigen „Meisterkoch“-Roboter.

Szenario A: Sie möchten, dass er eine Suppe kocht. Sie überreichen ihm eine „Query-Karte“, auf der steht: „Konzentriere dich nur auf den Topf und den Herd.“ Der Roboter lernt, Suppe zu kochen.
Szenario B: Später möchten Sie, dass er einen Kuchen backt. Sie müssen keinen neuen Koch einstellen oder den alten neu trainieren. Sie tauschen einfach die „Query-Karte“ aus, auf der steht: „Konzentriere dich nur auf den Ofen und den Mixer.“
Szenario C: Sie möchten, dass er den Tisch abräumt. Sie tauschen die Karte erneut aus: „Konzentriere dich nur auf die Tischoberfläche und die Serviette.“

Da der Roboter die allgemeine Idee des Erreichens eines Ziels gelernt hat (statt einer spezifischen, starren Bewegung), kann er einfach zwischen diesen verschiedenen „Definitionen von Erfolg“ wechseln, indem er nur die Query-Karte ändert.

Warum das wichtig ist
Die Autoren haben dies auf Standard-Roboter-Benchmarks getestet (wie das Bewegen von Würfeln oder das Navigieren durch Labyrinthe). Sie fanden heraus:

Es funktioniert besser: Wenn das „Rauschen“ (irrelevante Details) hoch ist, hilft diese neue Methode dem Roboter, viel häufiger erfolgreich zu sein als die alte „perfekte Kopie“-Methode.
Es ist flexibel: Ein einziges trainiertes Robotermodell kann viele verschiedene Fragen beantworten („Lege den Würfel hierhin“, „Bewege den Arm dorthin“, „Öffne den Greifer“), ohne dass es für jede Aufgabe neu trainiert werden muss.

Zusammenfassend
Die Arbeit argumentiert, dass wir den Erfolg eines Roboters nicht als eine einzige, starre Momentaufnahme der Welt betrachten sollten. Stattdessen sollten wir Erfolg als eine flexible Menge an Möglichkeiten betrachten, die dadurch definiert wird, was wir gerade jetzt wichtig finden. Indem wir eine einfache „Query“ verwenden, um das Rauschen herauszufiltern, können wir Roboter schneller lehren, sie intelligenter machen und es einem Roboter ermöglichen, viele verschiedene Jobs zu erledigen, ohne wieder bei Null anzufangen.

Technische Zusammenfassung: Zielmengen statt Zielzustände: Abfragbare Roboterziele durch Goal-Set Hindsight Relabeling

Problemstellung
Das Offline Goal-Conditioned Reinforcement Learning (GCRL) zielt darauf ab, Steuerungsrichtlinien aus vorab gesammelten, belohnungsfreien Datensätzen (z. B. Demonstrationen oder Teleoperationsprotokollen) abzuleiten, ohne kostspieliges Online-Trial-and-Error. Ein zentraler Mechanismus in diesem Bereich ist das Hindsight Experience Replay (HER), welches erreichte zukünftige Zustände als Ziele für frühere Übergänge in einer Trajektorie umlabelt.

Standardmäßige Offline-GCRL-Benchmarks, wie etwa OGBench, instanziieren HER typischerweise unter Verwendung des vollständigen Zustandsraums als Zielraum. Dieser Ansatz setzt voraus, dass Erfolg die Reproduktion des gesamten zukünftigen Zustandsvektors erfordert. In vielen robotergestützten Manipulationsaufgaben hängt der Erfolg jedoch nur von einer spezifischen Teilmenge der Zustandsvariablen ab (z. B. der Objektposition), während andere Variablen (z. B. Robotergelenkkonfigurationen, Greiferzustand, Geschwindigkeiten) Störvariablen (Nuisance Dimensions) sind. Durch das Erzwingen eines exakten Full-State-Matching führt das Standard-HER künstliche Beschränkungen ein, die das Lernziel übermäßig einschränken und zu suboptimaler Leistung führen, wenn die Erfolgskriterien einer Projektion des vollen Zustands entsprechen.

Methodik: Goal-Set Hindsight Relabeling (GS-HER)
Die Autoren schlagen Goal-Set Hindsight Relabeling (GS-HER) vor, eine prädikatsebene-Generalisierung von HER. Anstatt einen erreichten Zustand $s_{t+k}$ als Singleton-Ziel $g = s_{t+k}$ zu behandeln, behandelt GS-HER ihn als Zertifikat für eine Zielmenge (Goal Set), die durch eine Abfrage definiert ist.

Abfrage-definierte Äquivalenzklassen:
Ein binärer Abfragevektor $q \in \{0, 1\}^D$ spezifiziert, welche Zustandsvariablen den Erfolg für eine bestimmte Aufgabe definieren.
- $q_i = 1$ : Die $i$ -te Koordinate ist aktiv und definiert das Ziel.
- $q_i = 0$ : Die $i$ -te Koordinate ist eine Störvariable für diese Abfrage.
Gegeben sei ein Referenzzustand $g$ und eine Abfrage $q$ , wird die Zielmenge als die Äquivalenzklasse von Zuständen $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$ definiert. Der Erfolg wird durch das Matching nur der aktiven Koordinaten bestimmt, typischerweise gemessen über eine normalisierte quadratische Distanz mit einer Toleranz $\epsilon$ .
Abfrage-konditionierte Schnittstelle:
GS-HER modifiziert den Konditionierungseingang des zugrunde liegenden Offline-GCRL-Algorithmus, ohne dessen Kern-Lernziel (z. B. Bellman-Updates, kontrastive Loss oder Behavioral Cloning) zu verändern. Der Konditionierungseingang $\psi_{GS}$ wird konstruiert als:
$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$
wobei $\bar{s}_q = q \odot s + (1-q) \odot e_s$ und $\bar{g}_q = q \odot g + (1-q) \odot e_g$ . Hierbei sind $e_s$ und $e_g$ Einbettungen für Störkoordinaten (gelernt oder fixiert), die irrelevante Variablen maskieren. Die Abfrage $q$ wird dem Netzwerk explizit zur Verfügung gestellt, was es dem Modell ermöglicht, eine einheitliche Richtlinie zu lernen, die ihre Vorstellung von „Erfolg“ basierend auf der Abfrage anpasst.
Relabeling-Wrapper:
GS-HER fungiert als Wrapper um bestehende Offline-GCRL-Algorithmen. Während des Trainings wird für jeden Übergang ein Referenzzustand $g$ (gemäß dem Basisalgorithmus) gesampelt und eine Abfrage $q$ aus einer Verteilung $p_Q$ gezogen. Der Übergang wird dann mit der abfrage-konditionierten Zielmenge und dem entsprechenden Erfolgsprädikat umgelabelt. Dies ermöglicht es einem einzigen Modell, von einer Mischung aus Zielsemantiken (z. B. Full-State, Objektposition, Endeffektor-Pose) gleichzeitig zu lernen.

Wesentliche Beiträge

Identifikation des Objective Mismatch: Das Paper identifiziert, dass exaktes Full-State-Hindsight-Relabeling einen Objective Mismatch in Roboteraufgaben erzeugt, bei denen der Erfolg auf aufgabenspezifischen Projektionen statt auf dem vollen Zustand beruht.
Formalisierung von GS-HER: Die Autoren formalisieren GS-HER als eine Generalisierung auf Prädikatsebene, bei der erreichte Zustände die Erreichbarkeit von Zielmengen (Äquivalenzklassen) statt von Singleton-Zuständen zertifizieren.
Implementierungs-agnostischer Wrapper: GS-HER wird als Abfrage-konditionierter Relabeling-Wrapper für Vektorzustands-Umgebungen instanziiert. Es ermöglicht bestehenden Offline-GCRL-Algorithmen (einschließlich Behavioral Cloning, kontrastivem RL und Implicit Q-Learning), abfragebare Zielsemantiken zu lernen, ohne deren zugrunde liegende Optimierungsziele zu verändern.
Wiederverwendbare Ziel-Schnittstelle: Die Methode transformiert Hindsight Relabeling in eine wiederverwendbare Schnittstelle, die es einem einzigen trainierten Checkpoint ermöglicht, bei der Inferenzzeit mehrere Zielprädikate zu beantworten.

Experimentelle Ergebnisse
Die Autoren evaluierten GS-HER auf der OGBench-Suite, die Manipulationsaufgaben (z. B. Würfelplatzierung) und Navigationsaufgaben (z. B. PointMaze, AntMaze) über fünf verschiedene Offline-GCRL-Backbones (GCBC, CRL, GCIVL, GCIQL, GCDL) abdeckt.

Leistungssteigerung: GS-HER (speziell die „Blockwise“-Variante unter Verwendung zufälliger Koordinatenblöcke) übertraf konsistent das Standard-Full-State-HER (HER-Full) bei Manipulationsaufgaben. Beispielsweise verbesserte GS-HER über die Manipulationstests gemittelt die offizielle Erfolgsrate von 24,5 % (HER-Full) auf 55,0 % und näherte sich damit der Leistung einer Oracle-„Task-Focused“-Baseline (HER-Task) an, die eine feste, vordefinierte Projektion verwendet.
Engpass durch Stördimensionen: Die Leistungsgewinne korrelierten stark mit dem Grad, in dem Full-State-HER durch Stördimensionen (Nuisance Dimensions) eingeschränkt war. In Umgebungen mit geringem Störfaktor (wie PointMaze) performte GS-HER vergleichbar mit HER-Full, was bestätigt, dass die Methode gezielt das Problem der Überbeschränkung adressiert.
Ein Modell, viele Prädikate: In einem „One-Model-Many-Goals“-Experiment wurde ein einzelner GS-HER-Checkpoint während der Inferenz mit verschiedenen Prädikaten abgefragt (z. B. Würfelposition, Würfel-Yaw, Endeffektor-Pose, Position des in der Luft befindlichen Objekts). Das Modell passte sich erfolgreich an diese unterschiedlichen Erfolgskriterien an, ohne neu trainiert werden zu müssen. Im Gegensatz dazu erforderte HER-Task für jedes neue Prädikat ein Retraining, und HER-Full scheiterte bei der Generalisierung auf Prädikate, die bestimmte Zustandsvariablen ignorierten.

Bedeutung und Ansprüche
Das Paper behauptet, dass GS-HER die Relabeling-Semantik von Offline-GCRL isoliert. Durch die Entkopplung der Definition von Erfolg (die Abfrage) vom Lernalgorithmus bietet GS-HER ein Primitiv, das es Offline-Datensätzen ermöglicht, flexible, abfragbare Spezifikationen von Zielen zu unterstützen.

Die Autoren betonen, dass diese Arbeit nicht die offene Zielspezifikation (z. B. via Sprache oder Vision) löst, sondern vielmehr zeigt, dass die Gestaltung des Zielprädikats als Inferenz-Input ein nützlicher und notwendiger Schritt für das Offline-Roboterlernen ist. Es ermöglicht einem einzelnen Modell, mehrere Aufgaben-Definitionen zu bedienen, was die Notwendigkeit separater Trainingsläufe für verschiedene Aufgabenprojektionen verringert und die Abhängigkeit von exaktem State-Matching reduziert, das für die Roboter-Manipulation oft semantisch inkorrekt ist. Die Methode wird als ergänzende Schicht zu bestehenden Algorithmen präsentiert, die deren Flexibilität erhöht, ohne ihre mathematischen Kerngrundlagen zu verändern.

Mehr davon