🤖 machine learning

Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning

Dieses Papier stellt Latent-Aligned Value Learning (LAVL) vor, einen Offline-Ziel-konditionierten Reinforcement-Learning-Algorithmus, der wertbasierte Generalisierung auf Basis latenter Repräsentationen mit hierarchischer Planung integriert, um fehlerhafte Generalisierung bei Aufgaben mit langem Zeithorizont zu überwinden und damit State-of-the-Art-Leistung auf OGBench zu erzielen.

Ursprüngliche Autoren: Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein riesiges, komplexes Labyrinth zu navigieren oder Blöcke zu einem Turm zu stapeln. Sie möchten nicht, dass der Roboter durch Versuch und Irrtum lernt (was ewig dauert und gefährlich ist); stattdessen möchten Sie ihm anhand einer riesigen Videobibliothek mit früheren Versuchen einer anderen Person beibringen. Dies wird als Offline-Zielkonditioniertes Bestärkendes Lernen bezeichnet.

Die Arbeit stellt eine neue Methode namens LAVL (Latent-Aligned Value Learning) vor, die ein Hauptproblem löst, wie Roboter derzeit aus diesen Videobibliotheken lernen.

Hier ist die Aufschlüsselung des Problems und der Lösung, unter Verwendung einfacher Analogien.

Das Problem: Die Verwirrung „Karte vs. Realität"

Stellen Sie sich vor, Sie bringen einem Roboter bei, von Punkt A zu Punkt B in einem Labyrinth zu gelangen. Sie zeigen ihm ein Video einer Person, die das Labyrinth durchquert.

Der alte Weg (Die fehlerhafte Karte):
Die meisten aktuellen Methoden versuchen abzuschätzen, wie „gut" ein bestimmter Ort im Labyrinth ist, basierend darauf, wie nah er dem Ziel optisch erscheint.

Die Analogie: Stellen Sie sich vor, der Roboter hat eine Karte, auf der die Entfernung in einer geraden Linie gemessen wird (wie ein fliegender Vogel). Wenn das Ziel 3 Meter entfernt ist, aber eine dicke Wand zwischen dem Roboter und dem Ziel liegt, denkt der Roboter: „Oh, es ist nur 3 Meter entfernt! Ich schaffe das!"
Das Ergebnis: Der Roboter gerät in Verwirrung. Er glaubt, er sei dem Ziel nahe, weil er ihm visuell nahe ist, obwohl er ihm zeitlich fern ist (es würden 100 Schritte dauern, um dorthin zu gelangen). Dies wird als fehlerhafte Generalisierung bezeichnet. Der Roboter lernt eine „kaputte Karte", auf der Wände nicht existieren, was zu schlechten Entscheidungen führt.

Die Quasimetrik-Lösung (Das starre Regelbuch):
Einige Forscher versuchten, dies zu beheben, indem sie das Gehirn des Roboters zwangen, strikten mathematischen Regeln (sogenannten „Quasimetriken") zu folgen, die besagen: „Sie können nicht durch Wände schneiden."

Die Analogie: Dies ist so, als würde man dem Roboter ein starres Regelbuch geben, das besagt: „Berechnen Sie die Entfernung immer mit dieser spezifischen, komplexen Formel."
Das Ergebnis: Es funktioniert großartig für einfache Labyrinthe, aber wenn Sie dem Roboter eine komplexe Aufgabe geben, wie das Aufheben eines Würfels mit einem Roboterarm, bricht das starre Regelbuch zusammen. Der Roboter gerät in Verwirrung und versagt völlig. Er ist zu steif, um sich an verschiedene Aufgabentypen anzupassen.

Die Lösung: LAVL (Das intelligente GPS)

Die Autoren schlagen LAVL vor, das eine neue Denkweise über Entfernung verwendet. Anstatt zu messen, wie nah Dinge optisch erscheinen, oder einem starren Regelbuch zu folgen, lehrt LAVL den Roboter, die „versteckte Geometrie" der Aufgabe zu verstehen.

1. Die „Latente Ausrichtung" (Die geheime Sprache):
Anstatt die rohen Pixel des Labyrinths oder des Arms zu betrachten, übersetzt LAVL den aktuellen Zustand des Roboters und das Ziel in eine „geheime Sprache" (einen latenten Raum).

Die Analogie: Stellen Sie sich vor, der Roboter und das Ziel sprechen verschiedene Dialekte. Die alten Methoden versuchten, sie wortwörtlich zu übersetzen (euklidische Distanz). LAVL übersetzt beide in eine universelle Sprache, in der die Bedeutung der Entfernung erhalten bleibt.
Wie es funktioniert: Der Roboter lernt, dass „Zustand A" und „Ziel B" in dieser geheimen Sprache weit voneinander entfernt sind, auch wenn sie auf einem Bildschirm nah beieinander aussehen. Dies verhindert den Fehler des „Wand-Durchsickerns". Es ist wie ein GPS, das Staus und Umwege versteht, nicht nur die Entfernung in einer geraden Linie.

2. Der „Kontinuitäts"-Kleber:
Wenn ein Roboter versucht, einen langen Pfad zu lernen, kann seine interne Karte wackelig und zitternd werden.

Die Analogie: Stellen Sie sich vor, die Karte des Roboters ist ein Stück Papier, das sich ständig zerknittert. Eine Sekunde ist das Ziel 5 Schritte entfernt; die nächste Sekunde sind es 500 Schritte, nur wegen eines kleinen Fehlers.
Die Lösung: LAVL fügt einen „glättenden Kleber" (Kontinuitätsregularisierung) hinzu. Es sagt dem Roboter: „Wenn Sie sich an einem Ort befinden, der dem vorherigen sehr ähnlich ist, sollte Ihre Schätzung der Entfernung zum Ziel sich nicht wild ändern." Dies hält die Karte stabil und glatt.

3. Der „Hierarchische" Chef und Arbeiter:
Für sehr lange Aufgaben (wie ein riesiges Labyrinth) benötigt der Roboter einen Plan.

Die Analogie: LAVL verwendet ein zweistufiges System.
- Der Chef (Hochlevel): Betrachtet das große Ganze. „Wir müssen zum Ausgang gelangen. Lasst uns zuerst auf die Ecke zusteuern."
- Der Arbeiter (Niedriglevel): Handhabt die Details. „Okay, ich bin an der Ecke. Jetzt drehe ich mich nach links und gehe vorwärts."
LAVL stellt sicher, dass Chef und Arbeiter dieselbe „geheime Sprache" (Latente Ausrichtung) sprechen, damit sie nicht in Verwirrung geraten.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten dies auf OGBench, einem riesigen Benchmark mit 22 verschiedenen Herausforderungen, die von der Navigation durch riesige Labyrinthe bis zum Stapeln von Würfeln mit einem Roboterarm reichen.

Die Punktzahl: LAVL gewann bei 20 von 22 Datensätzen.
Die lange Strecke: In den „riesigen" Labyrinthen (wo der Pfad tausende Schritte lang ist), versagten andere Methoden oder blieben stecken. LAVL blieb leistungsfähig.
Das Zusammenfügen: Einige Datensätze bestanden aus kurzen, unterbrochenen Videoclips, die der Roboter „zusammenfügen" musste, um einen vollständigen Pfad zu bilden. LAVL war viel besser darin, diese Punkte zu verbinden als frühere Methoden.

Zusammenfassung

Die Arbeit argumentiert, dass die größte Engstelle beim Unterrichten von Robotern aus alten Daten darin besteht, dass sie die falsche Art von „Entfernung" verwenden, um Fortschritte zu messen. Sie messen, wie Dinge aussehen, anstatt wie schwer sie zu erreichen sind.

LAVL behebt dies durch:

Das Erlernen einer „geheimen Sprache" (Latente Ausrichtung), um die wahre Schwierigkeit zu messen.
Das Glätten der internen Karte des Roboters, damit sie nicht zittert.
Die Verwendung eines Chef/Arbeiter-Systems zur Bewältigung langer, komplexer Aufgaben.

Das Ergebnis ist ein Roboter, der aus einer Videobibliothek lernen und tatsächlich herausfinden kann, wie er komplexe Ziele erreicht, ohne durch Wände oder lange Entfernungen verwirrt zu werden.

Technischer Zusammenfassung: Ausrichtung latenter Repräsentationen für Offline-zielkonditioniertes Reinforcement Learning

1. Problemstellung

Offline-zielkonditioniertes Reinforcement Learning (GCRL) zielt darauf ab, Strategien zu erlernen, die beliebige Ziele unter Verwendung fixer, vorab gesammelter Datensätze erreichen, ohne weitere Interaktion mit der Umgebung. Obwohl vielversprechend, bleibt das Erlernen zuverlässiger zielkonditionierter Wertfunktionen bei Aufgaben mit langem Zeithorizont eine erhebliche Herausforderung. Die in dieser Arbeit identifizierten Hauptengpässe sind fehlerhafte Generalisierung in zielkonditionierten Wertfunktionen.

Standardwertfunktionen, insbesondere solche, die durch Multi-Layer-Perceptrons (MLPs) parametrisiert werden, neigen dazu, basierend auf euklidischer Nähe im Zustandsraum statt auf zeitlicher Distanz zu generalisieren. In Umgebungen mit Hindernissen (z. B. Labyrinthen) oder spärlichen Belohnungen führt dies zu „Wertleckagen", bei denen Zustände, die physisch nahe am Ziel liegen, aber zeitlich weit entfernt sind (durch Wände oder komplexe Dynamiken getrennt), fälschlicherweise hohe Werte zugewiesen bekommen. Dies resultiert in verrauschten Wertabschätzungen und spröden Kontrollstrategien. Darüber hinaus leiden bestehende Methoden, die versuchen, dies durch quasimetrische Architekturen (z. B. IQE, MRN) zu adressieren, oft unter inkonsistenter Leistung über verschiedene Domänen hinweg (z. B. gute Leistung bei der Labyrinthnavigation, aber Versagen bei der robotischen Manipulation) oder führen zu Trainingsinstabilität.

2. Methodik: Latent-Ausgerichtete Wertlernen (LAVL)

Die Autoren schlagen Latent-Ausgerichtetes Wertlernen (LAVL) vor, einen Offline-GCRL-Algorithmus, der eine neuartige Wertfunktionsarchitektur mit einem hierarchischen Planungsrahmen integriert.

2.1. Latent-Ausrichtungsnetzwerk (LAN)

Die Kerninnovation ist das Latent-Ausrichtungsnetzwerk (LAN), eine Wertfunktionsarchitektur, die eine geeignete induktive Verzerrung für die Wertgeneralisierung erzwingt.

Architektur: Im Gegensatz zu Standard-MLPs oder strengen quasimetrischen Modellen parametrisiert LAN die zielkonditionierte Wertfunktion $V(s, g)$ als den negativen euklidischen Abstand zwischen gelernten latenten Repräsentationen des Zustands und des Ziels:
$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$
wobei $\phi_S: \mathcal{S} \to \mathbb{R}^d$ und $\phi_G: \mathcal{G} \to \mathbb{R}^d$ asymmetrische Zustands- und Zielrepräsentationsnetzwerke sind.
Mechanismus: Durch das Aufbrechen der strengen metrischen Struktur (Erlaubnis von $\phi_S \neq \phi_G$ ) führt LAN eine Flexibilität ein, die es der Wertfunktion ermöglicht, basierend auf der Geometrie des gelernten latenten Raums statt der rohen euklidischen Zustandsnähe zu generalisieren. Dies mildert das Problem der „Übergeneralisierung", bei der Werte durch Hindernisse propagieren.
Vorteile: LAN vermeidet die Trainingsinstabilität und domänenspezifischen Leistungseinbußen, die mit strengen quasimetrischen Einschränkungen (wie IQE) verbunden sind, während er die für eine genaue Schätzung der zeitlichen Distanz notwendige strukturelle Verzerrung beibehält.

2.2. Wertlernen mit Kontinuitätsregularisierung

Um das Lernen in Szenarien mit langem Zeithorizont zu stabilisieren, erweitert LAVL das Standardziel des Implicit Value Learning (IVL) um einen Term für lokale Kontinuitätsregularisierung.

Ziel: Der Gesamtverlust kombiniert das TD-Ziel ( $L_{TD}$ ) mit einem Regularisierungsterm ( $L_{Reg}$ ), der scharfe lokale Schwankungen der Wertfunktion zwischen benachbarten Zuständen bestraft:
$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$
Funktion: $L_{Reg}$ unterdrückt hochfrequentes Rauschen im Wertlandschaftsprofil, ohne die globale Bellman-Konsistenz zu beeinträchtigen, und gewährleistet so eine stabile Propagierung spärlicher Belohnungen über lange Zeithorizonte.

2.3. Hierarchisches Strategierahmenwerk

LAVL übernimmt ein hierarchisches Strategierahmenwerk ähnlich wie HIQL, bestehend aus:

Hochlevel-Strategie ( $\pi_h$ ): Erzeugt eine Subzielrepräsentation $w$ , konditioniert auf den aktuellen Zustand $s$ und das Endziel $g$ . In LAVL ist das Subziel als eine Ziel-Only-Mapping $w = \phi(g)$ definiert, was sich natürlich mit der LAN-Parametrisierung ausrichtet.
Niedriglevel-Strategie ( $\pi_l$ ): Gibt Aktionen aus, konditioniert auf den Zustand $s$ und das Subziel $w$ .
Training: Beide Strategien werden mittels Advantage-Weighted Regression (AWR) trainiert, wobei die stabilen Wertabschätzungen genutzt werden, die LAN bereitstellt.

3. Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

Identifikation fehlerhafter Generalisierung: Die Autoren identifizieren, dass das Versagen von Offline-GCRL bei Aufgaben mit langem Zeithorizont fundamental durch Wertfunktionen getrieben wird, die über euklidische Nähe statt über zeitliche Distanz generalisieren. Sie zeigen, dass die induktive Verzerrung in der Wertfunktionsarchitektur der kritische Faktor für die Lösung dieses Problems ist, nicht allein das Lernziel.
Vorschlag von LAVL: Sie stellen LAVL vor, ein einheitliches Rahmenwerk, das das Latent-Ausrichtungsnetzwerk (LAN) für zuverlässige Wertgeneralisierung, Kontinuitätsregularisierung für stabiles Lernen und eine hierarchische Strategie für die Planung mit langem Zeithorizont kombiniert.
Empirische Überlegenheit: Umfassende Experimente auf dem OGBench-Benchmark zeigen, dass LAVL bestehende State-of-the-Art-Offline-GCRL-Methoden konsistent übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LAVL auf 22 Datensätzen aus OGBench, die Labyrinthnavigation (Point, Ant, Humanoid) und robotische Manipulation (Cube, Scene) mit variierenden Zeithorizonten und Datensammlungstrategien (Navigation vs. Stitching) abdecken.

Gesamtleistung: LAVL erzielte die höchste Leistung auf 20 von 22 Datensätzen und übertraf Baselines wie GCIVL, QRL, HIQL und CGCIVL signifikant.
Stabilität bei langem Zeithorizont: In „riesigen" Labyrinthumgebungen behielt LAVL eine Erfolgsrate von 85 % bei, mit einem relativen Rückgang von nur 9,6 % im Vergleich zu mittelgroßen Labyrinthen. Im Gegensatz dazu erlitten Baselines wie HIQL und QRL katastrophale Leistungseinbrüche (relativer Rückgang von 75,4 % bzw. 61,7 %).
Trajektorien-Stitching: Auf „Stitch"-Datensätzen (bestehend aus kurzen, fragmentierten Trajektorien) zeigte LAVL einen minimalen Leistungsabfall (1,1 %) im Vergleich zu Navigationsdatensätzen, während andere Methoden signifikant degradierten (z. B. 36,9 % Rückgang für HIQL).
Robotische Manipulation: Im Gegensatz zu quasimetrischen Methoden (z. B. QRL), die bei Manipulationsaufgaben versagten, erreichte LAVL hohe Erfolgsraten (z. B. 88 % bei Scene-play) und demonstrierte so die Robustheit von LAN über diverse Domänen hinweg.
Ablationsstudien: Experimente bestätigten, dass:
- LAN quasimetrische Architekturen (IQE, MRN) und metrisbasierte Ansätze (Hilbert) innerhalb desselben hierarchischen Rahmenwerks übertrifft.
- Die Kombination aus LAN und hierarchischen Strategien zu überlegenen Ergebnissen führt im Vergleich zu flachen Strategien oder zur alleinigen Verwendung von LAN mit flachen Strategien.
- Kontinuitätsregularisierung erhebliche Gewinne bei anspruchsvollen Aufgaben bietet (z. B. Steigerung der Erfolgsrate bei Pointmaze-giant-stitch von 35 % auf 95 % in einigen Konfigurationen).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass LAVL einen bedeutenden Fortschritt im Offline-GCRL darstellt, indem es den fundamentalen Engpass der Wertgeneralisierung adressiert.

Architektonische Einsicht: Die Arbeit hebt hervor, dass die Wahl der Wertfunktionsarchitektur für das Erreichen zuverlässiger Generalisierung kritischer ist als das Lernziel. Sie argumentiert, dass, obwohl optimale Wertfunktionen quasimetrisch sind, das Erzwingen strenger quasimetrischer Einschränkungen während des Trainings zu restriktiv sein kann; stattdessen bietet gelernte latente Ausrichtung eine effektivere induktive Verzerrung.
Einheitliches Rahmenwerk: LAVL vereint erfolgreich effektive Generalisierung, stabiles Wertlernen und hierarchische Planung und ermöglicht so robuste Leistung bei Aufgaben, die Schlussfolgerungen mit langem Zeithorizont und Trajektorien-Stitching erfordern.
Praktische Auswirkung: Die Methode erzielt State-of-the-Ergebnisse ohne umfangreiche Hyperparameter-Tuning oder Oracle-Repräsentationen, was sie zu einer praktischen Lösung für komplexe Offline-Entscheidungsprobleme macht.

Die Autoren schließen, dass ihre Arbeit zwar den Fokus auf Wertlernen und hierarchische Extraktion legt, die Erkenntnisse bezüglich architektonischer induktiver Verzerrung jedoch auf breitere wertbasierte RL-Algorithmen ausgedehnt werden können, und zukünftige Arbeiten die Erweiterung dieser Methoden auf hochdimensionale robotische Steuerung in der realen Welt untersuchen könnten.