🤖 machine learning

Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning

Dieser Beitrag stellt CFHRL vor, ein vollständig offlines Ziel-konditioniertes Reinforcement-Learning-Framework, das ferne Ziele durch einen grob-zu-fein hierarchischen Prozess adaptiv in lokal ausführbare Teilziele verfeinert, wodurch Bootstrapping-Fehler effektiv gemildert und die Leistung bei Aufgaben mit langem Zeithorizont verbessert werden.

Ursprüngliche Autoren: Kaiqiang Ke, Shenghong He, Chengdong Xu, Yuheng Luo, Xiangyuan Lan, Chao Yu

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kaiqiang Ke, Shenghong He, Chengdong Xu, Yuheng Luo, Xiangyuan Lan, Chao Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma „Zu weit, um zu sehen"

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, durch ein riesiges, komplexes Labyrinth zu laufen, um einen bestimmten Punkt auf der anderen Seite zu erreichen. Sie besitzen eine Videobibliothek mit Aufnahmen anderer Roboter, die herumlaufen, aber Sie können den neuen Roboter nicht in der realen Welt trainieren lassen (er könnte Dinge zerbrechen oder stecken bleiben). Dies ist Offline Goal-Conditioned Reinforcement Learning (Offline zielbasiertes Bestärkungslernen).

Das Problem ist, dass der Roboter verwirrt wird, wenn das Ziel sehr weit entfernt ist. Es ist so, als würde man versuchen, das Wetter in einer Stadt 1.000 Meilen entfernt allein basierend auf der Temperatur in Ihrem eigenen Garten zu erraten. Je weiter das Ziel entfernt ist, desto lauter und unzuverlässiger werden die „Vermutungen" (mathematischen Schätzungen) des Roboters. Er könnte denken, ein Weg sei sicher, obwohl er tatsächlich eine Sackgasse ist, einfach weil sich der Fehler in seiner Mathematik über die große Distanz hinweg aufgestaut hat.

Die alte Lösung: Die „steife Leiter"

Früher versuchten Forscher, dieses Problem zu lösen, indem sie Hierarchisches Lernen einsetzten. Stellen Sie sich dies vor, als würden Sie dem Roboter eine Leiter mit feststehenden Sprossen geben.

Der Fehler: Die Leiter hat Sprossen, die exakt 1 Meter voneinander entfernt sind.
Das Problem: Wenn das Ziel 10 Meter entfernt ist, funktioniert die Leiter gut. Aber wenn das Ziel 100 Meter entfernt ist, muss der Roboter immer noch 100 Sprossen erklimmen, und die Fehler stauen sich weiterhin auf. Schlimmer noch: Wenn das Ziel nur 0,5 Meter entfernt ist, versucht der Roboter, eine Sprosse zu erklimmen, die es nicht gibt, oder er wählt eine Sprosse, die zu weit entfernt ist, um sie in einem Schritt zu erreichen. Die „Leiter" ist zu starr; sie passt nicht für jede Situation.

Die neue Lösung: CFHRL (Der „smarte GPS")

Die Autoren schlagen eine neue Methode namens CFHRL vor. Anstatt einer steifen Leiter stellt man sich vor, der Roboter verfügt über ein smartes GPS, das auf eine „Coarse-to-Fine"-Weise (von grob zu fein) funktioniert.

So funktioniert es, Schritt für Schritt:

1. Die Phase „Herauszoomen" (Grob)

Wenn der Roboter ein Ziel sieht, das sehr weit entfernt ist, versucht er nicht sofort, jeden einzelnen Schritt zu planen. Stattdessen fragt er: „Was ist eine große, allgemeine Richtung, in die ich mich bewegen kann, um näher heranzukommen?"

Analogie: Stellen Sie sich vor, Sie sind in New York und möchten zu einem bestimmten Café in London. Sie planen nicht den exakten Schritt, den Sie aus Ihrer Haustür machen. Stattdessen planen Sie zuerst: „Fliegen Sie nach London." Das ist ein grobes Ziel. Es muss nicht der perfekte Ort sein; es muss nur ein großer Schritt sein, der Sie aus New York herausbringt.

2. Die Phase „Hineinzoomen" (Fein)

Sobald der Roboter näher an dieses „London"-Ziel herangekommen ist, fragt er erneut: „Okay, jetzt, da ich in London bin, was ist die nächste große Richtung?" Vielleicht „Zum Bahnhof laufen".

Die Magie: Der Roboter macht dies immer wieder. Er zerlegt die große Reise in immer kleinere Abschnitte.
- Schritt 1: Nach London gehen (Grob).
- Schritt 2: Zum Bahnhof gehen (Mittel).
- Schritt 3: Zur Straße gehen (Fein).
- Schritt 4: Zur Tür laufen (Sehr fein).

3. Das „Stoppschild" (Adaptives Stoppen)

Dies ist der wichtigste Teil. Der Roboter verfügt über einen speziellen „Erreichbarkeits-Sensor".

Die Regel: Der Roboter zerlegt das Ziel nur so lange weiter auf, wie der nächste Schritt zu schwierig erscheint, um ihn direkt auszuführen.
Die Analogie: Stellen Sie sich vor, Sie fahren Auto. Sie müssen nicht die exakte Kurve für die nächsten 100 Meilen planen. Sie müssen nur wissen, wann Sie nah genug an einer Straße sind, um tatsächlich in sie einbiegen zu können.
- Wenn der Roboter ein Ziel betrachtet und sagt: „Ich kann diesen Ort mit meinen aktuellen Fähigkeiten leicht erreichen," stoppt er die weitere Aufteilung. Er fährt einfach dorthin.
- Wenn er sagt: „Dieser Ort ist zu weit entfernt; ich könnte einen Unfall bauen," zerlegt er das Ziel in ein kleineres, sichereres Teilziel.

Warum ist das besser?

Keine Vermutungsspiele mehr: Indem die lange Reise in kleinere, handhabbare Abschnitte zerlegt wird, muss der Roboter nicht das Wetter 1.000 Meilen entfernt erraten. Er muss nur das Wetter für die nächsten paar Blocks erraten, was viel genauer ist.
Es passt sich an: Wenn das Ziel nah ist, macht der Roboter einen großen Schritt. Wenn das Ziel weit ist, macht er viele kleine Schritte. Es wird keine „Einheitsgröße"-Leiter aufgezwungen.
Es nutzt alte Daten: Der Roboter lernt all dies nur durch das Ansehen der Videobibliothek (Offline-Daten). Er muss nicht in der realen Welt versuchen und scheitern, um zu lernen, wie man Ziele zerlegt.

Die Ergebnisse

Die Forscher testeten dies in einer Computersimulation, in der Roboter Labyrinthe navigierten und Objekte bewegten.

Der Gewinner: CFHRL war viel besser darin, die „langen, schwierigen Labyrinthe" zu lösen als die alten Methoden.
Der Beweis: Als sie die Funktionen des „smarten GPS" entfernten (wie das adaptive Stoppen), verirrte sich der Roboter wieder. Dies bewies, dass die Fähigkeit, die Verfeinerung des Ziels zu stoppen, sobald es nah genug ist, der Schlüssel zum Erfolg ist.

Zusammenfassung

Stellen Sie sich CFHRL als einen smarten Reiseleiter für einen Roboter vor. Anstatt dem Roboter eine steife Karte mit festen Kontrollpunkten zu geben, betrachtet der Guide das Ziel. Wenn es weit entfernt ist, sagt der Guide: „Lassen Sie uns zur nächsten Stadt kommen." Wenn es nah ist, sagt der Guide: „Okay, laufen Sie einfach geradeaus zur Tür." Dies verhindert, dass der Roboter von der Distanz überwältigt wird, und macht einen erfolgreichen Abschluss viel wahrscheinlicher.

Technische Zusammenfassung: Adaptive Grob-zu-Fein-Subziel-Verfeinerung für langlebige, offline zielkonditionierte Verstärkungslernen

1. Problemstellung

Offline zielkonditioniertes Verstärkungslernen (GCRL) zielt darauf ab, Strategien zu erlernen, die diverse Ziele aus einem festen Datensatz von Trajektorien erreichen, ohne weitere Interaktion mit der Umgebung. Während dieser Ansatz für Aufgaben mit kurzer Zeithorizont effektiv ist, sieht er sich bei Aufgaben mit langem Horizont erheblichen Herausforderungen gegenüber.

Die primäre Schwierigkeit ergibt sich aus der Schätzung des Werts über lange Horizonte. Unter spärlichen Belohnungen für das Erreichen von Zielen bieten weit entfernte Zustands-Ziel-Paare nur eine schwache direkte Überwachung. Folglich muss die Wertfunktion Zielinformationen durch viele bootstrapped Updates weiterleiten. Mit zunehmender zeitlicher Distanz akkumulieren sich Approximationsfehler entlang der Backup-Kette, was zu ungenauen Bewertungen weit entfernter Ziele führt. Das direkte Trainieren einer flachen, zielkonditionierten Strategie auf diesen verrauschten Wertschätzungen führt zu unzuverlässigen Entscheidungen über lange Horizonte.

Bestehende hierarchische Methoden versuchen dies zu mildern, indem sie Zwischen-Subziele einführen und das Erreichen über lange Horizonte auf eine Sequenz kürzerer Entscheidungen reduzieren. Diese Methoden verlassen sich jedoch häufig auf feste zeitliche Abstraktionen (z. B. feste Subziel-Horizonte) oder feste Hierarchietiefen. Solche festen Skalen passen oft nicht zu Zustands-Ziel-Paaren mit variierenden Erreichbarkeits-Horizonten:

Zu lokale Subziele können nur marginale Fortschritte erzielen, wobei kleine Wertunterschiede von Fehlern bei der Schätzung über lange Horizonte dominiert werden, was zu irreführenden Entscheidungen führt.
Zu weit entfernte Subziele können außerhalb des zuverlässigen Ausführungsbereichs der Low-Level-Strategie liegen.

Die zentrale Frage lautet, ob ein offline hierarchischer Agent für jedes spezifische Zustands-Ziel-Paar adaptiv ein geeignetes Zwischenziel identifizieren kann, anstatt sich auf eine vorgeschriebene Zerlegungsskala zu verlassen.

2. Methodik: CFHRL

Die Autoren schlagen Coarse-to-Fine Hierarchical Goal Reinforcement Learning (CFHRL) vor, ein vollständig offline GCRL-Framework, das ferne Ziele vor der Ausführung adaptiv verfeinert. Das Framework basiert auf dem Prinzip, dass ein Subziel kein exaktes Mittel oder global Optimum sein muss; es muss lediglich zuverlässigen Fortschritt bieten und die verbleibende Erreichungsschwierigkeit reduzieren.

2.1 Kernkomponenten

CFHRL nutzt drei gelernte Strategien, die durch eine gemeinsame Erreichbarkeitskostenfunktion $D_\phi(s, g)$ koordiniert werden, die aus einer zielkonditionierten Wertfunktion abgeleitet ist:

Verfeinerungsplaner ( $\pi_p$ ): Schlägt Zwischenziele $u$ vor, konditioniert auf den aktuellen Zustand $s$ und das aktuelle Planungsziel $g$ .
Abstraktionsstrategie ( $\pi_z$ ): Mapped das verfeinerte Ziel $\bar{g}$ auf einen lokalen Befehl $z$ .
Low-Level-Strategie ( $\pi_a$ ): Mapped den Befehl $z$ auf primitive Aktionen $a$ .

2.2 Adaptive Grob-zu-Fein-Verfeinerung

Anstelle einer festen Hierarchie verwendet CFHRL einen rekursiven Verfeinerungsprozess mit einer adaptiven Stoppregel:

Initialisierung: Start mit dem Endziel $g^{(0)} = g$ .
Ausführbarkeitsprüfung: Auf Verfeinerungsebene $\ell$ wird geprüft, ob das aktuelle Ziel $g^{(\ell)}$ vom Zustand $s$ aus lokal ausführbar ist, unter Verwendung einer gelernten Erreichbarkeitskostenfunktion:
$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$
wobei $\epsilon_{exec}$ ein Schwellenwert ist.
Verfeinerungsschleife: Wenn die Bedingung erfüllt ist, stoppt die Verfeinerung und $g^{(\ell)}$ wird an das Ausführungsmodul übergeben. Andernfalls schlägt der Planer ein neues Zwischenziel $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$ vor, das zum nächsten Ziel $g^{(\ell+1)}$ wird.
Terminierung: Der Prozess wiederholt sich, bis das Ziel lokal erreichbar ist oder eine maximale Tiefe $K_{max}$ erreicht wird.

Dieser Mechanismus stellt sicher, dass die effektive Zerlegungstiefe durch die geschätzte Erreichbarkeit jedes Zustands-Ziel-Paars bestimmt wird und nicht durch eine feste zeitliche Skala.

2.3 Offline-Lernen des Verfeinerungsplaners

Der Planer wird ausschließlich aus Offline-Daten trainiert, ohne Online-Interaktion oder manuell gekennzeichnete Subziele:

Kandidatenkonstruktion: Für einen Zustand $s_t$ und ein Ziel $g$ wird eine Menge von Kandidaten-Subzielen $\mathcal{C}_D$ aus dem Offline-Datensatz gesampelt (zukünftige Zustände, wenn $g$ in derselben Trajektorie liegt, andernfalls aus der Replay-Verteilung).
Bewertung: Kandidaten werden durch die Engpass-Erreichbarkeitskosten bewertet:
$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$
Diese Metrik bevorzugt Kandidaten, die den maximalen verbleibenden Horizont kontrahieren.
Trainingsziel: Der Planer wird durch wertgeleitete gewichtete Imitation trainiert. Kandidaten werden durch eine Softmax-Funktion über ihre negativen Scores gewichtet, was den Planer dazu anregt, replay-unterstützte Subziele zu imitieren, die das Problem in einfachere verbleibende Erreichungsprobleme zerlegen.

2.4 Ausführungsstrategien

Die Abstraktions- und Low-Level-Strategien werden unter Verwendung von fortschrittsgewichteter Behavior Cloning auf Segmenten mit kurzem Horizont trainiert. Transitionen, die den gelernten Wert in Richtung eines lokalen Ziels erhöhen, erhalten höhere Imitationsgewichte, was die Strategien zu lokal fortschrittlichem Verhalten neigen lässt.

3. Theoretische Analyse

Der Artikel bietet eine stilisierte Analyse, um zu begründen, warum adaptive Verfeinerung robuster ist als die Auswahl fester lokaler Skalen unter verrauschten Schätzungen:

Versagen fester Skalen: In einer Hierarchie mit fester lokaler Skala verschwindet das Signal-Rausch-Verhältnis zur Unterscheidung zwischen korrekten und inkorrekten lokalen Bewegungen, wenn der Gesamthorizont $T$ zunimmt. Die Wahrscheinlichkeit, den falschen Kandidaten auszuwählen, nähert sich 0,5 an, wenn $T \to \infty$ .
Ausreichende approximative Kontraktion: Die Analyse zeigt, dass eine exakte Vorhersage des Mittelpunkts nicht notwendig ist. Es genügt, wenn die gelernte Kostenfunktion eine grobe Marge zwischen Kandidaten bewahrt, die den Horizont kontrahieren (die verbleibende Distanz um einen konstanten Faktor $\rho < 1$ reduzieren), und denen, die dies nicht tun.
Fehlerschranken: Die Wahrscheinlichkeit eines Gesamtausfalls ist durch die Summe von Verfeinerungsausfällen (Versagen bei der Auswahl eines kontrahierenden Subziels) und finalen lokalen Ausführungsfehlern begrenzt. Dies motiviert die wertthreshold-basierte Stoppregel: verfeinern, solange das Ziel zu weit entfernt ist, und stoppen, sobald das Ziel als lokal ausführbar geschätzt wird.

4. Experimentelle Ergebnisse

Die Autoren bewerten CFHRL auf OGBench, einem Benchmark für offline zielkonditionierte Steuerung, der Locomotion (PointMaze, AntMaze, HumanoidMaze, AntSoccer) und Manipulationsaufgaben (Cube, Scene) abdeckt.

Leistung: CFHRL erzielt die höchste aggregierte Punktzahl (37,5) im Vergleich zu Baselines wie HIQL (23,2), GCIVL (16,5) und flachen Methoden.
Gewinne bei langem Horizont: Die signifikantesten Verbesserungen werden bei labyrinthartigen Aufgaben mit langem Horizont beobachtet (z. B. PointMaze-Giant-Stitch), wo CFHRL die Erfolgsraten von 0 % (für flache/feste-Hierarchie-Baselines) auf 57 % steigert.
Ablationsstudien:
- Adaptive Stoppregel: Das Entfernen der adaptiven Stoppregel und das Erzwingen fester Verfeinerungstiefen ( $K=2, 3$ ) verschlechtert die Leistung, was bestätigt, dass übermäßige Verfeinerung Planerfehler akkumuliert.
- Notwendigkeit des Planers: Der Ersatz des gelernten Planers durch zufällige Datensatz-Subziele führt zum Scheitern, was beweist, dass Subziele basierend auf gelernten Erreichbarkeitskosten ausgewählt werden müssen.
- Kandidatenbudget: Die Erhöhung der Anzahl der Trainingskandidaten ( $N_c$ ) verbessert die Leistung bis zu einem gewissen Punkt ( $N_c=16$ ) und balanciert dabei die Überwachungsqualität und den Trainingsdurchsatz aus.
Grenzen: CFHRL schneidet bei manipulationsreichen Aufgaben mit vielen Kontakten (Cube) im Vergleich zu flachen wertbasierten Methoden schlechter ab, was darauf hindeutet, dass eine wegpunktartige Zerlegung für Aufgaben, die präzise Kontaktdynamiken erfordern, weniger effektiv ist.

5. Bedeutung und Behauptungen

Der Artikel beansprucht drei Hauptbeiträge:

Formulierung: Er formuliert offline GCRL mit langem Horizont als adaptive Subziel-Verfeinerung mit Stoppzeit, bei der die Zerlegungstiefe durch gelernte Ausführbarkeit und nicht durch einen festen Horizont bestimmt wird.
Algorithmus: Er führt ein replay-unterstütztes Kontraktionsziel ein, das einen amortisierten Verfeinerungsplaner trainiert, ohne Graphensuche zur Testzeit oder Online-Interaktion zu erfordern.
Validierung: Er liefert sowohl eine stilisierte Analyse als auch empirische Ablationen, die zeigen, dass approximative Kontraktion und adaptive Stoppregeln das Erreichen von Zielen über lange Horizonte in labyrinthartigen Umgebungen effektiv verbessern.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen an, dass die Methode von der Qualität der gelernten Erreichbarkeitskosten abhängt und dass die aktuelle Abstraktionsschnittstelle (einfache lokale Zielrepräsentationen) für komplexe Manipulationsaufgaben, die präzise Kontaktsequenzen erfordern, möglicherweise unzureichend ist. Sie schlagen vor, dass zukünftige Arbeiten darauf fokussieren sollten, adaptive Planung mit reichhaltigeren objektspezifischen Abstraktionen zu kombinieren und das Framework auf andere Offline-GCRL-Werteschätzer zu erweitern.