🤖 AI

Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL

Dieser Beitrag stellt CARL vor, einen hierarchischen Verstärkungslernalgorithmus, der die Regelmäßigkeit lokaler Dynamiken nutzt, um globale Kontexte mit erforderlichen Aktionssequenzen abzugleichen und dadurch wiederverwendbare Fähigkeiten zu erlernen, die die nachgelagerte Leistung bei komplexen Aufgaben verbessern.

Ursprüngliche Autoren: Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Rad neu erfinden"-Problem

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein riesiges, komplexes Labyrinth zu navigieren. Beim traditionellen Reinforcement Learning (RL) versucht der Roboter oft, jeden einzelnen Zug von Grund auf neu zu lernen, jedes Mal, wenn er einen neuen Raum betritt.

Wenn der Roboter lernt, wie man „vorwärts geht", wenn er sich in der Küche befindet, könnte er vergessen, wie man genau dasselbe tut, wenn er ins Wohnzimmer geht, obwohl die Physik des Gehens identisch ist. Es ist wie ein Schüler, der lernt, ein Matheproblem in einem Lehrbuch zu lösen, aber versagt, dasselbe Problem in einer Prüfung zu lösen, nur weil die Schriftart anders ist.

Dies ist die Kernherausforderung des Hierarchical Reinforcement Learning (HRL). HRL versucht, Robotern „Fertigkeiten" beizubringen (wie Gehen, Aufstehen oder Greifen), damit sie sie wiederverwenden können. Doch aktuelle Methoden scheitern oft daran zu erkennen, dass eine „vorwärts gehen"-Fertigkeit dieselbe ist, egal ob man sich in der Küche oder im Wohnzimmer befindet. Sie behandeln sie als völlig unterschiedliche Dinge und verschwenden Zeit und Daten.

Die Lösung: CARL (Der „universelle Übersetzer" für Fertigkeiten)

Die Autoren stellen eine neue Methode namens CARL vor (Contrastive Action-based Representations for Reusable Local Control).

Stellen Sie sich CARL als einen universellen Übersetzer für Bewegungen vor. Anstatt zu fragen: „Wo bin ich in der Welt?" (was sich ständig ändert), fragt CARL: „Welche Art von Bewegungsabfolge benötige ich, um von hier dorthin zu gelangen?"

Die Kernidee: „Lokale Dynamik"

Das Papier stützt sich auf eine einfache Intuition: Lokale Dynamiken sind regelmäßig.

Analogie: Stellen Sie sich vor, Sie sind in einer überfüllten Stadt. Wenn Sie drei Schritte vorwärts gehen wollen, müssen Sie Ihren linken Fuß heben, dann Ihren rechten, dann wieder Ihren linken. Es spielt keine Rolle, ob Sie in New York, Tokio oder einem kleinen Dorf sind; die Abfolge der Schritte, die erforderlich ist, um drei Fuß zurückzulegen, ist dieselbe.
Die Behauptung des Papiers: Viele verschiedene Orte in der Umgebung eines Roboters teilen diese gleichen „lokalen Regeln". Wenn ein Roboter von Punkt A nach Punkt B und von Punkt C nach Punkt D gehen muss und die Entfernung sowie die Hindernisse ähnlich sind, sollte der Roboter für beide Fälle exakt dieselbe „Fertigkeit" (Aktionssequenz) verwenden.

Wie CARL funktioniert: Der „Vermittlungs"-Algorithmus

CARL durchsucht eine riesige Datenbank vergangener Roboterbewegungen (Offline-Daten). Es merkt sich nicht nur die Karte; es sucht nach Mustern darin, wie sich der Roboter bewegt hat.

Die Eingabe: Es betrachtet ein „Zustands-Ziel-Paar". (Zum Beispiel: „Ich bin an der Tür und möchte zum Tisch gelangen.")
Das Geheimnis: Es betrachtet die Aktionssequenz, die der Roboter verwendet hat, um dorthin zu gelangen (zum Beispiel: „Schritt, Schritt, Drehung, Schritt").
Die Magie: CARL verwendet eine Technik namens Contrastive Learning. Es versucht, jede zwei Situationen zu gruppieren, die dieselbe Aktionssequenz erfordern, selbst wenn die Situationen auf den ersten Blick völlig unterschiedlich aussehen.

Die Metapher:
Stellen Sie sich eine Bibliothekarin vor, die Bücher sortiert.

Alte Methode: Die Bibliothekarin sortiert Bücher nach der Farbe des Covers oder der Stadt, in der sie gedruckt wurden. (Dies ist vergleichbar mit dem Sortieren nach „wo sich der Roboter befindet").
CARL-Methode: Die Bibliothekarin sortiert Bücher nach der Inhaltsangabe. Wenn zwei Bücher exakt dieselbe Handlung haben (zum Beispiel: „Der Held klettert eine Leiter hoch, um zu entkommen"), werden sie zusammen abgelegt, auch wenn eines ein Science-Fiction-Roman und das andere ein Fantasy-Roman ist.

In der Welt von CARL werden „Aufstehen" in einer Labyrinth-Ecke und „Aufstehen" in der Mitte eines Raums zusammen abgelegt, weil die „Handlung" (die Aktionssequenz) dieselbe ist.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten dies an einem Benchmark namens OGBench, der Aufgaben wie folgende umfasst:

Fortbewegung: Ein virtuelles Ameisen-, Roboterhund- oder humanoide Robotermodell dazu bringen, durch Labyrinthe zu laufen.
Manipulation: Einem Roboterarm beibringen, Würfel zu stapeln oder Rätsel zu lösen.

Was passierte?

Bessere Übertragung: Wenn der Roboter eine Fertigkeit in einem Teil des Labyrinths lernte, konnte er diese Fertigkeit sofort in einem völlig anderen Teil des Labyrinths verwenden. Er musste nicht neu lernen, wie man geht.
Höhere Punktzahlen: Als sie CARL mit bestehenden fortschrittlichen KI-Methoden (wie HIQL) kombinierten, lösten die Roboter Aufgaben viel häufiger. Zum Beispiel stieg bei einigen schwierigen „riesigen Labyrinth"-Tests die Erfolgsrate um über 30 %.
Visueller Beweis: Die Autoren erstellten Visualisierungen (wie Abbildung 3 im Papier), die zeigen, dass CARL erfolgreich Verhaltensweisen wie „rückwärts gehen" zusammen gruppierte, selbst wenn sich die Roboter in völlig verschiedenen Teilen des Labyrinths befanden.

Was CARL NICHT tut (Basierend strikt auf dem Papier)

Es erschafft keine neuen Fertigkeiten aus dem Nichts; es findet und verwendet vorhandene Muster, die in den Daten enthalten sind.
Es ist keine magische Lösung für alle Probleme. Das Papier stellt fest, dass es bei Aufgaben, die sehr komplexe, langfristige Planung erfordern (wie das Lösen eines 4x4-Rätsels), oder in Umgebungen mit sehr zufälliger, unvorhersehbarer Physik (wie Teleportationsportale), etwas Schwierigkeiten hat.
Es ist darauf angewiesen, eine gute „Bibliothek" vergangener Daten zu haben. Wenn die Daten spärlich oder schlecht sind, kann CARL die Muster nicht finden.

Zusammenfassung

CARL ist eine Methode, die Robotern beibringt zu erkennen, dass „Gehen" „Gehen" ist, unabhängig davon, wo sie sich befinden. Indem es Situationen, die dieselben Schritte erfordern, mathematisch gruppiert, ermöglicht es Robotern, ihre gelernten Fertigkeiten über verschiedene Teile einer Umgebung hinweg wiederverzuwenden, was sie intelligenter, schneller und effizienter bei der Lösung langer, komplexer Aufgaben macht.

Technische Zusammenfassung: Ausnutzung der Regelmäßigkeit lokaler Dynamiken für wiederverwendbare Fähigkeiten im Offline-Hierarchischen RL

Problemstellung

Hierarchisches Reinforcement Learning (HRL) zielt darauf ab, Aufgaben mit langem Zeithorizont zu lösen, indem zeitlich extended Fähigkeiten entdeckt und wiederverwendet werden. Eine anhaltende Herausforderung besteht jedoch darin, Fähigkeiten zu erhalten, die über verschiedene Kontexte hinweg genuinely wiederverwendbar sind. Bestehende Ansätze leiden häufig unter Trainingsinstabilität beim gemeinsamen Lernen von Fähigkeiten und Politiken oder sie versagen darin, Wiederverwendbarkeit effektiv zu nutzen. Zwar haben zielkonditionierte Politiken das Training entkoppelt, doch verlieren sie oft die zeitliche Abstraktion und die konsistente Wiederverwendbarkeit, die echten Fähigkeiten inhärent sind. Insbesondere erschwert die direkte Reasoning im globalen Zustand-Ziel-Raum es den Politiken auf niedriger Ebene, zu erkennen, wann dasselbe Verhalten in verschiedenen globalen Kontexten wiederverwendet werden kann.

Methodik

Die Autoren schlagen CARL (Contrastive Action-based Representations for Reusable Local Control) vor, eine Methode, die darauf ausgelegt ist, Repräsentationen lokaler Dynamiken aus Offline-Datensätzen zu erlernen, um die Wiederverwendung von Fähigkeiten zu erleichtern.

Theoretische Grundlage: Lokale Dynamiken und Bisimulation

Die Kernintuition sind lokale Dynamiken: Viele lokale Regionen des Zustandsraums teilen ähnliche Dynamiken, was bedeutet, dass lokale Übergänge in verschiedenen globalen Kontexten ähnliche Aktionssequenzen erfordern.

k-Ball MDP: Die Autoren formalisieren lokale Dynamiken, indem sie ein MDP mit endlichem Zeithorizont (den $k$ -Ball) definieren, das bei einem Zustand $s$ verwurzelt ist und alle innerhalb von $k$ Schritten erreichbaren Zustände enthält.
Dynamische Bisimilarität: Zwei Zustände gelten als teilend lokale Dynamiken, wenn ihre entsprechenden $k$ -Ball-MDPs dynamisch bisimilar sind. Dies bedeutet, dass eine Relation existiert, bei der die Übergangswahrscheinlichkeiten unter identischen Aktionssequenzen äquivalent sind, wodurch die Zustände für zielgerichtete Verhaltensweisen mit kurzem Zeithorizont als austauschbar behandelt werden können.

Praktischer Algorithmus: CARL

Die direkte Schätzung der Bisimulation in hochdimensionalen kontinuierlichen Domänen ist unlösbar. Stattdessen nutzt CARL Verhaltensähnlichkeit als Heuristik. Die Hypothese lautet, dass in nahezu expertenhaften Offline-Datensätzen Zustands-Ziel-Paare $(s_1, g_1)$ und $(s_2, g_2)$ , die dieselbe $k$ -Schritt-Aktionssequenz $a_k$ zulassen, verhaltensmäßig ähnlich sind.

CARL lernt Einbettungen $\phi(s, g)$ für Zustands-Ziel-Paare und $\psi(a_k)$ für Aktionssequenzen unter Verwendung eines kontrastiven Lernziels (InfoNCE):
$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$
Dieses Ziel richtet Zustands-Ziel-Paare mit den Aktionssequenzen aus, die sie erreichen. Folglich werden Zustands-Ziel-Paare, die ähnliche lokale Fähigkeiten erfordern, unabhängig von ihrem globalen Standort in der latenten räumlich nahe beieinander eingebettet.

Integration in HRL

CARL wird in bestehende hierarchische Offline-RL-Algorithmen integriert, speziell HIQL und HGCBC.

Die erlernte Repräsentation $\phi(s, g)$ wird als Eingabe für die Politik und die Wertfunktion auf niedriger Ebene verwendet.
Die Politik auf hoher Ebene gibt Teilziele in diesem erlernten Repräsentationsraum aus.
Dies ermöglicht es der Politik auf niedriger Ebene, dieselbe Fähigkeit (Aktionssequenz) in verschiedenen globalen Kontexten wiederverwenden, ohne die Politik für jeden Bereich von Grund auf neu erlernen zu müssen.

Hauptbeiträge

Formalisierung lokaler Dynamiken: Das Papier definiert Zustandsäquivalenz basierend auf lokalen Dynamiken (via $k$ -Ball-MDPs und Bisimulation) anstatt auf Wertäquivalenz mit langem Zeithorizont und liefert damit eine prinzipielle Grundlage für die Wiederverwendung von Fähigkeiten.
CARL-Algorithmus: Ein praktisches kontrastives Lernframework, das die Struktur lokaler Dynamiken aus Offline-Daten approximiert und Zustands-Ziel-Paare nach ihren erforderlichen Aktionssequenzen clustert.
Empirische Validierung: Es wird demonstriert, dass die Integration von CARL in HIQL und HGCBC die nachgelagerte Leistung auf dem OGBench-Benchmark über diverse Aufgaben (Fortbewegung, Manipulation und komplexe Rätsel) und Modalitäten (zustandsbasiert und pixelbasiert) signifikant verbessert.
Analyse der Repräsentationsstruktur: Visualisierungen (UMAP) und Nachbarn-Analysen bestätigen, dass CARL erfolgreich verschiedene globale Zustände clustert, die ähnliches lokales Verhalten erfordern (z. B. „rückwärts laufen" an verschiedenen Stellen eines Labyrinths).

Ergebnisse

Das Papier berichtet über umfangreiche Experimente auf dem OGBench-Suite:

Zustandsbasierte Aufgaben: HIQL+CARL erreichte eine Gewinnrate von 20/22 gegen standard HIQL, mit signifikanten Verbesserungen in komplexen Umgebungen wie dem „riesigen Labyrinth" (+30% bei Szenen-Aufgaben) und „Würfel"-Manipulationsaufgaben. HGCBC+CARL erreichte 21/21 gegen HGCBC.
Pixelbasierte Aufgaben: In visuellen Umgebungen erreichte HIQL+CARL 13/14 Siege gegen HIQL, mit bemerkenswerten Gewinnen bei Aufgaben mit langem Zeithorizont (z. B. +30% bei großen/riesigen Varianten).
Ablationsstudien:
- Kontrastiv vs. Vorhersage: Das kontrastive Ziel (InfoNCE) übertraf direkte Regressions- (Vorhersage-) Verluste, was darauf hindeutet, dass es effektiver ist, die latente Geometrie für die Wiederverwendung von Fähigkeiten zu organisieren.
- Aktionssequenz vs. Einzelaktion: Die Modellierung vollständiger Aktionssequenzen ( $a_k$ ) war der Modellierung einzelner Aktionen überlegen und bestätigte die Bedeutung der zeitlichen Struktur.
- Sampling: „Interior sampling" (Verwendung von Zwischenzuständen innerhalb des $k$ -Schritt-Horizonts) performte besser als „surface sampling" (nur Verwendung des Endpunkts).
Robustheit: CARL+HIQL zeigte eine ähnliche Sensitivität gegenüber Datensatzabdeckung und -ungleichgewicht wie die Baseline HIQL, was darauf hindeutet, dass CARL die Datenanforderungen nicht verschärft.

Bedeutung und Behauptungen

Die Autoren behaupten, dass die Struktur lokaler Dynamiken eine prinzipielle Grundlage für die Extraktion und Wiederverwendung von Fähigkeiten bietet und HRL hilft, sich mit den zeitlichen Abstraktionen wieder zu verbinden, die für Entscheidungen mit langem Zeithorizont zentral sind. Durch das Erlernen von Einbettungen, die Zustands-Ziel-Paare gemäß den Verhaltensweisen mit kurzem Zeithorizont clustern, die sie zulassen, bietet CARL einen konkreten Mechanismus für die Wiederverwendung von Fähigkeiten, der bestehende hierarchische RL-Frameworks verbessert.

Das Papier betont, dass dieser Ansatz es Politiken auf hoher Ebene ermöglicht, effektiver über Fähigkeiten auf niedriger Ebene zu reasonen, wodurch die Übertragung von Verhaltensweisen über global unterschiedliche Kontexte hinweg ermöglicht wird (z. B. ein Humanoider, der in verschiedenen Teilen eines Labyrinths aufsteht). Obwohl die Methode auf Offline-Datensätzen und festen Horizonten beruht, deuten die Ergebnisse darauf hin, dass die explizite Modellierung lokaler Wiederverwendbarkeit Leistungsverbesserungen freisetzt, insbesondere in komplexen, hochdimensionalen Robotik-Domänen, in denen das erneute Erlernen von Politiken auf niedriger Ebene für jeden Kontext ineffizient ist.

Die Arbeit ist bescheiden bezüglich ihrer Grenzen und stellt fest, dass die Wahl des Extraktionshorizonts $k$ umgebungsabhängig ist und dass die Leistung bei bestimmten Aufgaben (wie solchen mit stochastischen Dynamiken oder extremer kombinatorischer Generalisierung) weiterhin herausfordernd bleibt. Als zukünftige Arbeiten wird vorgeschlagen, automatische Entdeckung von Fähigkeiten, Aktionsabstraktion und Repräsentationen von Politiken auf hoher Ebene zu erforschen.