🤖 AI

Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL

Dit artikel introduceert CARL, een hiërarchisch versterkingsleeralgoritme dat de regelmaat van lokale dynamiek benut om globale contexten af te stemmen op vereiste actiesequenties, waardoor herbruikbare vaardigheden worden geleerd die de downstreamprestaties op complexe taken verbeteren.

Oorspronkelijke auteurs: Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Het Wiel Opnieuw Uitvinden"-Probleem

Stel je voor dat je een robot leert navigeren door een gigantisch, complex doolhof. In traditioneel Reinforcement Learning (RL) probeert de robot vaak elke beweging vanaf nul te leren, elke keer als hij een nieuwe kamer binnenkomt.

Als de robot leert hoe hij "vooruit loopt" in de keuken, vergeet hij misschien hoe hij dat exactezelfde doet als hij de woonkamer binnenkomt, zelfs al zijn de fysica van het lopen identiek. Het is als een student die leert een wiskundeprobleem op te lossen in een lesboek, maar faalt om hetzelfde probleem op te lossen tijdens een toets, alleen omdat het lettertype anders is.

Dit is de kernuitdaging van Hiërarchisch Reinforcement Learning (HRL). HRL probeert robots "vaardigheden" aan te leren (zoals lopen, opstaan of grijpen) zodat ze ze kunnen hergebruiken. Maar huidige methoden missen vaak het besef dat een "vooruit lopen"-vaardigheid hetzelfde is, of je nu in de keuken of de woonkamer bent. Ze behandelen ze als totaal verschillende dingen, wat tijd en data verspillen.

De Oplossing: CARL (De "Universele Vertaler" voor Vaardigheden)

De auteurs introduceren een nieuwe methode genaamd CARL (Contrastive Action-based Representations for Reusable Local Control).

Denk aan CARL als een universele vertaler voor beweging. In plaats van te vragen: "Waar ben ik in de wereld?" (wat constant verandert), vraagt CARL: "Welk soort bewegingssequentie heb ik nodig om van hier naar daar te komen?"

Het Kernidee: "Lokale Dynamiek"

Het paper steunt op een simpele intuïtie: Lokale dynamiek is regelmatig.

Analogie: Stel je voor dat je in een drukke stad bent. Als je drie stappen vooruit wilt lopen, moet je je linkervoet optillen, dan je rechtervoet, dan je linkervoet. Het maakt niet uit of je in New York, Tokio of een klein dorp bent; de sequentie van stappen die nodig is om drie voet te bewegen, is hetzelfde.
De Claim van het Paper: Veel verschillende plekken in de omgeving van een robot delen dezezelfde "lokale regels". Als een robot van Punt A naar Punt B moet, en van Punt C naar Punt D, en de afstand en obstakels zijn vergelijkbaar, dan zou de robot exact dezelfde "vaardigheid" (actiesequentie) moeten gebruiken voor beide.

Hoe CARL Werkt: Het "Matchmaking"-Algoritme

CARL kijkt naar een enorme database van eerdere robotbewegingen (offline data). Het onthoudt niet alleen de kaart; het zoekt naar patronen in hoe de robot bewoog.

De Invoer: Het kijkt naar een "Staat-Doel-paar". (Bijvoorbeeld: "Ik ben bij de deur, en ik wil bij de tafel komen.")
Het Geheime Ingrediënt: Het kijkt naar de Actiesequentie die de robot gebruikte om daar te komen (bijvoorbeeld: "Stap, Stap, Draai, Stap").
De Magie: CARL gebruikt een techniek genaamd Contrastief Leren. Het probeert twee situaties die dezelfde actiesequentie vereisen, met elkaar te groeperen, zelfs als de situaties aan de oppervlakte totaal verschillend lijken.

De Metafoor:
Stel je een bibliothecaris voor die boeken ordent.

Oude Methode: De bibliothecaris sorteert boeken op de kleur van de kaft of de stad waar ze werden gedrukt. (Dit is als sorteren op "waar de robot zich bevindt").
CARL-Methode: De bibliothecaris sorteert boeken op de samenvatting van het plot. Als twee boeken exact hetzelfde plot hebben (bijvoorbeeld: "De held klimt een ladder op om te ontsnappen"), worden ze samen opgeborgen, zelfs als het ene een sciencefictionroman is en het andere een fantasyroman.

In de wereld van CARL worden "Opstaan" in een hoek van het doolhof en "Opstaan" in het midden van een kamer samen opgeborgen omdat het "plot" (de actiesequentie) hetzelfde is.

De Resultaten: Waarom Het Belangrijk Is

De auteurs testten dit op een benchmark genaamd OGBench, die taken omvat zoals:

Locomotie: Een virtuele mier, robot-hond of humanoid robot leren door doolhoven te lopen.
Manipulatie: Een robotarm leren blokken te stapelen of puzzels op te lossen.

Wat gebeurde er?

Bessere Overdracht: Toen de robot een vaardigheid leerde in één deel van het doolhof, kon hij die vaardigheid direct gebruiken in een volledig ander deel van het doolhof. Hij hoefde niet opnieuw te leren hoe hij moest lopen.
Hogere Scores: Toen ze CARL combineerden met bestaande geavanceerde AI-methoden (zoals HIQL), losten de robots taken veel vaker op. Bijvoorbeeld, in sommige moeilijke "gigantisch doolhof"-tests steeg het succespercentage met meer dan 30%.
Visueel Bewijs: De auteurs maakten visualisaties (zoals Figuur 3 in het paper) die laten zien dat CARL succesvol "achteruit lopen"-gedrag met elkaar groepeerde, zelfs toen de robots zich in totaal verschillende delen van het doolhof bevonden.

Wat CARL NIET Doet (Strikt gebaseerd op het paper)

Het creëert geen nieuwe vaardigheden uit het niets; het vindt en hergebruikt bestaande patronen die in de data te vinden zijn.
Het is geen magische oplossing voor alle problemen. Het paper merkt op dat het wat moeite heeft met taken die zeer complexe langetermijnplanning vereisen (zoals het oplossen van een 4x4-puzzel) of omgevingen met zeer willekeurige, onvoorspelbare fysica (zoals teleporterende portaal).
Het is afhankelijk van het hebben van een goede "bibliotheek" van eerdere data. Als de data schaars of slecht is, kan CARL de patronen niet vinden.

Samenvatting

CARL is een methode die robots leert te herkennen dat "lopen" "lopen" is, ongeacht waar ze zich bevinden. Door wiskundig situaties te groeperen die dezelfde stappen vereisen, stelt het robots in staat om hun geleerde vaardigheden te hergebruiken in verschillende delen van een omgeving, waardoor ze slimmer, sneller en efficiënter worden in het oplossen van lange, complexe taken.

Technische Samenvatting: Het Benutten van Regelmaat in Lokale Dynamica voor Herbruikbare Vaardigheden in Offline Hiërarchische RL

Probleemstelling

Hiërarchisch Versterkend Leren (HRL) beoogt taken met een lange horizon op te lossen door tijdelijk uitgebreide vaardigheden te ontdekken en te hergebruiken. Een aanhoudende uitdaging is echter het verkrijgen van vaardigheden die werkelijk herbruikbaar zijn in verschillende contexten. Bestaande benaderingen lijden vaak aan trainingsinstabiliteit bij het gezamenlijk leren van vaardigheden en beleidslijnen, of ze slagen er niet in om herbruikbaarheid effectief te benutten. Hoewel doelgerichte beleidslijnen het trainen hebben ontkoppeld, gaan ze vaak de tijdelijke abstractie en consistente herbruikbaarheid kwijt die inherent zijn aan echte vaardigheden. Specifiek maakt redeneren direct in de globale staat-doelruimte het voor lage-niveau beleidslijnen moeilijk om te herkennen wanneer hetzelfde gedrag in verschillende globale contexten kan worden hergebruikt.

Methodologie

De auteurs stellen CARL (Contrastive Action-based Representations for Reusable Local Control) voor, een methode die is ontworpen om representaties van lokale dynamica te leren uit offline datasets om vaardigheidsherbruik te faciliteren.

Theoretische Grondslag: Lokale Dynamica en Bisimulatie

De kernintuïtie is lokale dynamica: veel lokale regio's van de staatruimte delen vergelijkbare dynamica, wat betekent dat lokale overgangen in verschillende globale contexten vergelijkbare actiesequenties vereisen.

k-bol MDP: De auteurs formaliseren lokale dynamica door een MDP met een eindige horizon (de $k$ -bol) te definiëren die geworteld is in een staat $s$ en alle binnen $k$ stappen bereikbare staten bevat.
Dynamica-bisimilariteit: Twee staten worden geacht lokale dynamica te delen als hun corresponderende $k$ -bol MDP's dynamica-bisimilar zijn. Dit betekent dat er een relatie bestaat waarbij de overgangskansen onder identieke actiesequenties equivalent zijn, waardoor de staten als uitwisselbaar kunnen worden behandeld voor gedrag met een korte horizon gericht op het bereiken van doelen.

Praktisch Algorithmus: CARL

Het direct schatten van bisimulatie in hoogdimensionale continue domeinen is onuitvoerbaar. In plaats daarvan maakt CARL gebruik van gedragsgelijkheid als heuristiek. De hypothese is dat in offline datasets die dicht bij expertniveau liggen, staat-doelparen $(s_1, g_1)$ en $(s_2, g_2)$ die dezelfde $k$ -staps actiesequentie $a_k$ toelaten, gedragsmatig vergelijkbaar zijn.

CARL leert embeddings $\phi(s, g)$ voor staat-doelparen en $\psi(a_k)$ voor actiesequenties met behulp van een contrastief leerdoel (InfoNCE):
$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$
Dit doel brengt staat-doelparen in lijn met de actiesequenties die ze realiseren. Bijgevolg worden staat-doelparen die vergelijkbare lokale vaardigheden vereisen, in de latente ruimte dicht bij elkaar geëmbed, ongeacht hun globale locatie.

Integratie met HRL

CARL is geïntegreerd in bestaande hiërarchische offline RL-algoritmen, specifiek HIQL en HGCBC.

De geleerde representatie $\phi(s, g)$ wordt gebruikt als invoer voor het lage-niveau beleid en de waardenfunctie.
Het hoge-niveau beleid geeft subdoelen uit in deze geleerde representatieruimte.
Dit stelt het lage-niveau beleid in staat om dezelfde vaardigheid (actiesequentie) in verschillende globale contexten te hergebruiken zonder het beleid voor elke regio opnieuw van scratch te hoeven leren.

Belangrijkste Bijdragen

Formalisatie van Lokale Dynamica: Het artikel definieert staatsequivalentie op basis van lokale dynamica (via $k$ -bol MDP's en bisimulatie) in plaats van equivalentie van waarden met een lange horizon, en biedt zo een principieel fundament voor vaardigheidsherbruik.
CARL-algoritme: Een praktisch contrastief leerkader dat de structuur van lokale dynamica benadert vanuit offline data, en staat-doelparen clusterd op basis van de vereiste actiesequenties.
Empirische Validatie: Het aantonen dat het integreren van CARL in HIQL en HGCBC de downstream-prestaties op de OGBench-benchmark aanzienlijk verbetert over diverse taken (locomotie, manipulatie en complexe puzzels) en modaliteiten (op staten gebaseerd en op pixels gebaseerd).
Analyse van Representatiestructuur: Visualisaties (UMAP) en analyses van de dichtste buren bevestigen dat CARL succesvol verschillende globale staten clusterd die vergelijkbaar lokaal gedrag vereisen (bijvoorbeeld "achteruitlopen" op verschillende locaties in een doolhof).

Resultaten

Het artikel rapporteert uitgebreide experimenten op de OGBench-suite:

Op Staten Gebaseerde Taken: HIQL+CARL behaalde een winratio van 20/22 tegen standaard HIQL, met significante verbeteringen in complexe omgevingen zoals het "reuzendoolhof" (+30% op taakscènes) en "kubus"-manipulatietaken. HGCBC+CARL behaalde 21/21 tegen HGCBC.
Op Pixels Gebaseerde Taken: In visuele omgevingen behaalde HIQL+CARL 13/14 overwinningen tegen HIQL, met opmerkelijke winsten in taken met een lange horizon zoals antmaze (bijvoorbeeld +30% op grote/reuzenvarianten).
Ablatiestudies:
- Contrastief vs. Predictie: Het contrastieve doel (InfoNCE) presteerde beter dan directe regressie (predictie) verliezen, wat suggereert dat het effectiever is in het organiseren van de latente geometrie voor vaardigheidsherbruik.
- Actiesequentie vs. Enkele Actie: Het modelleren van volledige actiesequenties ( $a_k$ ) was superieur aan het modelleren van enkele acties, wat het belang van tijdelijke structuur bevestigt.
- Sampling: "Interieure sampling" (het gebruik van tussenliggende staten binnen de $k$ -staps horizon) presteerde beter dan "oppervlakte-sampling" (alleen het eindpunt gebruiken).
Robuustheid: CARL+HIQL toonde een vergelijkbare gevoeligheid voor datasetdekking en onevenwicht als de baseline HIQL, wat aangeeft dat CARL de datavereisten niet verergert.

Betekenis en Claims

De auteurs stellen dat de structuur van lokale dynamica een principieel fundament biedt voor extractie en herbruik van vaardigheden, en zo HRL helpt om opnieuw verbinding te maken met de tijdelijke abstracties die centraal staan in besluitvorming met een lange horizon. Door embeddings te leren die staat-doelparen clusteren op basis van het gedrag met een korte horizon dat ze toelaten, biedt CARL een concreet mechanisme voor vaardigheidsherbruik dat bestaande hiërarchische RL-kaders verbetert.

Het artikel benadrukt dat deze benadering hoge-niveau beleidslijnen in staat stelt om effectiever te redeneren over lage-niveau vaardigheden, waardoor het overdragen van gedrag over globaal verschillende contexten mogelijk wordt (bijvoorbeeld een humanoid die zich in verschillende delen van een doolhof opgericht). Hoewel de methode afhankelijk is van offline datasets en vaste horizons, suggereren de resultaten dat het expliciet modelleren van lokale herbruikbaarheid prestatievoordelen ontsluit, met name in complexe, hoogdimensionale robotdomeinen waar het opnieuw leren van lage-niveau beleidslijnen voor elke context inefficiënt is.

Het werk is bescheiden over zijn beperkingen, en merkt op dat de keuze van de extractiehorizon $k$ afhankelijk is van de omgeving en dat prestaties op bepaalde taken (zoals die met stochastische dynamica of extreme combinatorische generalisatie) uitdagend blijven. Voor toekomstig werk wordt voorgesteld om automatisch vaardigheidsontdekking, actieabstractie en representaties van hoge-niveau beleidslijnen te onderzoeken.