🤖 machine learning

Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning

Dit artikel introduceert Latent-Aligned Value Learning (LAVL), een offline, op doelen geconditioneerd versterkingsleeralgoritme dat waardegeneralisatie op basis van latente representaties integreert met hiërarchische planning om foutieve generalisatie in taken met lange horizon te overwinnen, waardoor state-of-the-art prestaties worden behaald op OGBench.

Oorspronkelijke auteurs: Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren navigeren door een enorm, complex doolhof of blokken te stapelen tot een toren. Je wilt niet dat de robot leert door middel van trial-and-error (wat eeuwig duurt en gevaarlijk is); in plaats daarvan wil je het leren met een gigantische videobibliotheek van eerdere pogingen van iemand anders. Dit heet Offline Goal-Conditioned Reinforcement Learning.

Het artikel introduceert een nieuwe methode genaamd LAVL (Latent-Aligned Value Learning) die een groot probleem oplost met hoe robots momenteel leren uit deze videobibliotheken.

Hier is de uiteenzetting van het probleem en de oplossing, met eenvoudige analogieën.

Het Probleem: De Verwarring tussen "Kaart en Realiteit"

Stel je voor dat je een robot leert om van punt A naar punt B te komen in een doolhof. Je laat het een video zien van een persoon die door het doolhof loopt.

De Oude Manier (De Gebrekkige Kaart):
De meeste huidige methoden proberen te raden hoe "goed" een specifieke plek in het doolhof is, gebaseerd op hoe dicht het er visueel bij lijkt te liggen.

De Analogie: Stel je voor dat de robot een kaart heeft waar afstand wordt gemeten in een rechte lijn (zoals een vogel vliegt). Als het doel 3 meter weg is, maar er staat een dikke muur tussen de robot en het doel, denkt de robot: "Oh, het is maar 3 meter weg! Ik kan het redden!"
Het Resultaat: De robot raakt in de war. Het denkt dat het dicht bij het doel is omdat het visueel dichtbij is, zelfs al is het tijdelijk ver weg (het zou 100 stappen kosten om er te komen). Dit heet erroneous generalization (foutieve generalisatie). De robot leert een "gebroken kaart" waar muren niet bestaan, wat leidt tot slechte beslissingen.

De Quasimetric Oplossing (Het Starre Reglement):
Sommige onderzoekers probeerden dit op te lossen door de hersenen van de robot te dwingen strikte wiskundige regels te volgen (genaamd "quasimetrics") die zeggen: "Je kunt niet door muren heen snijden."

De Analogie: Dit is alsof je de robot een star reglement geeft dat zegt: "Bereken afstand altijd met deze specifieke, complexe formule."
Het Resultaat: Het werkt geweldig voor simpele doolhoven, maar als je de robot een complexe taak geeft, zoals het oppakken van een kubus met een robotarm, breekt het starre reglement. De robot raakt in de war en faalt volledig. Het is te stijf om zich aan te passen aan verschillende soorten taken.

De Oplossing: LAVL (De Slimme GPS)

De auteurs stellen LAVL voor, wat een nieuwe manier van denken over afstand gebruikt. In plaats van te meten hoe dicht dingen eruitzien, of een star reglement te volgen, leert LAVL de robot de "verborgen geometrie" van de taak begrijpen.

1. De "Latent Alignment" (De Geheime Taal):
In plaats van te kijken naar de ruwe pixels van het doolhof of de arm, vertaalt LAVL de huidige staat van de robot en het doel naar een "geheime taal" (een latent space).

De Analogie: Stel je voor dat de robot en het doel verschillende dialecten spreken. De oude methoden probeerden ze woord voor woord te vertalen (Euclidische afstand). LAVL vertaalt beide naar een universele taal waar de betekenis van de afstand behouden blijft.
Hoe het werkt: De robot leert dat "Staat A" en "Doel B" ver uit elkaar liggen in deze geheime taal, zelfs als ze dichtbij lijken op een scherm. Dit voorkomt de "muur-lekkende" fout. Het is alsof je een GPS hebt die verkeer en omleidingen begrijpt, niet alleen de rechte lijn-afstand.

2. De "Continuity" Lijm:
Wanneer een robot probeert een lang pad te leren, kan zijn interne kaart wankel en trillen.

De Analogie: Stel je voor dat de kaart van de robot een stuk papier is dat blijft kreukelen. Een seconde is het doel 5 stappen weg; de volgende seconde is het 500 stappen weg, puur vanwege een klein glitch.
De Oplossing: LAVL voegt een "gladde lijm" toe (continuity regularization). Het zegt tegen de robot: "Als je op een plek bent die heel erg lijkt op de vorige, mag je schatting van de afstand tot het doel niet wild veranderen." Dit houdt de kaart stabiel en glad.

3. De "Hierarchical" Baas en Werknemer:
Voor zeer lange taken (zoals een gigantisch doolhof) heeft de robot een plan nodig.

De Analogie: LAVL gebruikt een tweeledig systeem.
- De Baas (Hoog niveau): Kijkt naar het grote plaatje. "We moeten bij de uitgang komen. Laten we eerst op de hoek mikken."
- De Werknemer (Laag niveau): Handelt de details af. "Oké, ik ben bij de hoek. Nu draai ik links en loop ik vooruit."
LAVL zorgt ervoor dat de Baas en de Werknemer dezelfde "geheime taal" spreken (Latent Alignment), zodat ze niet in de war raken.

De Resultaten: Waarom Het Belangrijk Is

De auteurs hebben dit getest op OGBench, een gigantische benchmark met 22 verschillende uitdagingen, variërend van het navigeren door gigantische doolhoven tot het stapelen van kubussen met een robotarm.

De Score: LAVL won op 20 van de 22 datasets.
De Lange Afstand: In de "gigantische" doolhoven (waar het pad duizenden stappen lang is), faalden andere methoden of bleven ze steken. LAVL bleef goed presteren.
Het Naaien: Sommige datasets bestonden uit korte, gebroken videoclips die de robot moest "naaien" om een volledig pad te vormen. LAVL was veel beter in het verbinden van deze punten dan eerdere methoden.

Samenvatting

Het artikel betoogt dat de grootste bottleneck bij het leren van robots uit oude data is dat ze het verkeerde soort "afstand" gebruiken om vooruitgang te meten. Ze meten hoe dingen er uitzien in plaats van hoe moeilijk het is om ze te bereiken.

LAVL lost dit op door:

Een "geheime taal" te leren (Latent Alignment) om de echte moeilijkheidsgraad te meten.
De interne kaart van de robot glad te strijken zodat deze niet gaat trillen.
Een Baas/Werknemer-systeem te gebruiken om lange, complexe taken aan te pakken.

Het resultaat is een robot die kan leren uit een videobibliotheek en daadwerkelijk uitzoekt hoe complexe doelen te bereiken zonder in de war te raken door muren of lange afstanden.

Technische Samenvatting: Latente Representatie-uitlijning voor Offline Doel-geconditioneerde Versterkingsleer

1. Probleemstelling

Offline Doel-geconditioneerde Versterkingsleer (GCRL) heeft als doel beleidsregels te leren die willekeurige doelen bereiken met behulp van vaste, vooraf verzamelde datasets, zonder verdere interactie met het omgeving. Hoewel veelbelovend, blijft het leren van betrouwbare doel-geconditioneerde waardenfuncties in taken met een lange horizon een aanzienlijke uitdaging. De primaire bottleneck die in dit werk wordt geïdentificeerd, is foutieve generalisatie in doel-geconditioneerde waardenfuncties.

Standaard waardenfuncties, met name die geparametriseerd door Multi-Layer Perceptrons (MLP's), hebben de neiging om te generaliseren op basis van Euclidische nabijheid in de toestandsruimte in plaats van temporale afstand. In omgevingen met obstakels (bijvoorbeeld doolhoven) of schaarse beloningen leidt dit tot "waardelek", waarbij toestanden die fysiek dicht bij een doel liggen maar temporair ver verwijderd zijn (gescheiden door muren of complexe dynamiek), ten onrechte hoge waarden worden toegewezen. Dit resulteert in ruisachtige waarde-schattingen en breekbare controlebeleidsregels. Bovendien lijden bestaande methoden die proberen dit aan te pakken via quasimetriek-architecturen (bijvoorbeeld IQE, MRN) vaak aan inconsistente prestaties over verschillende domeinen (bijvoorbeeld goede prestaties bij doolhofnavigatie maar falen bij robotmanipulatie) of introduceren ze trainingsinstabiliteit.

2. Methodologie: Latent-uitgelijnde Waardenleer (LAVL)

De auteurs stellen Latent-uitgelijnde Waardenleer (LAVL) voor, een offline GCRL-algoritme dat een innovatieve waardenfunctie-architectuur integreert met een hiërarchisch planningskader.

2.1. Latent-uitlijnend Netwerk (LAN)

De kerninnovatie is het Latent-uitlijnend Netwerk (LAN), een waardenfunctie-architectuur die is ontworpen om een passende inductieve bias voor waarden-generalisatie af te dwingen.

Architectuur: In tegenstelling tot standaard MLP's of strikte quasimetriek-modellen, parametriseert LAN de doel-geconditioneerde waarde $V(s, g)$ als de negatieve Euclidische afstand tussen geleerde latente representaties van de toestand en het doel:
$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$
waarbij $\phi_S: \mathcal{S} \to \mathbb{R}^d$ en $\phi_G: \mathcal{G} \to \mathbb{R}^d$ asymmetrische toestand- en doel-representatienetwerken zijn.
Mechanisme: Door de strikte metriekstructuur te doorbreken (toestaan dat $\phi_S \neq \phi_G$ ), introduceert LAN flexibiliteit die het mogelijk maakt dat de waardenfunctie generaliseert op basis van de geometrie van de geleerde latente ruimte in plaats van ruwe Euclidische toestand-nabijheid. Dit mitigeert het probleem van "overgeneralisatie" waarbij waarde zich door obstakels voortplant.
Voordelen: LAN vermijdt de trainingsinstabiliteit en domeinspecifieke prestatiedalingen die geassocieerd zijn met strikte quasimetriek-beperkingen (zoals IQE), terwijl het de structurele bias behoudt die noodzakelijk is voor nauwkeurige schatting van temporale afstanden.

2.2. Waardenleer met Continuïteitsregularisatie

Om het leren in situaties met een lange horizon te stabiliseren, vult LAVL de standaard Implicit Value Learning (IVL)-doelstelling aan met een term voor lokale continuïteitsregularisatie.

Doelstelling: De totale verliesfunctie combineert de TD-doelstelling ( $L_{TD}$ ) met een regularisatieterm ( $L_{Reg}$ ) die scherpe lokale fluctuaties in de waardenfunctie tussen naburige toestanden bestraft:
$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$
Functie: $L_{Reg}$ onderdrukt hoogfrequente ruis in het waardenlandschap zonder de globale Bellman-consistentie te compromitteren, waardoor een stabiele voortplanting van schaarse beloningen over lange horizons wordt gewaarborgd.

2.3. Hiërarchisch Beleidkader

LAVL adopteert een hiërarchisch beleidkader vergelijkbaar met HIQL, bestaande uit:

Hoog-niveau beleid ( $\pi_h$ ): Genereert een subdoel-representatie $w$ geconditioneerd op de huidige toestand $s$ en het einddoel $g$ . In LAVL wordt het subdoel gedefinieerd als een doel-only mapping $w = \phi(g)$ , wat natuurlijk aansluit bij de LAN-parametrering.
Laag-niveau beleid ( $\pi_l$ ): Voert acties uit geconditioneerd op de toestand $s$ en het subdoel $w$ .
Training: Beide beleidsregels worden getraind met behulp van Advantage-Weighted Regression (AWR), gebruikmakend van de stabiele waarde-schattingen die door LAN worden geboden.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Identificatie van Foutieve Generalisatie: De auteurs identificeren dat het falen van offline GCRL in taken met een lange horizon fundamenteel wordt gedreven door waardenfuncties die generaliseren via Euclidische nabijheid in plaats van temporale afstand. Zij tonen aan dat de inductieve bias in de waardenfunctie-architectuur de kritieke factor is voor het oplossen hiervan, en niet alleen de leerdoelstelling.
Voorstellen van LAVL: Zij introduceren LAVL, een unificerend kader dat de Latent-uitlijnend Netwerk (LAN) combineert voor betrouwbare waarden-generalisatie, continuïteitsregularisatie voor stabiel leren, en een hiërarchisch beleid voor planning met een lange horizon.
Empirische Superioriteit: Uitgebreide experimenten op de OGBench-benchmark tonen aan dat LAVL consistent betere prestaties levert dan bestaande state-of-the-art offline GCRL-methoden.

4. Experimentele Resultaten

De auteurs evalueerden LAVL op 22 datasets van OGBench, die doolhofnavigatie (Point, Ant, Humanoid) en robotmanipulatie (Cube, Scene)-taken met variërende horizons en dataverzamelingsstrategieën (navigeren versus stikken) omvatten.

Algemene Prestaties: LAVL behaalde de hoogste prestaties op 20 van de 22 datasets, aanzienlijk beter dan baselines zoals GCIVL, QRL, HIQL en CGCIVL.
Stabiliteit bij Lange Horizon: In "gigantische" doolhof-omgevingen behield LAVL een succespercentage van 85% met een relatieve daling van slechts 9,6% vergeleken met middelgrote doolhoven. Daarentegen leden baselines zoals HIQL en QRL aan catastrofale prestatiedalingen (respectievelijk 75,4% en 61,7% relatieve dalingen).
Traject-stikken: Op "stik"-datasets (samengesteld uit korte, gefragmenteerde trajecten) vertoonde LAVL een minimale prestatiedaling (1,1%) vergeleken met navigatiedatasets, terwijl andere methoden significant degradeerden (bijvoorbeeld 36,9% daling voor HIQL).
Robotmanipulatie: In tegenstelling tot quasimetriek-methoden (bijvoorbeeld QRL) die faalden in manipulatietaken, behaalde LAVL hoge succespercentages (bijvoorbeeld 88% op Scene-play), wat de robuustheid van LAN over diverse domeinen aantoont.
Ablatie-studies: Experimenten bevestigden dat:
- LAN betere prestaties levert dan quasimetriek-architecturen (IQE, MRN) en op metriek gebaseerde benaderingen (Hilbert) binnen hetzelfde hiërarchische kader.
- De combinatie van LAN en hiërarchische beleidsregels superieure resultaten oplevert vergeleken met vlakke beleidsregels of het gebruik van LAN alleen met vlakke beleidsregels.
- Continuïteitsregularisatie aanzienlijke winsten oplevert op uitdagende taken (bijvoorbeeld het verhogen van het succespercentage op Pointmaze-giant-stitch van 35% naar 95% in sommige configuraties).

5. Betekenis en Claims

Het artikel beweert dat LAVL een aanzienlijke vooruitgang vertegenwoordigt in offline GCRL door de fundamentele bottleneck van waarden-generalisatie aan te pakken.

Architectuurinzicht: Het werk benadrukt dat de keuze van de waardenfunctie-architectuur kritischer is dan de leerdoelstelling voor het bereiken van betrouwbare generalisatie. Het betoogt dat hoewel optimale waardenfuncties quasimetriek zijn, het afdwingen van strikte quasimetriek-beperkingen tijdens training te beperkend kan zijn; in plaats daarvan biedt geleerde latente uitlijning een effectievere inductieve bias.
Unificerend Kader: LAVL slaagt erin effectieve generalisatie, stabiele waardenleer en hiërarchische planning te verenigen, waardoor robuuste prestaties mogelijk worden in taken die redeneren met een lange horizon en traject-stikken vereisen.
Praktische Impact: De methode bereikt state-of-the-art resultaten zonder uitgebreide hyperparameter-tuning of orakel-representaties te vereisen, waardoor het een praktische oplossing is voor complexe offline besluitvormingsproblemen.

De auteurs concluderen dat hoewel hun werk zich richt op waardenleer en hiërarchische extractie, de bevindingen met betrekking tot architecturale inductieve bias kunnen worden uitgebreid naar bredere op waarde gebaseerde RL-algoritmen, en dat toekomstig werk deze methoden zou kunnen uitbreiden naar hoogdimensionale robotbesturing in de echte wereld.