🤖 machine learning

Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

Dit artikel introduceert een schaalbare offline doelgerichte versterkingsleermethode die multistep Monte-Carlo-returns integreert om quasimetric-afstanden te leren, waardoor superieure prestaties worden behaald op lange-horizonttaken en robuuste generalisatie mogelijk wordt in zowel gesimuleerde als echte robotmanipulatiedomeinen.

Oorspronkelijke auteurs: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Gepubliceerd 2026-02-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe hij een heel lang en ingewikkeld spelletje moet spelen, zoals een doolhof van 4000 stappen doorlopen of vier verschillende objecten op een rijtje moet zetten. De moeilijkheid is dat je de robot alleen een stapel oude video's geeft van hoe iemand anders dat spelletje speelde, maar die video's zijn vaak kort, onvolledig of bevatten fouten.

Dit is precies het probleem dat de auteurs van dit paper (uit ICLR 2026) proberen op te lossen. Ze hebben een nieuwe methode bedacht die MQE (Multistep Quasimetric Estimation) heet.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Kijkend naar de neus of naar de horizon?

Stel je voor dat je een robot leert lopen.

De oude manier (TD-learning): Dit is alsof je de robot elke seconde alleen vraagt: "Heb je net een stap gezet? Goed zo!" Je bekijkt alleen de volgende stap. Dit is veilig en stabiel, maar als de robot een lange weg moet afleggen, raakt hij de draad kwijt. Hij weet niet hoe ver hij nog moet gaan.
De andere oude manier (Monte Carlo): Dit is alsof je de robot een hele video laat kijken van het begin tot het einde en zegt: "Kijk, hier was je succesvol!" Dit geeft een goed globaal beeld, maar als de video een foutje bevat, leert de robot die fout ook.

De huidige robots worstelen met dit dilemma: ze zijn ofwel te kortzichtig, ofwel te gevoelig voor fouten in de data.

2. De Oplossing: MQE – De "Magische GPS"

De auteurs hebben een slimme truc bedacht die de beste van beide werelden combineert. Ze noemen het MQE.

Stel je voor dat je een GPS hebt die niet alleen de afstand tot je bestemming in kilometers aangeeft, maar ook een magische meetlat gebruikt die nooit liegt.

De "Meetlat" (Quasimetric): Normaal gesproken is de afstand van A naar B hetzelfde als van B naar A. Maar in een doolhof is dat niet zo! Als je een doodlopende weg inloopt, is de afstand terug naar de ingang misschien kort, maar de afstand naar de doodlopende weg is oneindig (want je kunt er niet uit). De auteurs gebruiken een wiskundige "meetlat" (een quasimetric) die dit soort onevenwichtige situaties perfect kan meten. Het is alsof de robot een intern kompas heeft dat altijd de kortste, veiligste route herkent, zelfs als die route niet rechtlijnig is.
De "Magische Sprong" (Multistep): In plaats van alleen naar de volgende stap te kijken, laat MQE de robot in zijn trainingssessie "springen" naar willekeurige punten verderop in de video (de waypoints).
- Vergelijking: Stel je voor dat je een film kijkt. In plaats van elke seconde te analyseren, spring je naar een willekeurige scène halverwege en zegt: "Als ik hier ben, ben ik dan dichter bij het doel dan waar ik nu ben?" Door dit te doen, leert de robot veel sneller hoe de hele route in elkaar zit, zonder dat hij elke stap hoeft te tellen.

3. Het Grote Voordeel: "Stitching" (Naaipatronen)

Het meest indrukwekkende deel van deze methode is wat ze "stitching" noemen.

Het scenario: Stel je voor dat je een robot hebt die alleen maar heeft geoefend om een kopje thee te pakken (stap 1) en een koekje te pakken (stap 2). Je hebt nooit geoefend om eerst het kopje te pakken en daarna het koekje.
De magie: Omdat MQE zo goed begrijpt hoe "ver" iets is van een doel, kan de robot deze losse vaardigheden aan elkaar naaien. Hij denkt: "Oké, als ik het kopje pak, ben ik dichter bij het doel dan nu. En als ik daarna het koekje pak, ben ik nog dichter." Zonder dat hij ooit de volledige reeks heeft gezien, kan hij een langere taak uitvoeren.

Het is alsof je iemand leert te koken door alleen recepten voor een soep en een salade te geven. Met deze methode kan die persoon ineens een compleet diner maken door de soep en salade slim te combineren, zelfs als hij dat nooit heeft geoefend.

4. Wat hebben ze bewezen?

De auteurs hebben hun robot getest in twee werelden:

In de computer (Simulatie): Ze lieten een robot door enorme, complexe doolhopen lopen (soms 4000 stappen lang!). Andere methoden gaven het op na een paar honderd stappen, maar MQE haalde het doel.
In de echte wereld (Robotarm): Ze testten het op een echte robotarm (BridgeData). Ze gaven de robot de taak om vier verschillende objecten achter elkaar op een bord te leggen, of om een la open te doen en iets erin te leggen.
- Resultaat: Andere methoden faalden vaak bij deze lange reeksen. MQE slaagde erin om deze complexe, samengestelde taken uit te voeren, puur door te "naaien" van wat hij in de korte video's had gezien.

Samenvatting

Deze paper introduceert een slimme manier om robots te leren van oude, onvolledige video's. Door een speciale wiskundige "meetlat" te gebruiken en de robot te laten "springen" naar toekomstige momenten in de video, kunnen robots lange, complexe taken uitvoeren die ze nooit eerder hebben gedaan. Ze leren niet alleen stap voor stap, maar begrijpen het grote plaatje en kunnen losse vaardigheden combineren tot een meesterlijke prestatie.

Kortom: Het is alsof je een robot niet alleen leert lopen, maar hem ook een intuïtie geeft voor hoe de wereld in elkaar zit, zodat hij zelf nieuwe routes kan vinden.

Titel: Multistep Quasimetric Learning for Scalable Goal-Conditioned Reinforcement Learning (MQE)

Publicatie: ICLR 2026
Auteurs: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine (UC Berkeley & Princeton University)

1. Het Probleem

Het leren van doelen bereiken in complexe omgevingen is een langdurige uitdaging in kunstmatige intelligentie, met name voor taken met een lange horizon (veel stappen nodig om een doel te bereiken). Bestaande methoden kampen met een fundamenteel compromis:

Temporal Difference (TD) learning: Biedt lokale updates en theoretische optimaliteitsgaranties, maar presteert vaak slecht bij lange horizons vanwege het opstapelen van fouten (compounding errors).
Monte Carlo (MC) learning: Voert globale updates uit en presteert vaak beter in de praktijk, maar mist theoretische optimaliteitsgaranties en kan moeilijk de optimale tijdsafstand schatten.

Bestaande offline Goal-Conditioned Reinforcement Learning (GCRL) methoden kunnen deze twee benaderingen niet effectief combineren, wat leidt tot beperkte generalisatie op lange termijn en moeite met "stitching" (het samenvoegen van kortere trajecten tot langere taken).

2. Methodologie: Multistep Quasimetric Estimation (MQE)

MQE is een nieuwe offline GCRL-methode die de voordelen van TD- en MC-lering combineert zonder expliciete hiërarchie te vereisen. De kern van de methode bestaat uit drie pijlers:

A. Quasimetric Architectuur

In plaats van een Q-functie direct te leren, leert MQE een quasimetric afstand $d(s, g)$ tussen een staat $s$ en een doel $g$ .

Een quasimetric voldoet aan niet-negativiteit, identiteit en de driehoeksongelijkheid ( $d(x, z) \leq d(x, y) + d(y, z)$ ), maar hoeft niet symmetrisch te zijn.
De Q-waarde wordt afgeleid uit deze afstand: $Q_g(s, a) = V_g(g)e^{-d((s,a), g)}$ .
Er wordt gebruikgemaakt van een Metric Residual Network (MRN) om deze afstand te parameteriseren, wat zorgt voor een stabiele en expressieve representatie.

B. Multistep Backups (De Kerninnovatie)

Traditionele quasimetric methoden gebruiken enkel-staps TD-updates. MQE introduceert multistep returns binnen de quasimetric architectuur:

In plaats van alleen te kijken naar de directe volgende staat $s'$ , sampleert MQE waypoints ( $s_w$ ) uit de toekomstige trajecten in de dataset.
De loss-functie wordt geoptimaliseerd over deze waypoints, wat een on-policy multistep optimalisatieprocedure creëert.
Dit combineert de stabiliteit van lokale updates met de globale vooruitgang van MC-returns.

C. Actie-Invariantie (Action Invariance)

Om te zorgen dat de waarde-functie consistent is met de Q-functie (d.w.z. $V^*(s) = \max_a Q^*(s, a)$ ), wordt een extra constraint toegevoegd:

De afstand tussen een staat $s$ en het state-action paar $(s, a)$ moet nul zijn: $d(s, (s, a)) = 0$ .
Dit wordt opgelost via een specifieke loss-functie ( $L_I$ ) die voorkomt dat het model in triviale oplossingen (waarbij alle afstanden 0 zijn) belandt, wat een veelvoorkomend probleem is bij eerdere methoden.

3. Belangrijkste Bijdragen

Eerste End-to-End Methode: MQE is de eerste methode die multistep TD-returns succesvol combineert met quasimetric architecturen voor offline GCRL.
Horizon Generalisatie: De methode toont superieure prestaties bij taken die veel stappen vereisen (tot 4000 stappen), zelfs wanneer de trainingsdata slechts korte trajecten bevat.
Combinatorische Generalisatie ("Stitching"): MQE kan nieuwe, langere taken oplossen door kortere, in de trainingsdata voorkomende taken te combineren, zonder dat er nieuwe data voor nodig is.
Real-World Toepassing: De methode is succesvol toegepast op een echte robot (BridgeData setup) voor complexe manipulatie-taken, wat zeldzaam is voor end-to-end offline RL zonder handmatige planners.

4. Resultaten

Gesimuleerde Evaluatie (OGBench)

MQE werd getest op een breed scala aan omgevingen (locomotie en manipulatie) in OGBench, inclusief een nieuwe "colossal" AntMaze (50% groter dan bestaande mazes).

Prestaties: MQE behaalde de State-of-the-Art (SOTA) resultaten op bijna alle taken.
Voorbeeld: Op de humanoidmaze-giant-stitch taak presteerde MQE 10x beter dan de beste bestaande methoden (zoals HIQL en n-SAC+BC).
Horizon Generalisatie: Bij het testen op de "colossal" mazes (waar de horizon 1000% langer is dan in de training), was MQE de enige methode die een succesvolle uitvoering (niet-nul success rate) behaalde. Andere methoden faalden volledig.

Real-World Evaluatie (BridgeData)

MQE werd getest op een WidowX250 robotarm voor multi-stap manipulatie.

Taken: Taken zoals "vier objecten opeenvolgend oppakken en plaatsen" en "een la openen en een object erin plaatsen".
Resultaat: MQE slaagde erin deze complexe, sequentiële taken te voltooien. Methodes zoals GCBC en GCIQL faalden bij het combineren van meerdere taken (stitching), terwijl MQE een hoge taak-progress behield.
Uniek: Dit is de eerste keer dat een end-to-end offline GCRL-methode succesvol "stitching" toont in een real-world robotische omgeving zonder hiërarchische planners.

5. Betekenis en Impact

Dit paper is significant omdat het een brug slaat tussen theoretisch sterke TD-methoden en praktisch sterke MC-methoden in de context van offline learning.

Scalability: Het bewijst dat offline RL schaalbaar is naar zeer lange horizons en complexe, real-world robotische taken.
Compositional Generalization: Het toont aan dat agents kunnen leren om bestaande vaardigheden te combineren om nieuwe, langere taken op te lossen, wat een cruciale stap is naar algemene robotica.
Praktische Toepasbaarheid: De stabiliteit van MQE maakt het mogelijk om deze technieken direct toe te passen op ruwe, gelabelde datasets van echte robots, wat de drempel voor het toepassen van RL in de industrie verlaagt.

Kortom, MQE lost het probleem van "horizon generalization" op door slimme integratie van multistep learning en quasimetric constraints, wat leidt tot robuustere en schaalbare goal-conditioned policies.