🤖 machine learning

Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL

Het artikel stelt DCRL (Divide-and-Conquer RL) voor, een recursieve offline goal-conditioned reinforcement learning-methode die trajecten deelt in gebalanceerde binaire bomen om de bootstrap-diepte en foutaccumulatie te verminderen, waardoor het bestaande platte en hiërarchische baselines op taken met een lange horizon aanzienlijk overtreft.

Oorspronkelijke auteurs: Hyeonseong Jeon, Youngwoon Lee

Gepubliceerd 2026-09-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hyeonseong Jeon, Youngwoon Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie bestaat er een specifieke uitdaging die bekend staat als doelvoorwaardelijk leren (goal-conditioned learning). Stel je voor dat je een robot niet alleen leert lopen, maar ook leert om naar een specifieke stoel te lopen, of naar een specifieke deur, of naar een specifieke lichtschakelaar, met behulp van enkel een bibliotheek van oude video's van andere robots die rondbewegen. De robot moet deze oude opnames bekijken, uitzoeken hoe hij van punt A naar punt B komt, en het vervolgens zelf proberen te doen. Dit werkt goed voor korte stukjes. Als het doel slechts een paar stappen verderop ligt, kan de robot de punten gemakkelijk met elkaar verbinden. Maar wanneer de reis lang is — waarbij honderden of duizenden stappen nodig zijn om een verre bestemming te bereiken — raakt de robot vaak de weg kwijt. Het heeft moeite om het begin van het pad te onthouden terwijl het probeert te plannen hoe het het einde bereikt, en kleine fouten in het geheugen van korte stappen stapelen zich op tot enorme fouten tegen de tijd dat de bestemming is bereikt.

Dit probleem wordt nog moeilijker wanneer de robot niet kan leren door dingen uit te proberen in de echte wereld. In veel scenario's in de echte wereld, zoals het bedienen van zware machines of het navigeren door een complexe fabriek, is het maken van fouten te gevaarlijk of te duur. De robot moet volledig leren van een vaste dataset van eerdere ervaringen, een veld dat bekend staat als offline reinforcement learning. Onderzoekers weten al lang dat je, om een lange reis te voltooien, de kortere segmenten die er deel van uitmaken, moet begrijpen. Echter, standaardmethoden om robots te onderwijzen vanuit deze statische datasets proberen vaak de hele reis in één keer te leren, of ze gebruiken een willekeurige volgorde van korte en lange segmenten. Deze aanpak is als het proberen te lezen van een boek door willekeurig naar pagina's te bladeren; de robot eindigt met het gissen naar de betekenis van een lang hoofdstuk op basis van een zin die hij nog niet volledig heeft begrepen, wat leidt tot verwarring en falen.

Een team van onderzoekers van Yonsei University en Seoul National University heeft een nieuwe manier voorgesteld om deze robots te onderwijzen, genaamd DCRL. In plaats van het hele pad in één keer te raden, breekt hun methode elke lange reis af in een gestructureerde, stap-voor-stap hiërarchie, vergelijkbaar met het organiseren van een grote taak door eerst de kleinste stukjes te beheersen en deze vervolgens te combineren. De onderzoekers namen een lang pad uit een dataset en deelden dit precies in tweeën, en deelden die helften vervolgens weer in tweeën, een proces dat zij voortzetten totdat ze bij enkelvoudige stappen uitkwamen. Vervolgens leerden ze de robot deze minuscule, enkelvoudige bewegingen eerst te begrijpen. Zodra de robot zelfverzekerd was over deze kleine stappen, gebruikte hij die kennis om de iets langere segmenten te begrijpen, en vervolgens de langere segmenten, waarbij hij zijn begrip van de grond af opbouwde naar de top. Deze "verdeel en heers"-strategie zorgt ervoor dat de robot nooit een lange, complexe route probeert te leren voordat hij de kortere routes die er deel van uitmaken, al onder de knie heeft.

De onderzoekers ontdekten dat deze gestructureerde aanpak een groot probleem oploste waar eerdere methoden mee te maken hadden. Oudere methoden keken vaak naar veel mogelijke tussenpunten en kozen het punt dat er het beste uitzag, in de hoop op een kortere route. Maar omdat de data beperkt was, koos de robot vaak een punt dat alleen goed leek vanwege een fout in zijn geheugen, en bouwde hij vervolgens zijn hele plan op die fout. De nieuwe methode vermijdt dit door strikt het werkelijke pad te volgen dat in de data wordt getoond, door te splitsen op het exacte midden, en de waarde van dat specifieke traject te leren zonder te gissen.

Wanneer deze nieuwe methode werd getest op een verscheidenheid aan moeilijke taken, waaronder het navigeren van een gigantische humanoïde robot door een doolhof en het oplossen van complexe puzzels, presteerde deze methode beter dan alle voorgaande benaderingen. Op de vijf meest uitdagende langetermijn-taken in hun benchmark verbeterde de nieuwe methode de gemiddelde successcore van 55 naar 64, waarmee zelfs complexere hiërarchische systemen die voorheen als state-of-the-art werden beschouwd, werd overtroffen. In een specifieke test met een humanoïde robot in een enorm doolhof behaalde de nieuwe methode een succespercentage van 93 procent, terwijl de op één na beste methode slechts 79 procent bereikte. Misschien wel het meest indrukwekkend: op een taak met een kubus die acht aparte bewegingen vereiste om op te lossen, was de nieuwe methode de enige die de taak succesvol kon voltooien, met een succespercentage van 5 procent, terwijl alle andere methoden volledig faalden. Daarnaast liet de methode sterke resultaten zien op de CALVIN-benchmark, waarbij de robot succesvol was in het uitvoeren van vier opeenvolgende subtaken.

De onderzoekers ontdekten ook dat de volgorde waarin de robot leert net zo belangrijk is als de methode zelf. Ze stelden vast dat de "bottom-up"-aanpak essentieel is voor het succes van de methode. De studie suggereert dat door de natuurlijke afhankelijkheid van lange reizen van korte stappen te respecteren, en door het leerproces te organiseren om die afhankelijkheid te weerspiegelen, robots veel langere en complexere paden kunnen leren navigeren dan ooit tevoren. Dit werk biedt niet alleen een nieuw algoritme; het biedt een duidelijker begrip van hoe we kunstmatige intelligentie kunnen opschalen om de lange, ingewikkelde taken aan te kunnen die de echte wereld definiëren.

Technische Samenvatting: Recursieve Waarde-lering voor Lange-Horizon Offline Goal-Conditioned RL

Probleemstelling

Het schalen van offline Goal-Conditioned Reinforcement Learning (GCRL) naar taken met een lange horizon staat voor twee primaire uitdagingen:

Foutaccumulatie via Afhankelijkheid: Waardeschattingen over lange afstanden zijn inherent afhankelijk van schattingen over kortere afstanden. Standaard offline GCRL-methoden bootstrappen vaak lange-afstandswaarden vanuit kortere-afstandswaarden die zelf nog onnauwkeurig zijn of nog niet geconvergeerd, wat leidt tot cumulatieve fouten.
Overestimatie via Max-gebaseerde Backups: Standaard Bellman-stijl en transitieve waarde-backups selecteren optimistisch tussen acties of tussenliggende toestanden (bijv. $\max_w V(s, w) \cdot V(w, g)$ ). Met eindige offline data heeft dit selectieproces de neiging om overschatte kandidaten te bevoordelen, waardoor fouten door herhaalde backups worden voortgeplant en grote globale inconsistenties ontstaan.

Bestaande methoden, inclusief hiërarchische benaderingen en standaard transitief leren (zoals Transitive RL of TRL), falen vaak in het expliciet afdwingen van de afhankelijkheidsvolgorde waarbij waarden voor kortere horizonten geleerd moeten worden voordat waarden voor langere horizonten worden geleerd, of ze vertrouwen op ruisige, optimistische selecties die fouten over lange horizonten versterken.

Methodologie: DCRL (Divide-and-Conquer RL)

De auteurs stellen DCRL voor, een algoritme dat expliciet een divide-and-conquer strategie implementeert voor waarde-lering. DCRL adresseert de bovengenoemde uitdagingen via drie kernmechanismen:

1. Recursieve Divide-and-Conquer Structuur

In plaats van trajectsegmenten van willekeurige lengtes onafhankelijk te samplen, deelt DCRL een gesampleerd trajectsegment $(s_i, s_j)$ recursief op in een gebalanceerde binaire boom:

Divide: Een segment wordt op zijn middelpunt $k = \lfloor (i+j)/2 \rfloor$ gesplitst in twee kinderen: $(s_i, s_k)$ en $(s_k, s_j)$ . Deze recursie gaat door totdat enkelvoudige stap-segmenten (bladeren) zijn bereikt.
Conquer: De waardefunctie wordt bottom-up getraind. Bladeren van één stap worden gegrond (bijv. $V(s_i, s_{i+1}) = \gamma$ ). Ouder-nodes worden pas bijgewerkt nadat hun kinderen zijn getraind.
Voordeel: Deze structuur vermindert de slechtst denkbare bootstrap-diepte van lineair ( $O(H)$ ) in standaard methoden naar logaritmisch ( $O(\log_2 H)$ ) ten opzichte van de horizon $H$ . Deze kortere afhankelijkheidsketen komt empirisch overeen met een significant tragere foutaccumulatie.

2. Exacte Route-factorisatie (Selectievrije Updates)

Om overestimatie te voorkomen die wordt veroorzaakt door het maximaliseren over ruisige tussenliggende toestanden, gebruikt DCRL een exacte factorisatie langs de geobserveerde route voor de gedragswaarde $V_\tau$ :
$V_\tau(s, g) = V_\tau(s, w) \cdot V_\tau(w, g)$
waarbij $w$ de vaste middelpunt van het segment is.

In tegen tegenover de standaard transitieve backups die maximaliseren over alle mogelijke $w$ , evalueert deze update regel een enkele route die ondersteund wordt door de dataset.
Dit zorgt ervoor dat het algoritme gedragswaarden leert (waarden van gedemonstreerde routes) zonder selectiebias te introduceren. De auteurs bewijzen dat route-suboptimaliteit groeit onder compositie, wat de noodzaak motiveert om eerst te leren van kortere, minder suboptimale constituerende delen.

3. Waarde-propagatie voor Optimaliteit

Hoewel de recursieve factorisatie betrouwbare gedragswaarden leert, leert het niet inherent kortere, optimale routes die niet aanwezig zijn in het specifieke traject. Om optimale waarden ( $V^*$ ) te herstellen, gebruikt DCRL een tweede doelstelling:

Multistep Propagatie: De waardefunctie wordt getraind met globaal herlabelde doelen (Hindsight Experience Replay stijl) met een upper-expectile loss.
Mechanisme: Deze doelstelling componeert segmenten over verschillende trajecten om kortere routes te identificeren.
Synergie: Het recursieve divide-and-conquer component levert een betrouwbare, ondiepe-afhankelijkheid fundering voor lange-afstand gedragswaarden, die de propagatie-doelstelling vervolgens kan gebruiken om optimale paden samen te stellen.

Implementatie: Parallelle Slot Scheduling

Om deze recursieve training efficiënt uit te voeren zonder de diversiteit van batches op te offeren, gebruikt DCRL slot scheduling:

Meerdere onafhankelijke "slots" onderhouden aparte recursieve bomen voor verschillende root-segmenten.
Elke slot verwerkt zijn boom van bladeren naar wortel.
Tijdens de training worden samples getrokken uit deze slots. Omdat slots op verschillende snelheden leeglopen en worden bijgevuld, bevatten minibatches een mix van segmentlengtes (kort en lang) terwijl de kind-naar-ouder trainingsvolgorde binnen elke slot strikt wordt gehandhaafd.

Belangrijkste Bijdragen

Algoritme: De introductie van DCRL, dat expliciet gebalanceerde binaire bomen construeert over in-traject segmenten, bottom-up training afdwingt via waarde-factorisatie, en slot scheduling gebruikt voor parallelle executie.
Analyse: Een theoretisch bewijs dat DCRL de slechtst denkbare bootstrap-diepte reduceert van lineair naar logaritmisch in de horizon. Empirische analyse in een gecontroleerde omgeving toont aan dat deze kortere afhankelijkheidsstructuur leidt tot substantieel tragere foutaccumulatie vergeleken met lineaire-diepte methoden.
Prestaties: DCRL bereikt state-of-the-art prestaties over diverse offline GCRL benchmarks, inclus\nslief state-based en pixel-based omgevingen. Opvallend genoeg presteert DCRL op de vijf meest uitdagende lange-horizon taken in OGBench aanzienlijk beter (van een gemiddelde score van 55 naar 64), waarmee het zowel flat als hiërarchische baselines overtreft.

Resultaten

Lange-horizon Taken: Op OGBench taken zoals humanoidmaze-giant en complexe puzzelomgevingen presteert DCRL aanzienlijk beter dan eerdere flat methoden (bijv. IQL, TD, TRL) en hiërarchische methoden (bijv. HIQL, SHARSA). Het is de enige flat methode die een niet-nul succes behaalt op de cube-octuple taak.
Foutaccumulatie: In gecontroleerde experimenten (combination-lock omgeving) blijft de Q-fout van DCRL relatief vlak naarmate de horizon toeneemt, terwijl standaard TD en TRL methoden een snelle foutgroei vertonen.
Ablatie Studies: Het verwijderen van de recursieve scheduling (trainen in willekeurige volgorde) veroorzaakt een drastische prestatiedaling (succespercentage daalt van 93% naar 18% in humanoidmaze-giant), wat de noodzaak van de kind-naar-ouder volgorde bevestigt. Het verwijderen van de propagatie-doelstelling degradeert ook de prestaties, wat de noodzaak van zowel gedragslering als optimale waarde-herstel valideert.
Vergelijking met TRL: Hoewel Transitive RL (TRL) vergelijkbare in-traject backups gebruikt, mist het de expliciete recursieve structuur en gebalanceerde scheduling, wat leidt tot een lineaire slechtst denkbare diepte en hogere foutaccumulatie.

Betekenis en Beperkingen

Het artikel claimt dat DCRL een fundament biedt voor het schalen van GCRL naar langere horizonten door de horizon-geïnduceerde foutaccumulatie te verzachten via een gestructureerd, recursief leerproces. Het demonstreert dat het expliciet modelleren van de afhankelijkheidsstructuur van waarde-lering (kortere segmenten vóór langere segmenten) cruciaal is voor stabiliteit in offline settings.

Beperkingen erkend door de auteurs:

Deterministische Dynamica: Net als andere driehoeksongelijkheid-methoden, gaat DCRL uit van deterministische dynamica. In stochastische omgevingen faalt de exacte factorisatie $E[XY] \neq E[X]E[Y]$ over het algemeen.
Hiërarchische Superioriteit in Specifieke Domeinen: Hoewel DCRL uitblinkt in lange-horizon taken zoals humanoidmaze-giant, presteren hiërarchische benaderingen nog steeds beter op cube-manipulation taken, wat suggereert dat taakmoeilijkheid niet uitsluitend een functie is van de horizonlengte en dat hiërarchie in bepaalde contexten nog steeds voordelig kan zijn.

De auteurs identificeren het uitbreiden van recursieve sampling naar stochastische dynamica en het begrijpen van de condities waaronder hiërarchie voordelig blijft als belangrijke richtingen voor toekomstig werk.