Technische Samenvatting: Adaptieve Grof-naar-Fijn Subdoelverfijning voor Lange-Horizon Offline Doel-Gespecificeerde Versterkende Leer

1. Probleemstelling

Offline Doel-Gespecificeerde Versterkende Leer (GCRL) streeft er naar beleidsregels te leren die diverse doelen bereiken vanuit een vast dataset van trajecten, zonder verdere interactie met de omgeving. Hoewel dit effectief is voor taken met een korte horizon, staat deze setting voor aanzienlijke uitdagingen bij taken met een lange horizon.

De primaire moeilijkheid vloeit voort uit waarde-schatting over een lange horizon. Onder schaarse beloningen voor het bereiken van doelen bieden verre staat-doelparen zwakke directe supervisie. Bijgevolg moet de waardenfunctie doelinformatie doorgeven via vele gebootstrapte updates. Naarmate de temporele afstand toeneemt, hopen benaderingsfouten zich op langs de back-upketen, wat leidt tot onnauwkeurige evaluaties van verre doelen. Het direct trainen van een vlakke, doel-gespecificeerde beleidsregel op deze ruisachtige waarde-schattingen resulteert in onbetrouwbare besluitvorming over een lange horizon.

Bestaande hiërarchische methoden proberen dit te mitigeren door tussenliggende subdoelen in te voeren, waardoor het bereiken over een lange horizon wordt gereduceerd tot een reeks beslissingen over een kortere afstand. Deze methoden vertrouwen echter vaak op vaste temporele abstracties (bijv. vaste subdoel-horizons) of vaste hiërarchiedieptes. Dergelijke vaste schalen komen vaak niet overeen met staat-doelparen met variërende bereikbaarheidshorizons:

• Te lokale subdoelen kunnen slechts marginale vooruitgang boeken, waarbij kleine waardeverschillen worden gedomineerd door schattingsfouten over een lange horizon, wat leidt tot misleidende keuzes.
• Te verre subdoelen kunnen buiten het betrouwbare uitvoeringsbereik van het laag-niveau beleid vallen.

De kernvraag die wordt behandeld, is of een offline hiërarchisch agent adaptief een geschikt tussenliggend doel kan identificeren voor elk specifiek staat-doelpaar, in plaats van te vertrouwen op een voorgeschreven decompositieschaal.

2. Methodologie: CFHRL

De auteurs stellen Coarse-to-Fine Hierarchical Goal Reinforcement Learning (CFHRL) voor, een volledig offline GCRL-raamwerk dat verre doelen adaptief verfijnt voordat ze worden uitgevoerd. Het raamwerk werkt volgens het principe dat een subdoel geen exact middelpunt of globaal optimaal hoeft te zijn; het moet alleen betrouwbare vooruitgang bieden en de resterende moeilijkheid van het bereiken verminderen.

2.1 Kerncomponenten

CFHRL maakt gebruik van drie geleerde beleidsregels die worden gecoördineerd door een gedeelde bereikbaarheidskostenfunctie $D_\phi(s, g)$, afgeleid van een doel-gespecificeerde waardenfunctie:

1. Verfijningsplanner ($\pi_p$): Stelt tussenliggende doelen $u$ voor, voorwaardelijk op de huidige staat $s$ en het huidige plandoel $g$.
2. Abstractiebeleid ($\pi_z$): Koppelt het verfijnde doel $\bar{g}$ aan een lokaal commando $z$.
3. Laag-niveau Beleid ($\pi_a$): Koppelt het commando $z$ aan primitieve acties $a$.

2.2 Adaptieve Grof-naar-Fijn Verfijning

In plaats van een vaste hiërarchie, hanteert CFHRL een recursief verfijningsproces met een adaptieve stopregel:

1. Initialisatie: Start met het einddoel $g^{(0)} = g$.
2. Uitvoerbaarheidcontrole: Op verfijningsniveau $\ell$, controleer of het huidige doel $g^{(\ell)}$ lokaal uitvoerbaar is vanuit staat $s$ met behulp van een geleerde bereikbaarheidskosten:
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   waarbij $\epsilon_{exec}$ een drempelwaarde is.
3. Verfijningslus: Als aan de voorwaarde wordt voldaan, stopt de verfijning en wordt $g^{(\ell)}$ doorgegeven aan de uitvoeringsmodule. Anders stelt de planner een nieuw tussenliggend doel voor $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$, wat het volgende doel wordt $g^{(\ell+1)}$.
4. Beëindiging: Het proces herhaalt zich totdat het doel lokaal bereikbaar is of een maximale diepte $K_{max}$ is bereikt.

Deze mechanisme zorgt ervoor dat de effectieve decompositiediepte wordt bepaald door de geschatte bereikbaarheid van elk staat-doelpaar, en niet door een vaste temporele schaal.

2.3 Offline Leren van de Verfijningsplanner

De planner wordt volledig getraind vanuit offline data, zonder online interactie of handmatig gelabelde subdoelen:

• Constructie van Kandidaten: Voor een staat $s_t$ en doel $g$ wordt een set kandidaat-subdoelen $\mathcal{C}_D$ gesampled uit het offline dataset (toekomstige staten als $g$ zich in hetzelfde traject bevindt, anders uit de replay-verdeling).
• Scoren: Kandidaten worden gescoord door de bottleneck-bereikbaarheidskosten:
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  Deze metriek geeft de voorkeur aan kandidaten die de maximale resterende horizon inkrimpen.
• Trainingsdoel: De planner wordt getraind via waarde-gestuurde gewekte imitatie. Kandidaten worden gewogen door een softmax over hun negatieve scores, waardoor de planner wordt aangemoedigd om door replay-ondersteunde subdoelen na te bootsen die het probleem decomponeren in eenvoudigere resterende bereikingsproblemen.

2.4 Uitvoeringsbeleidsregels

De abstractie- en laag-niveau beleidsregels worden getraind met voortgangs-gewekte behavior cloning op segmenten met een korte horizon. Overgangen die de geleerde waarde naar een lokaal doel verhogen, krijgen hogere imitatiegewichten, waardoor de beleidsregels worden bevooroordeeld ten gunste van lokaal progressief gedrag.

3. Theoretische Analyse

Het artikel biedt een gestileerde analyse om te rechtvaardigen waarom adaptieve verfijning robuuster is dan de selectie van een vaste lokale schaal onder ruisachtige schattingen:

• Mislukking van Vaste Schaal: In een hiërarchie met vaste lokale schaal, neemt naarmate de totale horizon $T$ toeneemt, het signaal-ruisverhouding voor het onderscheiden tussen correcte en incorrecte lokale bewegingen af tot nul. De waarschijnlijkheid om het verkeerde kandidaat te selecteren nadert 0,5 naarmate $T \to \infty$.
• Voldoende Benaderende Inkrimping: De analyse toont aan dat exacte voorspelling van het middelpunt niet nodig is. Het is voldoende dat de geleerde kostenfunctie een ruwe marge behoudt tussen kandidaten die de horizon inkrimpen (de resterende afstand reduceren met een constante factor $\rho < 1$) en diegene die dit niet doen.
• Foutgrenzen: De waarschijnlijkheid van algehele mislukking wordt begrensd door de som van verfijningsmislukkingen (falen om een inkrimpend subdoel te selecteren) en fouten bij de uiteindelijke lokale uitvoering. Dit motiveert de stopregel op basis van waardeer-drempels: verfijn zolang het doel te ver weg is, en stop zodra het doel lokaal uitvoerbaar wordt geschat.

4. Experimentele Resultaten

De auteurs evalueren CFHRL op OGBench, een benchmark voor offline doel-gespecificeerde controle, die locomotie (PointMaze, AntMaze, HumanoidMaze, AntSoccer) en manipulatie (Cube, Scene) taken omvat.

• Prestaties: CFHRL behaalt de hoogste geaggregeerde score (37,5) in vergelijking met baselines zoals HIQL (23,2), GCIVL (16,5) en vlakke methoden.
• Winsten bij Lange Horizon: De meest significante verbeteringen worden waargenomen in taken met een lange horizon in de stijl van doolhoven (bijv. PointMaze-Giant-Stitch), waarbij CFHRL de successpercentages verbetert van 0% (voor vlakke/vaste-hiërarchie baselines) naar 57%.
• Ablatiestudies:
  • Adaptieve Stop: Het verwijderen van de adaptieve stopregel en het forceren van vaste verfijningsdieptes ($K=2, 3$) verslechtert de prestaties, wat bevestigt dat excessieve verfijning plannerfouten ophoopt.
  • Noodzaak van Planner: Het vervangen van de geleerde planner door willekeurige dataset-subdoelen resulteert in mislukking, wat bewijst dat subdoelen moeten worden geselecteerd op basis van geleerde bereikbaarheidskosten.
  • Kandidaatbegroting: Het verhogen van het aantal trainingskandidaten ($N_c$) verbetert de prestaties tot op een punt ($N_c=16$), waarbij supervisie-kwaliteit en trainingsdoorvoer in evenwicht worden gebracht.
• Beperkingen: CFHRL scoort slechter op manipulatie-taken met veel contact (Cube) in vergelijking met vlakke op waarde gebaseerde methoden, wat suggereert dat waypoint-achtige decompositie minder effectief is voor taken die precieze contactdynamica vereisen.

5. Betekenis en Beweringen

Het artikel claimt drie primaire bijdragen:

1. Formulering: Het formuleert lange-horizon offline GCRL als adaptieve stop-tijd subdoelverfijning, waarbij de decompositiediepte wordt bepaald door geleerde uitvoerbaarheid en niet door een vaste horizon.
2. Algoritme: Het introduceert een replay-ondersteunde inkrimpingsdoelstelling die een geamortiseerde verfijningsplanner traint zonder test-tijd graafzoektocht of online interactie te vereisen.
3. Validatie: Het levert zowel een gestileerde analyse als empirische ablaties die aantonen dat benaderende inkrimping en adaptieve stop het bereiken van doelen over een lange horizon in doolhof-achtige omgevingen effectief verbeteren.

De auteurs houden een bescheiden standpunt aan, waarbij zij erkennen dat de methode afhankelijk is van de kwaliteit van de geleerde bereikbaarheidskosten en dat de huidige abstractie-interface (simpele lokale doelrepresentaties) mogelijk onvoldoende is voor complexe manipulatie-taken die precieze contactsequenties vereisen. Zij suggereren dat toekomstig werk zich moet richten op het combineren van adaptieve planning met rijkere object-gerichte abstracties en het uitbreiden van het raamwerk naar andere offline GCRL-waarde-schatters.