Technische Samenvatting: Test-Tijd Graafzoek voor Doel-Geconditioneerde Versterkende Leer

Probleemstelling

Offline doel-geconditioneerde versterkende leer (GCRL) heeft als doel agenten te trainen om door gebruikers gespecificeerde doelen te bereiken met behulp van vooraf verzamelde datasets, waardoor de kosten en veiligheidsrisico's van online interactie worden vermeden. Hoewel effectief voor taken met een gemiddelde horizon, falen standaard offline GCRL-beleidsregels vaak bij taken met een lange horizon. In complexe omgevingen (bijv. grote labyrinten) hopen fouten in waarde-schattingen zich op, wat leidt tot onbetrouwbare beleidsregels die gedrag uit verschillende delen van de dataset niet kunnen samenvoegen.

Vorige oplossingen voor dit probleem hebben aanzienlijke complexiteit geïntroduceerd, zoals computationeel intensieve generatieve planners, het trainen van ensemble's van distributieve waardenfuncties, het gebruik van gespecialiseerde geometrische representaties, of het vertrouwen op aanvullende data buiten de offline dataset. Deze benaderingen opereren vaak onder de aanname dat standaard doel-geconditioneerde waardenfuncties inherent te luidruchtig of onbetrouwbaar zijn om directe planning over een lange horizon te ondersteunen.

Methodologie: Test-Tijd Graafzoek (TTGS)

De auteurs stellen Test-Tijd Graafzoek (TTGS) voor, een lichtgewicht, trainingsvrije planningswrapper die is ontworpen om bevroren GCRL-beleidsregels te versterken. TTGS werkt uitsluitend tijdens de testfase en vereist geen extra supervisie, parameterupdates of online interactie.

Kerncomponenten

1. Graafconstructie:

   • Een subset van toestanden wordt uit de offline dataset gehaald om te dienen als graafknopen.
   • Een afstandssignaal wordt gebruikt om gewichten toe te wijzen aan de randen tussen deze knopen. Dit signaal kan worden afgeleid uit:
     • Waarde-afgeleide afstanden: Het mappen van de vooraf getrainde doel-geconditioneerde waardenfunctie $V(s, g)$ naar een geschat aantal stappen $\hat{d}(s, g)$. Het artikel biedt gesloten-vorm mappen voor gangbare beloningsconventies (bijv. schaarse terminale beloningen of per-stap straffen).
     • Domeinspecifieke afstanden: Het gebruik van geometrische metrieken zoals de Eucledische afstand tussen lichaamsposities wanneer beschikbaar.
   • Zachte Strafmechanisme: Om het probleem op te lossen dat waardenfuncties connectiviteit overschatten (door "wormgaten" over gaten te creëren), hanteert TTGS een superlineaire straf functie $p(\cdot)$ voor overgangen die een vertrouwensregio-drempel $\tau$ overschrijden. Randen met afstanden $D_{ij} < \tau$ behouden hun ruwe afstand, terwijl die met $D_{ij} \ge \tau$ een gewicht $p(D_{ij})$ krijgen (bijv. $x \cdot 1000^{x/\tau}$). Dit behoudt de lokale meetkundige structuur terwijl de planner wordt gestuurd naar ketens van korte, betrouwbare sprongen, waardoor wordt voorkomen dat de grafiek fragmenteert (zoals een harde drempel zou doen) of dat onhaalbare lange sprongen worden toegestaan.

2. Test-Tijd Plannen:

   • Kortste-Pad Zoeken: Gegeven een starttoestand $s_0$ en een doel $g$, lokaliseert het algoritme de dichtstbijzijnde knopen in de grafiek en berekent een kortste pad met behulp van het algoritme van Dijkstra. Dit leidende pad wordt één keer per episode berekend.
   • Adaptieve Subdoel Selectie: Tijdens uitvoering volgt de agent het pad niet blindelings. In plaats daarvan selecteert het een subdoel uit het vooraf berekende pad op basis van een stappenbudget $T$. De agent identificeert het verste waypoint op het pad dat binnen het budget $T$ ligt vanaf de huidige toestand. Als zo'n waypoint niet bestaat, selecteert het het volgende directe waypoint om vooruitgang te garanderen.
   • Beleidsuitvoering: De bevroren basisbeleid $\pi(a | s, \tilde{g})$ wordt opgeroepen met de huidige toestand en het geselecteerde subdoel $\tilde{g}$.

Diagnostisch Hulpmiddel

Het artikel introduceert een grootste sprong ratio ($\rho$) als een rollout-vrije diagnose om te voorspellen of TTGS nuttig zal zijn voor een nieuwe taak. $\rho$ is de ratio van de maximale randkosten langs het geplande pad tot de totale geschatte afstand. Een lage $\rho$ duidt op voldoende tussenliggende toestandsdekking (gunstig voor TTGS), terwijl een hoge $\rho$ suggereert dat de dataset ontbrekende overbruggende toestanden mist, in welk geval TTGS terugvalt op het gedrag van de basisbeleid.

Belangrijkste Bijdragen

1. Herwaardering van Waardenfuncties: De auteurs tonen aan dat standaard offline GCRL-waardenfuncties, die eerder als te onbetrouwbaar voor zoekopdrachten werden beschouwd, voldoende lokale geometrische structuur coderen voor robuuste planning over een lange horizon wanneer ze worden verwerkt met een nieuw zacht-strafmechanisme.
2. Trainingsvrij Kader: TTGS biedt een methode om de prestaties over een lange horizon te verbeteren door bestaande beleidsregels en waardenfuncties opnieuw te gebruiken zonder de trainingspijplijn te wijzigen, en vereist geen extra supervisie of online interactie.
3. Prestaties met Minimale Overhead: Empirische resultaten tonen aan dat TTGS de successpercentages aanzienlijk verhoogt voor state-of-the-art offline GCRL-agenten (HIQL, QRL, GCIQL, SAW, OTA) met verwaarloosbare computationele overhead (planningstijd < 1 seconde per episode).

Experimentele Resultaten

De methode werd geëvalueerd op de OGBench benchmark, die locomotie (pointmaze, antmaze, humanoidmaze) en manipulatie taken omvat.

• Locomotie Taken: TTGS behaalde aanzienlijke winsten op lange-horizon "stitch"-taken waar basisbeleidsregels typisch falen.
  • Op pointmaze-giant-stitch-v0 verbeterden de successpercentages voor HIQL van 0,0% naar 80,9%, en voor GCIQL van 0,0% naar 98,0%.
  • Op humanoidmaze-giant-stitch-v0 verbeterde HIQL van 4,4% naar 78,1%.
  • Deze verbeteringen kwamen vaak overeen met of overtroffen complexe methoden die aanvullende training of generatieve modellen vereisen.
• Manipulatie Taken: Bij taken waarbij evaluatiedoelen buiten de datamanifold liggen (bijv. scene-play-v0), bood TTGS minimale winsten (0–2 procentpunten) maar degradeerde de prestaties niet, en keerde correct terug naar het basisbeleid wanneer tussenliggende toestanden ontbraken.
• Ablaties:
  • Zachte versus Harde Straffen: Het verwijderen van de zachte straf (het gebruik van ruwe afstanden) of het gebruik van een harde drempel (het verwijderen van lange randen) degradeerde de prestaties aanzienlijk op stitch-taken als gevolg van grafiekverbindingen of onhaalbare paden.
  • Subdoel Selectie: De adaptieve strategie om het verste bereikbare waypoint te selecteren, presteerde beter dan een eenvoudigere strategie om altijd het directe volgende waypoint te kiezen.
  • Afstandsbronnen: TTGS werkte effectief met zowel waarde-afgeleide afstanden als eenvoudige Eucledische lichaamspositie-afstanden, wat flexibiliteit aantoont.

Betekenis en Beweringen

Het artikel beweert dat de extra complexiteit die vaak als noodzakelijk wordt beschouwd voor planning over een lange horizon, vaak onnodig is. Door gebruik te maken van de latente geometrische structuur die al aanwezig is in standaard waardenfuncties en een lichtgewicht graafzoekopdracht toe te passen tijdens de testfase, kunnen practitioners de capaciteiten van bestaande offline GCRL-agenten aanzienlijk uitbreiden.

De auteurs benadrukken dat TTGS een conservatieve, veilige planningswrapper is: het vertrouwt uitsluitend op opgehaalde dataset-toestanden, waardoor de synthese van fysiek onmogelijke trajecten die gangbaar zijn bij generatieve benaderingen wordt vermeden. Wanneer de offline data de nodige tussenliggende toestanden mist om het begin en het doel te overbruggen, keert TTGS op een elegante manier terug naar het gedrag van de basisbeleid in plaats van onbetrouwbare plannen te produceren. Het werk suggereert dat waarden-gebaseerde GCRL-agenten vaak nuttige geometrische structuur ongebruikt laten, en TTGS biedt een recept om deze structuur te herstellen voor planning over een lange horizon zonder opnieuw te trainen.