Technische Samenvatting: Abstractie voor Offline Doel-Geconditioneerde Versterkingsleer

Probleemstelling

Offline Doel-Geconditioneerde Versterkingsleer (GCRL) beoogt algemene agenten te trainen om complexe, langdurige taken op te lossen met behulp van statische datasets. Echter, bestaande methoden hebben moeite in gebieden waar de dataset lijdt aan transitions van lage kwaliteit of een imperfecte dekking van de ruimte van toestanden en acties. Standaard vlakke offline RL-algoritmen, die acties regulariseren naar de dataset-distributie om distributieverandering te mitigeren, falen vaak bij het herstellen van optimale beleidslijnen wanneer de dataset suboptimale data bevat in kritieke gebieden. Hoewel hiërarchische beleidslijnen (opties) zijn voorgesteld om de effectieve horizon te verkorten (temporale abstractie), zijn ze traditioneel verankerd in het absolute referentiekader, wat hun vermogen beperkt om ervaring opnieuw te gebruiken over vergelijkbare maar onderscheiden contexten heen.

Methodologie: Abstractive Reinforcement Learning (ARL)

De auteurs stellen Abstractive Reinforcement Learning (ARL) voor, een raamwerk dat hiërarchie uitbreidt om absolute abstractie mogelijk te maken. Dit omvat het leren van gerelativeerde opties en het gebruik van onderscheiden representaties op verschillende niveaus van de hiërarchie. De kernpremissie is dat door lage-niveau acties te ontkoppelen van redundante hoge-niveau informatie en opties te definiëren ten opzichte van de lokale context van de agent (bijvoorbeeld "vooruit bewegen" in plaats van "naar coördinaat X bewegen"), een agent gedrag kan generaliseren over vergelijkbare contexten in de toestandsruimte.

Het raamwerk introduceert twee specifieke noties van gelijkenis:

1. Hoge-niveau gelijkenis: Toest-doelparen die vergelijkbare opties induceren.
2. Lage-niveau gelijkenis: Toest-optieparen die vergelijkbare directe acties induceren.

Om dit operationeel te maken, stellen de auteurs twee algoritmen voor:

1. ARLi (Impliciet Leren van Gerelativeerde Opties)

Dit algoritme leert gerelativeerde opties via actiegelijkenis in plaats van waardegelijkenis.

• Architectuur: Het maakt gebruik van twee onderscheiden waardenfuncties: een hoge-niveau waardenfunctie ($V_h$) en een lage-niveau waardenfunctie ($V_l$).
• Optie-Leren: In tegenstelling tot eerdere hiërarchische methoden (bijvoorbeeld HIQL) die optie-embeddings leren via de waardenfunctie, leert ARLi optie-embeddings ($\phi_\omega$) gezamenlijk met het lage-niveau beleid ($\pi_l$). Dit moedigt het groeperen van toest-wegpunt-paren aan die vergelijkbare lage-niveau acties induceren.
• Training: Het maakt gebruik van Implicit Q-Learning (IQL) voor waarde-leren en Advantage-Weighted Regression (AWR) voor beleidsextractie. Het hoge-niveau beleid steekt opties aan op basis van de hoge-niveau waarde, terwijl het lage-niveau beleid acties uitvoert die conditioned zijn op de toestand en de gestoken optie.

2. ARLe (Expliciet Afdwingen van Translatie-Invariantie)

Dit algoritme bouwt voort op ARLi door translatie-invariantie expliciet op te leggen aan het lage-niveau besluitvormingsproces, specifiek voor hoog-dimensionele manipulatie-taken.

• Gerelativeerde Toestanden: Het definieert de lage-niveau waardenfunctie in termen van niet-genormaliseerde verplaatsingsvectoren ($v = g_s - s$), waardoor de ruimte van toest-wegpunten effectief instort tot een manifold van relatieve verplaatsingen.
• Optie-Embeddings: Opties worden gedefinieerd in termen van deze gerelativeerde toestanden. De auteurs gebruiken een "soft-normalisatie"-techniek om deze embeddings op een hypersfeer af te beelden, wat geometrische regularisatie mogelijk maakt terwijl impliciet temporale bewustwording behouden blijft (de grootte schaalt met de verplaatsing).
• Doel: Deze inductieve bias stelt de agent in staat om ervaring opnieuw te gebruiken over de toestandsruimte door geometrisch vergelijkbare relatieve configuraties als equivalent te behandelen, waarmee problemen van schaarse toestandsdekking in hoog-dimensionele ruimtes worden aangepakt.

Belangrijkste Bijdragen

1. Motivatie voor Absolute Abstractie: Het artikel betoogt dat hiërarchie in offline RL niet alleen de temporale horizon moet verkorten, maar ook absolute abstractie moet mogelijk maken. Door het gebruik van gerelativeerde opties en onderscheiden representaties, kunnen agenten de maximale fout in de verwachte opbrengst beperken ten opzichte van vlakke beleidslijnen, met name in gebieden met data van lage kwaliteit.
2. Theoretische Foutgrenzen: De auteurs leveren een afleiding die aantoont dat hiërarchische beleidslijnen met absolute abstractie de foutgrens reduceren via vier mechanismen:
   • Horizon-Reductie: Het verkleinen van de effectieve disconteringsfactor voor het hoge-niveau beleid.
   • Cardinaliteitsreductie: Het mappen van toest-doelparen naar equivalentieklassen.
   • Optie-efficiëntie: Het verkleinen van de optieruimte-grootte via gerelativeering.
   • Verbetering van Concentreerbaarheid: Het aggregeren van waarschijnlijkheidsmassa over vergelijkbare contexten, waardoor de concentratiecoëfficiënt ($\kappa$) wordt verkleind en steekproefmismatch wordt mitigeerd.
3. Twee Nieuwe Algoritmen: De introductie van ARLi en ARLe, die aantonen dat het leren van opties via actiegelijkenis en het afdwingen van translatie-invariantie de prestaties aanzienlijk verbetert zonder extra hyperparameters in te voeren.
4. Praktische Richtlijnen: Het werk biedt specifieke aanbevelingen voor praktijkmensen, zoals het leren van opties via actiegelijkenis (gezamenlijk met het lage-niveau beleid), het gebruik van twee waardenfuncties om besluitvormingsprocessen te ontkoppelen, en het opleggen van translatie-invariantie voor hoog-dimensionele manipulatie.

Experimentele Resultaten

De auteurs evalueerden ARLi en ARLe op de OGBench-datasets, met focus op uitdagende locomotie- en manipulatie-omgevingen (bijvoorbeeld antmaze-giant, humanoidmaze-giant, puzzle-4x4-play).

• Prestaties: Beide ARL-varianten presteerden beter dan vlakke beleidslijnen (IQL) en absolute hiërarchische baselines (HIQL-varianten). Over alle taken heen bereikte ARL een gemiddeld slagingspercentage dat ten minste 10 procentpunten hoger was dan de benchmarks.
• Specifieke Winsten:
  • ARLi: Verbeterde consequent op hiërarchische benchmarks, waarbij het slagingspercentage in humanoidmaze-omgevingen meer dan verdubbelde en bijna verdubbelde voor scene-play-v0.
  • ARLe: Toonde superieure prestaties in hoog-dimensionele manipulatie-taken. In puzzle-4x4-play-v0 (83 dimensies) bereikte ARLe een slagingspercentage van 88%, wat 39 procentpunten hoger was dan de volgende beste benchmark.
• Generalisatie: Analyse toonde aan dat prestatieverbeteringen correleerden met toenemende toestandsdimensionaliteit en dataschaarste. ARLe, in het bijzonder, leerde aanzienlijk gladdere lage-niveau waardenfuncties door equivalente relatieve toestanden te laten instorten.
• Robuustheid: De algoritmen behaalden deze resultaten met hyperparameters die waren afgestemd voor de baseline HIQL, wat aantoont dat de prestatiewinsten voortkomen uit de inductieve biases in plaats van uitgebreide tuning.

Betekenis en Claims

Het artikel claimt dat hiërarchie robuustere beleidsextractie mogelijk maakt in gebieden waar datasets lijden aan transitions van lage kwaliteit. Door af te zien van het absolute referentiekader, kunnen agenten optimale ervaring opnieuw gebruiken over vergelijkbare contexten, waardoor de beperkingen van offline data-dekking effectief worden mitigeerd.

De auteurs positioneren dit werk als een proof of concept dat onderscheiden representaties op verschillende hiërarchieniveaus de generalisatie in offline GCRL kunnen verbeteren. Ze stellen expliciet dat hoewel de huidige resultaten veelbelovend zijn, de aanpak nieuwe wegen opent voor toekomstig onderzoek, zoals:

• Het leren van gerelativeerde opties via actiestukken (action chunking).
• Het incorporeren van flexibeler inductieve biases met behulp van Geometric Deep Learning (GDL).
• Het aanpakken van beperkingen waar de inductieve bias (bijvoorbeeld translatie-invariantie) mogelijk niet overeenkomt met de omgevingsstructuur (bijvoorbeeld dichte, laag-dimensionele doolhoven).

Het werk claimt niet alle uitdagingen van offline RL op te lossen, maar demonstreert dat specifieke structurele biases (gerelativeering en onderscheiden representaties) de beleidsgeneralisatie in hoog-dimensionele settings aanzienlijk kunnen versterken zonder de noodzaak van complexe hyperparametertuning.