Technische Samenvatting: Gezamenlijk Leren van Hiërarchische Neuronale Opties en een Abstract Wereldmodel (AgentOWL)

1. Probleemstelling

Het artikel adresseert de uitdaging om besluitvormende agenten in staat te stellen nieuwe vaardigheden cumulatief te verwerven door bestaande vaardigheden te combineren. Waar het options framework dit formaliseert als het leren van een hiërarchie van beleidsregels (opties) die steeds moeilijkere doelen bereiken, lijden standaard model-vrije hiërarchische versterkingsleer (RL)-benaderingen aan een slechte steekproefefficiëntie. Naarmate het aantal verworven vaardigheden groeit, breidt de effectieve actieruimte zich uit, waardoor beleidsleren voor nieuwe doelen steeds datavriendelijker en onuitvoerbaar wordt.

Het kernprobleem is een afweging: het snel leren van nieuwe vaardigheden versus het aantal reeds verworven vaardigheden. Standaard model-vrije methoden vereisen exponentieel meer steekproeven naarmate het leerproces vordert. De auteurs stellen dat model-gebaseerde RL dit kan oplossen door een wereldmodel te gebruiken om opties te plannen en uit te sluiten voordat ze in de echte wereld worden uitgevoerd. Echter, bestaande benaderingen voor wereldmodellering missen vaak de benodigde data-efficiëntie om complexe dynamieken uit beperkte steekproeven te leren, of ze falen in het bieden van de nodige temporele en statische abstracties om planning uitvoerbaar te maken.

2. Methodologie: AgentOWL

De auteurs stellen AgentOWL (Option and World model Learning Agent) voor, een systeem dat gezamenlijk een set hiërarchische neuronale opties en een abstract wereldmodel op een steekproefefficiënte manier leert.

2.1 Abstract Wereldmodellering

Het systeem maakt gebruik van een Product-of-Experts (PoE-World)-kader om een wereldmodel te leren dat abstraheert over zowel toestanden als tijd.

• Statische Abstractie: In plaats van ruwe pixel-overgangen te voorspellen, voorspelt het model toekomstige abstracte toestanden gedefinieerd door doelpredicaten $f(s) = (g_1(s), g_2(s), \dots)$. Dit reduceert de dimensionaliteit van de voorspellingsopdracht.
• Symbolische Representatie: Het wereldmodel wordt weergegeven als een product van experts, waarbij elke expert een kort symbolisch programma (Python-snippet) is dat wordt gegenereerd door een Large Language Model (LLM). Deze programma's modelleren onafhankelijke causale mechanismen.
• Frame-Axioma Prior: Om steekproefefficiëntie te behouden, integreert het model een "frame-axioma prior". Dit beïnvloedt het model om aan te nemen dat een optie $o_i$ primair zijn corresponderende kenmerk $f_i$ verandert en andere kenmerken $f_j$ ($j \neq i$) niet verandert. Dit wordt geïmplementeerd via Maximum A Posteriori (MAP)-schatting met Gaussische priors, wat de data die nodig is om de overgangsdynamiek te leren, aanzienlijk reduceert.
• Reconstructie: Aangezien het abstracte model $p(f' | s)$ voorspelt, wordt een kernel-dichtheidsschatter (gewichtsfunctie) heuristisch gebruikt om volledige toestanden $s'$ te steekproeven vanuit abstracte toestanden $f'$. Dit stelt de agent in staat te interageren met een gesimuleerde omgeving zonder een volledig parametrisch generatief model te hoeven leren.

2.2 Gezamenlijk Leren van Hiërarchische Opties

AgentOWL traint iteratief om een reeks doelen $\{g_1, \dots, g_n\}$ te beheersen door corresponderende opties $\{o_1, \dots, o_n\}$ te leren.

• LLM-gebaseerde Sub-optie Hypothese: Wanneer een agent een nieuw doel $g$ moet bereiken maar geen directe optie heeft, wordt een LLM geprompt om een nieuwe sub-optie $o_{h \to g}$ te hypothetiseren. De LLM kiest een precondition $h$ (een eerder geleerd sub-doel) uit de bestaande set opties $\Omega$ die als tussenstap kan dienen. Deze nieuwe optie en haar hypothetische wereldmodel worden aan het systeem toegevoegd.
• Model-gebaseerde Exploratie: De agent leert een beleidsregel $\pi_{wm}$ binnen het abstracte wereldmodel met behulp van Deep Q-Learning (DQN). Deze beleidsregel dient als een exploratiegids voor de beleidsregel in de echte wereld $\pi_{real}$. De gecombineerde beleidsregel wordt gedefinieerd als $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$. De exploratiefactor $\epsilon$ wordt afgekoeld van 1 naar 0, waardoor de agent kan overgaan van model-gebaseerde planning naar volledig model-vrij leren naarmate de beleidsregel in de echte wereld stabiliseert.
• Stabiele Hiërarchische Training: Om de non-stationariteit te mitigeren die wordt veroorzaakt door het trainen van lagergelegen opties (wat de omgeving verandert die door hogergelegen opties wordt gezien), hanteert het systeem een stabilisatiemechanisme. Data uit episodes wordt alleen aan de replay-buffer toegevoegd voor training als alle in die episode uitgevoerde sub-opties "stabiel" zijn (d.w.z. ze zijn getraind op voldoende steekproeven $n > n_{threshold}$ en hebben een hoge doelvoltooiingsgraad $\delta > \delta_{threshold}$).

3. Belangrijkste Bijdragen

1. AgentOWL Framework: Een nieuwe architectuur die gezamenlijk hiërarchische neuronale opties en een abstract wereldmodel leert, wat steekproefefficiënte vaardigheidsverwerving mogelijk maakt.
2. Abstract Wereldmodel met Symbolische Programma's: De integratie van PoE-World met door LLM gegenereerde symbolische programma's maakt het mogelijk complexe, temporeel abstracte dynamieken te leren uit zeer weinig data, waardoor de "één-stap-valstrik" van laag-niveau modellen wordt overwonnen.
3. LLM-gedreven Optieontdekking: Een methode om LLM's te gebruiken voor het hypothetiseren van nieuwe sub-opties (precondities) op basis van bestaande vaardigheden, waardoor het curriculum van vaardigheidsverwerving effectief wordt geautomatiseerd zonder dat handmatige engineering van sub-doelen nodig is.
4. Stabiele Hiërarchische DQN: Een trainingsprocedure die het leren van diepe optiehiërarchieën stabiliseert door data te filteren op basis van de stabiliteit van sub-opties, waarmee het non-stationariteitsprobleem dat inherent is aan hiërarchische RL wordt aangepakt.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie objectgerichte Atari-spellen (OCAtari) die bekend staan om hun moeilijke exploratie: Montezuma's Revenge, Pitfall en Private Eye.

• Efficiëntie van Vaardigheidsverwerving: AgentOWL beheerste een aanzienlijk groter deel van de opties met minder omgevingstappen in vergelijking met baselines, waaronder Rainbow DQN, Goal-conditioned DQN en Hiërarchische DQN (zonder wereldmodel). Waar baselines plateauerden bij een laag aantal beheerste vaardigheden, bleef AgentOWL complexe vaardigheden verwerven.
• Generalisatie naar Moeilijke Doelen: Kwalitatieve analyse toonde aan dat baselines faalden bij het verwerven van opties voor moeilijke doelen (bijvoorbeeld het bereiken van specifieke kamers in Pitfall) omdat ze de benodigde lange actiesequenties niet konden ontdekken. AgentOWL plande deze sequenties succesvol abstract en voerde ze hiërarchisch uit.
• Impliciet Leren: Experimenten toonden aan dat AgentOWL sub-opties impliciet verbetert, zelfs wanneer alleen beloning wordt gegeven voor een hoger niveau doel. Sub-opties die nuttig waren voor het doeltoelaten toonden een toegenomen succespercentage, terwijl irrelevante opties dat niet deden.
• Zero-Shot Generalisatie: In een experiment met een nieuwe starttoestand kon AgentOWL bestaande opties combineren om eerder beheerste doelen te bereiken zonder extra training, mits het één nieuwe optie kreeg om van de nieuwe start naar de oorspronkelijke starttoestand te navigeren. Baselines die het abstracte wereldmodel en hiërarchische compositie misten, faalden bij zero-shot aanpassing.

5. Betekenis en Claims

Het artikel stelt dat optieleer en wereldmodelleer diep met elkaar verweven zijn. Door een abstract wereldmodel te leren dat de effecten van opties vastlegt, kan de agent efficiënt plannen, wat op zijn beurt de ontdekking en verfijning van nieuwe vaardigheden faciliteert.

De auteurs benadrukken dat AgentOWL demonstreert:

• Steekproefefficiëntie: Het bereiken van complexe vaardigheidshiërarchieën met aanzienlijk minder data dan model-vrije baselines.
• Compositional Generalisatie: Het vermogen om geleerde vaardigheden te combineren om nieuwe problemen op te lossen (zero-shot generalisatie) en impliciet sub-vaardigheden te leren die nodig zijn voor hoger niveau doelen.
• Schaalbaarheid van Planning: Het gebruik van abstracte, temporeel uitgebreide modellen maakt planning over lange horizonnen mogelijk die onuitvoerbaar zouden zijn voor laag-niveau modellen.

Het artikel concludeert dat hoewel er huidige beperkingen bestaan (zoals de noodzaak van geordende doelreeksen en symbolische inputs), de aanpak een veelbelovende richting aangeeft voor het bouwen van agenten die hun kennis en capaciteiten cumulatief kunnen uitbreiden via de wisselwerking tussen vaardigheidsverwerving en wereldmodellering.