Technische Samenvatting: S3 – Stabiele Subdoelselectie door het Beperken van Onzekerheid in Grove Dynamiek binnen Hiërarchisch Reinforcement Learning

1. Probleemstelling

Hiërarchisch Reinforcement Learning (HRL) adresseert taken met lange tijdshorizonten en complexe structuren door strategische planning (hoog niveau "Manager") te scheiden van primitieve uitvoering (laag niveau "Worker"). Hoewel effectief, staat HRL voor een kritieke uitdaging: niet-stationariteit en ijle feedback (sparse feedback).

• Niet-stationariteit: De hoog-niveau agent moet leren subdoelen toe te wijzen terwijl de capaciteiten van de laag-niveau agent evolueren, en vice versa. De laag-niveau agent wordt geconfronteerd met veranderende subdoel-toewijzingen, terwijl de hoog-niveau agent te maken krijgt met een veranderend executielandschap.
• IJle feedback: De hoog-niveau agent ontvangt vertraagde, ijle extrinsieke beloningen pas bij voltooiing van de taak, wat exploratie inefficiënt maakt.
• Huidige beperkingen: Bestaande methoden zoals Hindsight Experience Replay (HER) of bereikbaarheidsbeperkingen (bijv. HRAC) behandelen de laag-niveau policy vaak als stationair of richten zich op bereikbaarheid zonder rekening te houden met de voorspelbaarheid van de uitkomst. Zij pakken symptomen van niet-stationariteit aan in plaats van de fundamentele behoefte van de Manager om subdoelen te selecteren die niet alleen bereikbaar zijn, maar ook voorspelbaar gezien de huidige competentie van de Worker.

Het kernproblein is hoe de hoog-niveau agent voorspelbare subdoelselectie kan uitvoeren die rekening houdt met de stochasticiteit en onzekerheid van de laag-niveau uitvoering, om zo het leerproces te stabiliseren.

2. Methodologie: Stabiele Subdoelselectie (S3)

De voorgestelde aanpak, S3, introduceert een dynamica-bewust intrinsiek beloningsmechanisme voor de hoog-niveau agent. De kernfilosofie is dat de Manager gemotiveerd moet worden om subdoelen te selecteren die de Worker met hoge zekerheid kan uitvoeren, waardoor de "grove dynamiek" van de omgeving effectief wordt gemodelleerd.

2.1 Grove Dynamiek en Voorspellende Onzekerheid

In plaats van primitieve transities te modelleren, modelleert S3 grove dynamiek: de transitie van staat $s_t$ naar een landingsstaat $s_{t+c}$ nadat de laag-niveau agent een subdoel $g_t$ gedurende een vaste temporele horizon $c$ heeft uitgevoerd.

• Doel: Het minimaliseren van de voorspellende onzekerheid van deze grove transities.
• Ratio: Als de laag-niveau agent onzeker is over het bereiken van een specifiek subdoel (bijv. door een nauwe deur glippen), moet de hoog-niveau agent dit vermijden. Omgekeerd, als de uitkomst voorspelbaar is (bijv. het bereiken van een kruispunt in een gang), wordt dit subdoel geprefereerd. Dit bevordert een "risicomijdende" subdoelselectie.

2.2 Intrinsieke Beloning via Potentieel-gebaseerde Shaping

Om dichte feedback te bieden zonder de optimale policy te veranderen, gebruikt S3 Potential-Based Reward Shaping (PBRS).

• Potentiële Functie ($\Phi$): Gedefinieerd over de dispersie (variantie) van de distributie van de grove dynamiek.
• Intrinsieke Beloning ($r_{int}$): Berekend als het verschil in potentieel tussen tijdstappen:
  $$r_{int}^{hi} = \gamma \Phi(s_{t+c}, g_{t+c}) - \Phi(s_t, g_t)$$
• Dispersie-metriek: De potentiële functie straft de totale variantie (trace van de covariantie-matrix) van de voorspelde terminale staat-distributie af. Een lagere variantie (hogere voorspelbaarheid) levert een hogere intrinsieke beloning op.

2.3 Implementatie: Mixture Density Network (MDN)

Omdat de omgevingsdynamica onbekend is en de laag-niveau policy stochastisch is, wordt de distributie van de grove transities $p(s_{t+c} | s_t, g_t)$ benaderd met behulp van een Mixture Density Network (MDN).

• Architectuur: De MDN modelleert de distributie als een mengeling van $K$ Gaussische verdelingen:
  $$\hat{p}_{\theta_{MDN}}(s_{t+c} | s_t, g_t) = \sum_{k=1}^{K} \alpha_k(s_t, g_t) \mathcal{N}(s_{t+c}; \mu_k, \Sigma_k)$$
• Training: De MDN wordt parallel aan de HRL-agents getraind met behulp van tuples $(s_t, g_t, s_{t+c})$ die uit de replay buffer zijn verzameld.
• Onzekerheidsschatting: De totale voorspellende covariantie ($\Sigma_{mix}$) wordt ontleed in:
  1. Binnen-modus variantie: Variabiliteit binnen een specifiek uitkomstscenario.
  2. Tussen-modus variantie: Ambiguïteit over welk uitkomstscenario zal plaatsvinden.
     De intrinsieke beloning wordt afgeleid van de trace van deze totale covariantie-matrix.

2.4 Algoritmische Flow

1. Executie: De Manager selecteert een subdoel $g_t$. De Worker probeert dit te bereiken over $c$ stappen.
2. Dataverzameling: De tuple $(s_t, g_t, s_{t+c})$ wordt opgeslagen in een replay buffer voor de MDN.
3. Model Update: De MDN werkt zijn parameters bij om de distributie van $s_{t+c}$ beter te voorspellen.
4. Beloningsberekening: De MDN voorspelt de distributie voor de huidige $(s_t, g_t)$, berekent de covariantie-trace en berekent de intrinsieke beloning.
5. Policy Update: De Manager wordt bijgewerkt met de extrinsieke beloning plus de intrinsieke shaping-term.

3. Belangrijkste Bijdragen

1. Stabiele Subdoelselectie (S3): Een nieuw framework waarbij de hoog-niveau agent leert subdoelen te selecteren op basis van de voorspelbaarheid van de laag-niveau uitvoering, in plaats van enkel op bereikbaarheid.
2. Modellering van Grove Dynamiek: De introductie van een temporele abstractieschaal waarbij de dynamiek van de omgeving wordt gemodelleerd als een distributie over $c$-staps transities, wat fijnmazige primitieve abstracteert.
3. Dynamica-bewuste Intrinsieke Beloning: Een potentieel-gebaseerde intrinsieke beloning die de dispersie van de grove dynamiek-distributie bestraft. Dit biedt dichte feedback aan de Manager, wat leidt naar betrouwbare, herhaalbare uitkomsten.
4. Integratie met MDN: Het gebruik van Mixture Density Networks om expliciet multi-modale uitkomsten te modelleren en onzekerheid (zowel binnen als tussen modi) te kwantificeren voor beloningsvorming.
5. Generaliseerbaarheid: De methode is ontworpen als een modulaire intrinsieke beloningslaag die kan worden toegepast op bestaande HRL-algoritmen (gedemonstreerd op HRAC).

4. Empirische Resultaten

De auteurs evalueerden S3 op drie MuJoCo continue controle-benchmarks: Ant Maze, Ant Push, en Ant Fall.

• Ant Fall: S3 presteerde significant beter dan de baselines (HIRO, HRAC), met een succesratio van 0,374 vergeleken met 0,059 (HIRO) en 0,000 (HRAC). Deze taak bevat onomkeerbare transities (vallen in een gat), waarbij S-3's vermogen om subdoelen met hoge onzekerheid te vermijden cruciaal was.
• Ant Push: S3 behaalde een succesratio van 0,186, waarmee het HIRO (0,134) versloeg en HRAC (0,180) evenaarde. De taak vereist precieze blokmanipulatie om te voorkomen dat de weg geblokkeerd wordt.
• Ant Maze: S3 behaalde 0,827, vergelijkbaar met HRAC (0,832) en HIRO (0,790). De auteurs merken op dat in zuiver navigatietaken met voorspelbare locomotie, het marginale voordeel van het modelleren van grove dynamiek lager is.
• Kwalitatieve Analyse:
  • Risicovermijding: In Ant Push leerde S3 de "gevarenzone" te vermijden waar het duwen van een blok vanuit het zuiden onomkeerbaar de weg zou blokkeren. De terminale staat-distributie concentreerde zich gedurende de training weg van deze gevarenzone.
  • Trajectstabiliteit: Visualisaties toonden aan dat de manager-trajecten van S3 meer geconcentreerd waren en in lijn lagen met de taakrichting vergeleken met de verspreide strategieën van HRAC, met name in taken met bottlenecks.
  • Temporele Horizon: Een sensitiviteitsanalyse gaf aan dat een manager-horizon van $c=10$ de optimale balans bood tussen abstractie en voorspelbaarheid.

5. Betekenis en Claims

Het artikel claimt dat S3 de fundamentele relatie tussen de Manager en de Worker in HRL aanpakt. Door expliciet de voorspellende onzekerheid van de laag-niveau agent te modelleren, stabiliseert S3 de hoog-niveau policy.

• Stabiliteit: De aanpak verzacht de niet-stationariteit veroorzaakt door de evoluerende laag-niveau policy door de hoog-niveau agent te belonen voor het selecteren van subdoelen die momenteel "veilig" en uitvoerbaar zijn.
• Efficiëntie: De dichte, dynamica-bewuste intrinsieke beloning versnelt het leren in ijle beloningsomgevingen, met name in omgevingen met lange-horizon afhankelijkheden en structurele bottlenecks.
• Toepasbaarheid: De methode is het meest nuttig in omgevingen die fysieke interactie, onomkeerbare transities en meerfasige afhankelijkheden inhouden, waarbij kleine executiefouten kunnen leiden tot onherstelbare staten.

De auteurs concluderen dat S3 de kloof overbrugt tussen model-gebaseerde HRL, potentieel-gebaseerde shaping en informatie-theoretische motivatie, en daarmee een generaliseerbaar mechanisme biedt om leren in complexe, niet-stationaire omgevingen te verbeteren.