Technische Samenvatting: Adaptief Multi-Horizon Reinforcement Learning

Probleemstelling

Effectieve besluitvorming in complexe omgevingen vereist een balans tussen korte- en langetermijnuitkomsten. In standaard Reinforcement Learning (RL) wordt deze afweging beheerst door een vaste kortingsfactor ($\gamma$), die een enkele, exponentieel gedisconteerde planningshorizon oplegt. Deze statische aanname faalt vaak in continual learning scenario's waar taken en omgevingen evolueren, wat agenten vereist om te schakelen tussen kort-horizon (onmiddellijke uitkomst) en lang-horizon (vertraagde beloning) besluitvormingsstrategieën.

Biologische systemen integreren daarentegen schijnbaar voorspellingen over meerdere temporele horizonten en passen hun afhankelijkheid daarvan flexibel aan. Recente neurowetenschappelijke studies suggereren dat verschillende dopamine-neuronen en striatale circuits waarde coderen over verschillende kortings-tijdschalen. De centrale uitdaging die dit artikel adresseert is: Hoe kan een agent zijn planningshorizon dynamisch aanpassen aan verschillende taakeisen, vergelijkbaar met de flexibele besluitvorming die in biologische systemen wordt waargenomen?

Methodologie

De auteurs stellen een Multi-Horizon Reinforcement Learning-aanpak voor die temporele horizonten adaptief combineert, waardoor de noodzaak voor handmatige afstemming van de kortingsfactor wordt geëlimineerd. De kernmethodologie bestaat uit een Mixture-of-Q-Values framework:

1. Meerdere Critics (Experts): De agent onderhoudt meerdere actiewaarde-functies, $Q_i(s, a)$, die elk onafhankelijk zijn geleerd met behulp van tabulaire Expected SARSA($\lambda$) met een specifieke, vaste kortingsfactor $\gamma_i$. Deze experts dekken een reeks temporele horizonten.
2. State-Dependent Gating Network: Een leerbaar gating netwerk neemt de staat-representatie $x = \phi(s)$ en berekent logits $z = Wx + b$. Deze worden genormaliseerd via een softmax om menggewichten $w_i(s)$ voor elke expert te produceren.
3. Gemengde Waardefunctie: De uiteindelijke actiewaarde-functie is een gewogen som:
   $$Q_{mix}(s, a) = \sum_{i=1}^{K} w_i(s) Q_i(s, a)$$
4. Leerdynamiek:
   • De individuele experts worden bijgewerkt met hun specifieke $\gamma_i$.
   • Het gemengde beleid $\pi(a|s)$ wordt afgeleid van $Q_{mix}$ met behulp van een $\epsilon$-greedy strategie.
   • De parameters van het gating netwerk ($W, b$) worden geoptimaliseerd om de kwadratische Temporal Difference (TD) fout van de gemengde waardefunctie te minimaliseren (waarbij de update $\gamma=1$ gebruikt voor de mix). Dit stelt het netwerk in staat om te leren welke temporele horizon het meest effectief is voor een bepaalde staat.

Belangrijkste Bijdragen

• Adaptieve Horizon Selectie: Het artikel introduceert een mechanisme dat dynamisch meerdere planningshorizonten selecteert en weegt op basis van de huidige staat, in plaats van te vertrouwen op een enkele vaste $\gamma$.
• Aanpasbaarheid in Continual Learning: De methode is specifiek ontworpen voor continual learning settings waar taken sequentieel wisselen, wat de agent vereist om de optimale temporele schaal zonder handmatige interventie te herevalueren.
• Empirische Validatie van Biologische Principes: Het werk levert empirisch bewijs voor de hypothese dat adaptief, multi-timescale leren de parameterefficiëntie en aanpasbaarheid verbetert, wat overeenkomt met principes waargenomen in biologische besluitvorming.

Experimentele Resultaten

De auteurs evalueerden de aanpak in MiniGrid omgevingen, met de focus op drie sequentiële taken in een continual learning setting:

1. Foraging: Het verzamelen van 40 beloningen verdeeld over een grid.
2. Goal Reaching: Een hoogwaardig doel bereiken terwijl lava-strafpunten worden vermeden.
3. Four Rooms: Een samengestelde taak bestaande uit een tijdgelimiteerde "jackpot" en lokale beloningen.

Belangrijkste Bevindingen:

• Taakafhankelijke Optimale Horizonten: Experimenten toonden aan dat de optimale kortingsfactor significant varieert per taak en beloningsstructuur.
  • Foraging: Optimale effectieve horizonten werden gevonden tussen de 16–32 stappen.
  • Goal Reaching: Optimale horizonten varieerden tussen de 32–512 stappen.
  • Four Rooms: Optimale prestaties vereisten een effectieve horizon van 128 stappen.
• Beloningsschaarsheid en Bereikbaarheid: De studie toonde aan dat naarmate de spreiding van beloningen toeneemt (hogere ruimtelijke variantie) of de frequentie van beloningen afneemt, de optimale kortingsfactor verschuift naar grotere waarden (langere horizonten) om schaarste te mitigeren.
• Prestaties in Continual Learning: In het experiment met het sequentieel wisselen van taken behield de adaptieve mix-aanpak consistent een bijna optimale prestatie (episode returns tussen 36 en 40) over alle drie de taken.
• Gating Gedrag: Het gating netwerk slaagde erin om hogere gewichten toe te wijzen aan de specifieke kortingsfactoren die optimaal waren voor de huidige taak. Zo gaf het bijvoorbeeld prioriteit aan kortere horizonten voor foraging en langere horizonten voor de tijd-beperkte jackpot-taak.
• Robuustheid: Hoewel de agent consistent leerde om de tijd-beperkte jackpot (een moeilijk subdoel) te verzamelen, vertoonde het verzamelen van resterende lokale beloningen enige variabiliteit, afhankelijk van de random seed en de resterende episodelengte.

Betekenis en Claims

Het artikel claimt dat de adaptieve multi-horizon aanpak een nieuw framework biedt voor het combineren van meerdere critics met verschillende capaciteiten. De primaire betekenis ligt in:

• Elimineren van Handmatige Afstemming: De methode elimineert de noodzaak voor handmatige afstemming van de kortingsfactor, wat bijzonder gunstig is in omgevingen waar beloningsstructuren in de loop van de tijd veranderen.
• Biologische Plausibiliteit: De resultaten suggereren dat adaptieve temporele korting een levensvatbaar principe is voor het verbeteren van zowel kunstmatige als biologische leersystemen, in lijn met neurowetenschappelijke bevindingen over multi-timescale waarde-codering.
• Efficiëntie in Continual Learning: De aanpak demonstreert verbeterde aanpasbaarheid bij het wisselen tussen taken met uiteenlopende temporele vereisten, wat suggereert dat het leren van een mix van horizonten robuuster is dan het leren van een enkele vaste horizon.

De auteurs blijven bescheiden over toekomstig werk en merken op dat verdere evaluatie over een groter aantal seeds nodig is om variabiliteit te karakteriseren, en dat het uitbreiden van het framework naar neurale netwerk functie-approximatoren en het gezamenlijk aanpassen van eligibility traces veelbelovende richtingen zijn voor toekomstig onderzoek.