Intentional Updates for Streaming Reinforcement Learning

Titel: Intentional Updates for Streaming Reinforcement Learning

Auteurs: Arsalan Sharifnassab, Mohamed Elsayed, Kris De Asis, A. Rupam Mahmood, Richard S. Sutton.

---

1. Het Probleem: De "Stream Barrier" in Deep RL

Traditionele gradient-based leermethoden in Reinforcement Learning (RL) gebruiken een vaste stapgrootte (learning rate) in parameter-eenheden. Dit leidt echter tot onvoorspelbare veranderingen in de daadwerkelijke output van de functie (bijv. de voorspelde waarde of de actie-kans).

• Instabiliteit in streaming: In een "streaming" setting (batchgrootte = 1, geen replay buffer), wordt de stochasticiteit niet gemiddeld. Hierdoor kunnen update-magnitudes willekeurig groot of klein worden, wat leidt tot "overshooting" (te grote stappen) of "undershooting" (te kleine stappen).
• De Stream Barrier: Recent onderzoek (Elsayed et al., 2024) heeft aangetoond dat diepe RL-methoden vaak falen in puur streaming omgevingen zonder replay buffers of mini-batches, voornamelijk door deze instabiliteit in de gradienten.
• Bestaande oplossingen: Methoden zoals Trust Regions (PPO) of Natural Gradients beperken veranderingen in de parameter-ruimte, maar zijn vaak rekenkundig zwaar of vereisen batch-verwerking.

2. Methodologie: Intentional Updates

De auteurs stellen een nieuw principe voor: Intentional Updates. In plaats van een stapgrootte te kiezen die een bepaalde verandering in de parameters veroorzaakt, kiezen ze een stapgrootte die een specifieke, gewenste verandering in de functie-output (de intentie) bereikt.

Kernprincipe

1. Specificeer de intentie: Definieer een gewenste verandering ($\Delta_t$) in een relevante grootheid (bijv. de TD-error of de log-kans van een actie).
2. Los op voor de stapgrootte: Bereken de stapgrootte ($\alpha_t$) die deze verandering ongeveer realiseert, gebaseerd op een lineaire benadering van de functie.

De formule voor de stapgrootte wordt afgeleid uit de eerste-orde benadering:
$$\alpha_t = \frac{\Delta_t}{\nabla y_t(w_t)^T d_t}$$
Waarbij $y_t$ de te controleren grootheid is en $d_t$ de update-richting.

Specifieke Algoritmen

De auteurs passen dit principe toe op drie gebieden:

1. Intentional TD (voor waardevoorspelling):

   • Doel: Een vaste fractionele reductie van de TD-error ($\delta_t$).
   • Implementatie: De stapgrootte wordt gekozen zodat de voorspelling $V(s_t)$ met een factor $\eta$ dichter bij het doel komt. Dit leidt tot een stapgrootte die omgekeerd evenredig is met het kwadraat van de gradient-norm (vergelijkbaar met NLMS in adaptieve filtering).
   • Eligibility Traces: Voor TD($\lambda$) wordt de intentie gedefinieerd over een geaggregeerde verandering in recente voorspellingen, niet alleen de huidige, om te voorkomen dat lange traces de update verkleinen.

2. Intentional Q-Learning (voor controle):

   • Toepassing van hetzelfde principe op Q-waarden, waarbij de stapgrootte wordt aangepast om een vaste reductie in de Q-error te garanderen.

3. Intentional Policy Gradient (voor beleidsoptimalisatie):

   • Doel: Beperken van de verandering in het beleid per stap, specifiek de verandering in de log-kans van de gekozen actie ($\Delta \log \pi$).
   • Redenering: Een constante verandering in de log-kans fungeert als een proxy voor een beperkte lokale Kullback-Leibler (KL) divergentie, zonder de zware berekeningen van Trust Region-methoden.
   • Normalisatie: De stapgrootte wordt genormaliseerd op basis van de geschatte grootte van de voordeel-schattings ($A_t$) en de gradient-norm.

Praktische Implementatie

Om dit robuust te maken in diepe netwerken, combineren de auteurs het principe met:

• Diagonale schaling (RMSProp-stijl): Om verschillende schalen van gradienten te normaliseren.
• Eligibility Traces: Voor tijdelijke credit-toewijzing.
• Adaptieve clipping: De TD-error ($\delta_t$) wordt geklipt op basis van een lopende RMS-schatting (in plaats van een vaste grens), wat robuustheid biedt tegen uitschieters.

3. Belangrijkste Bijdragen

• Het "Intended Outcome" principe: Een nieuw kader voor stapgrootte-selectie waarbij de stapgrootte wordt bepaald door de gewenste verandering in de output (functie-eenheden) in plaats van de parameters.
• Nieuwe Algoritmenfamilie: Introductie van Intentional TD, Intentional Q-learning en Intentional Policy Gradient die specifiek zijn ontworpen voor streaming deep RL.
• State-of-the-art Streaming Performance: De methoden presteren vaak even goed als batch-gebaseerde methoden of methoden met replay buffers, maar doen dit volledig streaming (batch size 1).
• Robuustheid: De algoritmen zijn minder afhankelijk van hulpstabilisatoren (zoals reward scaling of input normalisatie) dan eerdere streaming-methoden.

4. Resultaten

De auteurs evalueren hun methoden op een breed scala aan benchmarks:

• Continue Controle (MuJoCo & DM Control Suite):
  • De "Intentional AC" (Actor-Critic) variant stabiliseert het leren en bereikt prestaties die vergelijkbaar zijn met PPO en SAC, maar zonder replay buffers.
  • Een enkele instelling voor de hyperparameter $\eta$ werkt over meerdere omgevingen heen (goede transfer).
• Discrete Acties (MinAtar & Atari):
  • Intentional Q-learning leert betrouwbaar over verschillende games en bereikt prestaties die concurreren met batch-methoden zoals DQN.
• Voorspellingsfout: Bij waardevoorspelling onder een vast beleid levert Intentional TD een lagere RMS-fout op dan bestaande streaming-methoden (StreamTD).
• Ablatie-studies:
  • De prestaties blijven sterk zelfs als sommige componenten (zoals specifieke clipping) worden verwijderd, wat aantoont dat de "intentional scaling" de primaire drijver is.
  • De methoden zijn robuust tegen het verwijderen van standaard stabilisatoren (zoals LayerNorm of reward scaling) waar andere methoden op instorten.
• Berekeningskosten: Intentional AC is aanzienlijk efficiënter dan SAC (Soft Actor-Critic). Eén update van Intentional AC vereist >100x minder FLOPs dan één update van SAC, waardoor het geschikt is voor CPU-gebaseerde of resource-beperkte omgevingen.

5. Betekenis en Toekomstperspectief

Dit paper is significant omdat het de "stream barrier" in deep RL effectief doorbreekt. Het bewijst dat stabiel en hoogpresterend leren mogelijk is zonder replay buffers of mini-batches, wat essentieel is voor:

• Real-time toepassingen: Waar het opslaan van ervaringen (replay buffers) te duur of onmogelijk is.
• Edge Computing: Apparaten met beperkte rekenkracht en geheugen.
• Interpretatie van Hyperparameters: De parameter $\eta$ heeft nu een duidelijke fysieke betekenis (bijv. "verminder de TD-error met 50% per stap"), wat het tunen makkelijker maakt dan bij traditionele learning rates.

De auteurs wijzen ook op beperkingen, zoals de mogelijke bias die ontstaat doordat de stapgrootte afhankelijk is van de specifieke actie (action-dependent normalization), en noemen meta-optimatie van de stapgrootte als een interessante richting voor toekomstig onderzoek.

Conclusie: "Intentional Updates" bieden een fundamenteel nieuw perspectief op hoe we stapgroottes in RL moeten kiezen, verschuivend van parameter-ruimte naar functieruimte, wat leidt tot robuustere en efficiëntere streaming algoritmen.