Technische Samenvatting: Streaming Versterkend Leren onder Partiële Observabiliteit met Real-Time Recurrent Learning

Probleemstelling

Streaming Versterkend Leren (RL) is een online leerparket waarin een agent zijn beleid of waardenfunctie direct bijwerkt op basis van elke binnenkomende steekproef, zonder een replay-buffer bij te houden of batch-updates te gebruiken. Hoewel recent werk streaming RL succesvol heeft geschaald naar diepe functieapproximatie in volledig waarneembare omgevingen met behulp van eligibility traces, blijft het uitbreiden hiervan naar partiële waarneembare settings (POMDP's) een open uitdaging.

In partiële waarneembare omgevingen moeten agenten vertrouwen op recurrente architecturen om een verborgen toestand bij te houden die historische context vastlegt. Echter, standaard recurrente leermethoden staan in de streaming setting voor een afweging:

1. Truncated Backpropagation Through Time (TBPTT): In een setting met updates per enkele steekproef, reduceert TBPTT tot een horizon van één stap (TBPTT(1)). Dit levert slechts een gradiënt van één stap op, wat ontoereikend is voor credit assignment over lange temporele afhankelijkheden.
2. Real-Time Recurrent Learning (RTRL): RTRL onderhoudt forward-mode gradiënten incrementeel, wat het theoretisch ideaal maakt voor streaming. Echter, voor algemene recurrente architecturen (zoals GRU's of LSTM's) heeft RTRL een verbodige computationele complexiteit, die quartisch ($O(n^4)$) schaalt met de verborgen dimensie $n$.

Het artikel adresseert de kloof tussen de behoefte aan credit assignment over lange horizonnen in POMDP's en de computationele beperkingen van streaming updates.

Methodologie

De voorgestelde methode integreert Recurrent Trace Units (RTU's) met exact Real-Time Recurrent Learning (RTRL) in bestaande streaming RL-algoritmen.

Kernarchitectuur: Recurrent Trace Units (RTU's)

RTU's zijn een diagonale, complexwaardige recurrente architectuur. In tegenstelling tot algemene recurrente eenheden, wordt een RTU-laag gedefinieerd door:
$$h_t = \Lambda h_{t-1} + W x_t$$
waarbij $\Lambda$ een diagonaalmatrix is met complexwaardige elementen $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$. Omdat elke verborgen eenheid alleen met zichzelf verbonden is (diagonale recurrentie), vereenvoudigt de gradiëntberekening aanzienlijk. Deze structuur maakt het mogelijk om exacte RTRL te berekenen met lineaire tijd- en geheugencomplexiteit ten opzichte van het aantal parameters, waardoor de $O(n^4)$-flesnek van standaard RTRL wordt vermeden.

Integratie met Streaming RL

De auteurs voegen een enkele RTU-laag toe tussen de observatie-encoder en de feedforward-head (waarde of beleid) van standaard streaming-algoritmen (specifiek QRC($\lambda$) voor op waarde gebaseerde en stream AC($\lambda$) voor op beleid gebaseerde besturing).

Het update-mechanisme omvat twee distincte traces die op natuurlijke wijze samenkomen:

1. Eligibility Traces: Standaard temporele credit assignment-traces ($z_t$) gebruikt in streaming RL om gradiënten over tijd te accumuleren ($z_t = \gamma\lambda z_{t-1} + g_t$).
2. RTRL Traces: Forward-mode gevoeligheidsmatrices ($S_t = \partial h_t / \partial \psi$) onderhouden door de RTU-laag om gradiënten door de recurrente toestand te propageren.

Strategie voor Gradiëntberekening:

• Recurrente Parameters ($\psi$): Gradiënten worden berekend met behulp van de exacte RTRL-trace $S_t$, die bij elke stap voorwaarts wordt bijgewerkt.
• Head-parameters ($w$): Standaard backpropagation wordt gebruikt aangezien er geen temporele afhankelijkheid is.
• Encoder-parameters ($\theta$): Om de verbodige kosten van het onderhouden van exacte traces door een diepe encoder te vermijden, gebruiken de auteurs een benadering van één stap. De encoder krijgt alleen krediet voor zijn directe effect op de huidige verborgen toestand, waarbij zijn invloed via eerdere toestanden wordt genegeerd. Dit is een noodzakelijke benadering voor diepe encoders in het streaming-regime.

Analyse en Correctie van Veroudering (Staleness)

Het artikel erkent dat onder streaming updates de parameters $\psi$ bij elke stap veranderen. Bijgevolg accumuleert de RTRL-gevoeligheidsmatrix $S_t$ Jacobianen die zijn geëvalueerd bij verouderde parameters, wat leidt tot "veroudering" (staleness).

• De auteurs leiden een theoretische bovengrens af voor deze verouderingsfout, waarbij blijkt dat deze lineair schaalt met de stapgrootte en de credit-assignment-horizon.
• Zij stellen een Taylor-correctie van de eerste orde voor de gevoeligheidsupdate voor. Door de verandering in de directe Jacobiaan te benaderen op basis van de parameterupdate $\Delta \psi$, reduceren zij de verouderingsfout van $O(\eta)$ naar $O(\eta^2)$.

Belangrijkste Bijdragen

1. Algoritme: Een streaming deep RL-algoritme voor partiële waarneembare omgevingen met behulp van RTU's getraind met exacte RTRL. Het vereist geen replay-buffer en geen batch-updates.
2. Diagnostische Validatie: Een MemoryChain-experiment dat aantoont dat deze combinatie credit assignment handhaaft over ketenlengtes (tot 64 stappen), terwijl streaming baselines die feedforward-netwerken, GRU's of RTU's met TBPTT(1) gebruiken, ineenstorten.
3. Empirische Prestaties: Bewijs op vijf POPGym-geheugentaken en partiële waarneembare MuJoCo-taken voor continue besturing, waarbij de streaming-aanpak concurrerend is met batch-PPO, alle POPGym-taken oplost en een aanzienlijk deel van de batch-prestaties op MuJoCo herstelt.
4. Analyse van Veroudering: Een kwantitatieve analyse van RTRL-gevoeligheidsveroudering onder streaming updates, die een steady-state foutgrens biedt en de effectiviteit van een Taylor-correctie van de eerste orde aantoont om deze grens te verstrakken.

Experimentele Resultaten

MemoryChain (Credit Assignment Horizon)

Op een diagnostische taak waarbij de agent een binair signaal moet herinneren na $L$ stappen:

• Baselines: Feedforward-netwerken, GRU's met TBPTT(1) en RTU's met TBPTT(1) stortten allemaal in tot bijna nul opbrengst voor ketenlengtes $L > 16$.
• Voorgestelde Methode: RTU met exacte RTRL behield hoge prestaties tot $L=48$ en bleef concurrerend tot $L=64$. Dit bevestigt dat de gradiëntmethode (RTRL), en niet alleen de architectuur, de kritische factor is voor credit assignment over lange horizonnen in streaming.

POPGym (Discrete Geheugentaken)

Geëvalueerd op vijf taken (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst):

• Twee streaming varianten (QRC($\lambda$)-RTU en stream AC($\lambda$)-RTU) werden vergeleken met een batch-PPO-RTU-baseline.
• De twee streaming methoden waren complementair: stream AC($\lambda$)-RTU slaagde in drie taken waar QRC($\lambda$)-RTU faalde, en omgekeerd.
• Resultaat: Samen losten de streaming methoden alle vijf taken op, waarbij ze de prestaties van batch-PPO evenaarden zonder het opslaan van eerdere trajecten.

Masked MuJoCo (Continue Besturing)

Geëvalueerd op locomotie-taken (Ant, HalfCheetah, Hopper, Walker2d) met gemaskeerde snelheden of posities:

• De streaming-methode (stream AC($\lambda$)-RTU) was concurrerend met batch-PPO-RTU op verschillende taken (bijvoorbeeld gelijkend op HalfCheetah-P, beter presterend op Walker2d-V).
• Hoewel het op sommige taken achterbleef bij batch-PPO (bijvoorbeeld Walker2d-P), herstelde het een aanzienlijk deel van de batch-prestaties, wat de haalbaarheid aantoont voor continue besturing onder partiële waarneembaarheid zonder replay-buffers.

KMemoryChain (Kwantificering van Veroudering)

Een variant van MemoryChain ontworpen om de RTRL-trace continu te oefenen:

• Veroudering werd gemeten als de $\ell_2$-afstand tussen de online gevoeligheidsmatrix en een referentie die opnieuw werd berekend met de huidige parameters.
• Veroudering nam toe met de geheugenhori zon $K$, in overeenstemming met theoretische grenzen.
• De Taylor-correctie verminderde veroudering aanzienlijk, met name bij langere horizonnen ($K=16$), en correspondeerde met sneller leren en stabielere trainingscurves in het regime met hoge veroudering.

Betekenis en Claims

De auteurs stellen hun claims expliciet bescheiden:

• Geen Claim op State-of-the-Art (SOTA): Zij claimen niet de absolute beste prestaties te behalen op een enkele benchmark in vergelijking met onbeperkte batch-methoden.
• Primaire Bijdrage: De betekenis ligt in het dichtsluiten van de kloof tussen streaming RL en partiële waarneembaarheid. Zij tonen aan dat het mogelijk is om deep RL uit te voeren in POMDP's met de strikte beperkingen van streaming (geen replay-buffer, updates per enkele steekproef) door RTU's te combineren met exacte RTRL.
• Toepasbaarheid: De methode is gepositioneerd voor scenario's waar resource-beperkingen reëel zijn, zoals leren op het apparaat, real-time besturing en levenslang leren, waar het opslaan van eerdere trajecten onpraktisch is.

Het artikel concludeert dat hoewel de kloof met batch-prestaties in sommige taken voor continue besturing blijft bestaan, de voorgestelde methode het streaming-paradigma succesvol uitbreidt naar complexe, partiële waarneembare omgevingen, en de levensvatbaarheid van exacte RTRL met lineaire complexiteit in deep RL valideert.