Technische Samenvatting: Directe Voordeelschatting voor Schaalbare en Steekproefefficiënte Deep Reinforcement Learning

Probleemstelling

Deep Reinforcement Learning (RL) heeft aanzienlijke successen geboekt, maar vereist vaak miljoenen of miljarden steekproeven om agenten te trainen, wat de toepasbaarheid in realistische scenario's beperkt. Een centrale uitdaging is het leren van stabiele staat-actie waarde-functies, die vaak zeer niet-stationair zijn. Om dit aan te pakken, werd Direct Advantage Estimation (DAE) voorgesteld om de voordeelfunctie (advantage function) direct te leren in plaats van via waarde-functie decompositie, wat een verbeterde steekproefefficiëntie demonstreert.

Echter, bestaande Off-policy DAE-methoden worden geconfronteerd met twee kritieke beperkingen:

1. Partiële Observeerbaarheid: Het theoretische kader van DAE was oorspronkelijk beperkt tot volledig observeerbare Markov-beslissingsprocessen (MDP's). De echte wereld bestaat vaak uit Partially Observable MDP's (POMDP's), waarbij agenten alleen observaties ontvangen in plaats van directe toegang tot de staat.
2. Computationele Overhead: Off-policy DAE vereist het benaderen van overgangskansen om een specifieke beperking af te dwingen (de "nature advantage" beperking). Eerdere benaderingen bereikten dit door generatieve modellen te leren om hoogdimensionele observaties te reconstrueren, wat aanzienlijke computationele kosten met zich meebrengt en de schaalbaarheid naar complexe domeinen beperkt.

Methodologie

De auteurs stellen een uitbreiding van Off-policy DAE voor die beide beperkingen aanpakt door middel van theoretische generalisatie en architecturale innovatie.

1. Theoretische Uitbreiding naar POMDP's

Het artikel generaliseert de return-decompositie die gebruikt wordt in Off-policy DAE naar de POMDP-setting.

• Historie-gebaseerde Definities: In plaats van waarde- en voordeelfuncties te definiëren over staten $s$, definiëren de auteurs ze over informatievectoren (historieën) $h_t = (o_0, a_0, r_0, \dots, o_t)$.
• Return Decompositie: Het totale rendement (return) wordt gedecomposed in drie componenten: de beleidsvoordeel (policy advantage) $A^\pi(h_t, a_t)$, de "natuur"-voordeel (nature advantage) $B^\pi(h_t, a_t, r_t, o_{t+1})$, en de waarde-functie $V^\pi(h_t)$.
  • $A^\pi$ vangt het voordeel van de actie van de agent op.
  • $B^\pi$ vangt het voordeel op dat voortkomt uit de stochasticiteit van de omgeving (beloningen en volgende observaties).
• Optimalisatie Doelstelling: De leerdoelstelling minimaliseert de kwadratische fout van de return-decompositie over een traject van lengte $n$, onderworpen aan twee beperkingen:
  1. Beleid-centrering (Policy Centering): $E_{a \sim \pi}[ \hat{A}(h, a) ] = 0$.
  2. Natuur-centrering (Nature Centering): $E_{(r, o') \sim p(\cdot|h, a)}[ \hat{B}(h, a, r, o') ] = 0$.
     Deze formulering maakt off-policy leren mogelijk zonder importance sampling, mits het gedragbeleid (behavior policy) voldoende dekking biedt.

2. Discreet Latente Dynamica Model

Om de "Nature Centering" beperking efficiënt te voldoen zonder hoogdimensionele observaties te reconstrueren, introduceren de auteurs een Discreet Latent Dynamics Model.

• Embedding Ruimte: Observaties worden eerst gecodeerd naar een laagdimensionele embedding ruimte $x = \text{enc}(o)$.
• Stochastische Voorspelling: In plaats van één enkele volgende embedding te voorspellen, voorspelt het model een verzameling van $|Z|$ kandidaat volgende embeddings $\{\hat{x}_{t+1, z}\}$.
• Winner-Takes-All (WTA) Loss: Het model wordt getraind met een WTA loss (vergelijkbaar met k-means clustering in de embedding ruimte), waarbij gradiënten alleen door de voorspelling lopen die het dichtst bij de werkelijke volgende embedding ligt. Dit modelleert effectief de stochasticiteit van de omgeving in een compacte latente ruimte.
• Beperking Approximatie: De verwachting die vereist is voor de $\hat{B}$ beperking wordt benaderd door verwachtingen te berekenen over de discrete latente ruimte $Z$, gewogen door een geleerde prior distributie $p(z|h, a)$. Dit voorkomt de noodzaak voor dure observatie-reconstructie.
• End-to-End Training: De RL-doelstelling en het dynamica model worden gezamenlijk getraind, waarbij ze de recurrente ruggengraat (LSTM) delen om de computationele overhead te verminderen.

3. Experimentele Opzet

De aanpak werd geëvalueerd op 47 omgevingen uit de Arcade Learning Environment (ALE), die variërende graden van partiële observeerbaarheid bevatten. De agent maakt gebruik van:

• Een recurrente architectuur (CNN + LSTM) om observatiesequenties te verwerken.
• De IMPALACNN ruggengraat (15-laagse residual netwerk) voor schaalbaarheid.
• Standaard Dopamine baseline instellingen (sticky actions, frame skipping) om een eerlijke vergelijking te garanderen.

Belangrijkste Bijdragen

1. Theoretische Generalisatie: De auteurs breiden de theorie van Direct Advantage Estimation uit naar POMDP's, waarbij zij bewijzen dat de return-decompositie standhoudt wanneer staten worden vervangen door historieën en overgangskansen worden vervangen door conditionele dichtheden van geobserveerde variabelen.
2. Efficiënte Beperking Approximatie: Zij stellen een discreet latent dynamica model voor dat de overgangskansen benadert die vereist zijn voor Off-policy DAE beperkingen. Dit vermindert de computationele complexiteit aanzienlijk vergeleken met eerdere generatieve model benaderingen, wat toepassing op hoogdimensionele observaties mogelijk maakt.
3. Schaalbaarheid en Steekproefefficiëntie: De methode demonstreert dat DAE effectief schaalt met de capaciteit van de functie-benaderaar (netwerkbreedte) terwijl een hoge steekproefefficiëntie behouden blijft.

Resultaten

De auteurs evalueerden hun methode tegen sterke baselines, waaronder Rainbow DQN (getraind voor 200M frames) en DreamerV3.

• Steekproefefficiëntie: De DAE agent bereikte prestaties vergelijkbaar met Rainbow DQN (getraind voor 200M frames) met slechts 10% van de trainingsdata (20M frames).
• Schaalbaarheid: Het vergroten van de netwerkbreedte (schaalfactor $m$) van 1 naar 8 resulteerde in consistente prestatieverbeteringen. De $m=8$ variant bereikte prestaties vergelijkbaar met Rainbow met IMPALACNN en presteerde beter dan DreamerV3 qua steekproefefficiëntie.
• Ablatie Studies:
  • Multi-step Leren: Het verwijderen van multi-step leren ($n=1$) veroorzaakte een significante daling in prestaties (IQM score daalde met 1.74), wat aangeeft dat de reductie van bias door multi-step targets cruciaal is.
  • Off-policy Correctie: Het verwijderen van de off-policy correctie (het instellen van $\hat{B} \equiv 0$) verslechterde de prestaties, wat de noodzaak van het corrigeren voor de environmental stochasticiteit valideert.
  • POMDP Correctie: Het vervangen van de recurrente LSTM door een frame-stacking MLP leidde tot een daling in prestaties, wat bevestigt dat frame-stacking suboptimaal is voor het vangen van partiële observeerbaarheid in ALE.
  • Latente Dynamica: De methode bleef robuust voor het aantal latente modi $|Z|$, waarbij $|Z|=8$ en $|Z|=16$ bijna identieke resultaten opleverden.

Betekenis en Claims

Het artikel claimt dat door DAE uit te breiden naar POMDP's en de computationele overhead te verminderen via discrete latente dynamica, het mogelijk is om steekproefefficiënte RL-agenten te bouwen voor uitdagende realistische domeinen die gekenmerkt worden door partiële observeerbaarheid en hoogdimensionele observaties.

De auteurs benadrukken dat hoewel hun methode overgangsmodellen leert, deze uitsluitend worden gebruikt voor off-policy correcties (het afdwingen van de $\hat{B}$ beperking) en niet voor rollouts of planning. Bijgevolg wordt de aanpak beschreven als meer "model-vrij" dan typische model-gebaseerde algoritmen. Het succes van het schalen van DAE suggereert dat de doelstelling zelf, in plaats van enkel de architectuur, een limiterende factor kan zijn bij het schalen van waarde-gebaseerde model-vrije methoden zoals DQN.

Dit werk positioneert zich als een stap naar het bruikbaar maken van geavanceerde RL-algoritmen voor realistische settings waar volledige observeerbaarheid niet kan worden verondersteld, zonder de prohibitieve computationele kosten die voorheen geassocieerd werden met het modelleren van overgangskansen in hoogdimensionele ruimtes.