Technische Samenvatting: Endpoint Replay: Het comprimeren van de Recency Buffer in Deep Reinforcement Learning

Probleemstelling

Deep Reinforcement Learning (DRL) algoritmen, met name off-policy methoden zoals DQN, SAC en DreamerV3, leunen zwaar op grote experience replay buffers (typisch 1 miljoen transities) om samples te de-correleren, data te behouden voor harde exploratie en schaarse beloningen te propageren. Hoewel effectief, brengen deze grote buffers aanzienlijke opslagkosten en computationele overhead met zich mee.

Eerdere pogingen om de bufferomvang te verminderen, richtten zich op:

1. Continual RL: Het comprimeren van buffers om niet-stationaire taken bij te houden, wat vaak ten koste gaat van de langetermijnretentie.
2. Streaming/Generatieve Methoden: Het volledig elimineren van buffers of het gebruik van generatieve modellen, wat simulatiebias of instabiliteit kan introduceren.
3. Coreset Constructie: Het selecteren van representatieve transities (bijv. via reservoir sampling) om een grote buffer te samenvatten.

Het centrale probleem dat in dit artikel wordt geadresseerd, is of een grote recency buffer met een factor 10 tot 50 kan worden gecomprimeerd terwijl de prestatievoordelen van de originele grote buffer behouden blijven. De auteurs identificeren een kritieke, eerder niet herkende foutmodus in bestaande coreset-benaderingen: unanchored bootstrap targets (niet-verankerde bootstrap-doelen). Wanneer een coreset bestaat uit geïsoleerde, niet-aaneengesloten transities, bevinden de bootstrap-doelen (de volgende staat-actie paren) zich vaak niet binnen de coreset zelf. Bijgevolg worden de waarde-schattingen voor deze doelen nooit bijgewerkt door transities in de buffer, wat leidt tot onnauwkeurige, niet-verankerde doelen die de waardefunctie corrumperen.

Methodologie: Endpoint Replay

De auteurs stellen Endpoint Replay voor, een methode die ervaring comprimeert door een kleine recency buffer te onderhouden en een grotere coreset buffer die is geconstrueerd uit "geketende" $n$-staps transities.

1. Geketende $n$-staps Transities (Verankering)

In plaats van geïsoleerde transities $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$ te bewaren, construeert Endpoint Replay een coreset van "springende" transities. Naarmate data uit een kleine recency buffer ($D_r$) vervalt, wordt het geaggregeerd in $n$-staps sequenties.

• Mechanisme: Een "lag buffer" accumuleert $n$ transities uit de recency buffer. Zodra deze vol is (of bij terminatie), berekent het de $n$-staps return $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$ en slaat het een enkele transitie op: $(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$.
• Verankering: Cruciaal is dat het eindpunt $(s_{t+n}, a_{t+n})$ van de ene transitie dient als het startpunt voor de volgende transitie in de coreset. Dit zorgt ervoor dat elke bootstrap target "verankerd" is—het bestaat als een startstaat in een andere transitie binnen de coreset en wordt daarom tijdens de training bijgewerkt. Dit elimineert het probleem van de niet-verankerde targets dat wordt gevonden bij naïeve coreset sampling.

2. Expectile Sarsa Update

Het gebruik van $n$-staps targets introduceert een nieuwe uitdaging: pessimistische bias. In off-policy settings worden $n$-staps returns berekend van trajecten gegenereerd door oudere, potentieel suboptimale policies. Standaard $n$-staps updates die gebruikmaken van de maximale actiewaarde ($\max_a Q$) kunnen overmatig optimistisch of vertekend zijn, terwijl standaard Sarsa updates (die de daadwerkelijk genomen actie $a_{t+n}$ gebruiken) pessimistisch kunnen zijn als de oudere policy suboptimal was.

Om dit te mitigeren, introduceren de auteurs $n$-staps Expectile Sarsa:

• Loss Functie: Ze vervangen de standaard kwadratische fout-loss door een expectile loss met parameter $\tau \in (0, 1)$.
• Mechanisme: De expectile loss $u$ balanceert verwachte neerwaartse afwijkingen (gewogen met $1-\tau$) en opwaartse afwijkingen (gewogen met $\tau$). Door $\tau > 0.5$ in te stellen (bijv. $\tau=0.7$), focust de update op hogere returns, wat effectief maximaliseert over de sequentie van acties die in de dataset zijn genomen zonder out-of-distribution acties op te vragen.
• Sarsa vs. Q-Learning: De update gebruikt de actie die daadwerkelijk is genomen op het eindpunt ($a_{t+n}$) in plaats van $\max_a Q(s_{t+n}, a)$, wat ervoor zorgt dat de actie ook "verankerd" is binnen de distributie van de dataset.

3. Algoritme Architectuur

Het systeem maakt gebruik van een twee-buffer architectuur:

• Recency Buffer ($D_r$): Slaat de meest recente $j$ transities op (bijv. 10k). Wordt bijgewerkt met standaard Double DQN (DDQN) updates.
• Coreset Buffer ($D_c$): Slaat de gecomprimeerde $n$-staps transities op (bijv. 90k). Wordt bijgewerkt met de $n$-staps Expectile Sarsa loss.
• Sampling: Mini-batches worden gesampled met een hoge ratio vanuit de recency buffer (bijv. een 7:1 ratio van $D_r$ naar $D_c$) om te prioriteren op leren van verse data, terwijl de coreset wordt gebruikt voor regularisatie en waarde-propagatie.

Belangrijkste Bijdragen

1. Endpoint Replay Algoritme: Een methere voor buffercompressie die een kleine recency buffer koppelt aan een coreset van geketende $n$-staps transities, bijgewerkt via Expectile Sarsa. Het bereikt prestaties vergelijkbaar met grote buffers met 10x tot 50x minder opslag.
2. Identificatie van Unanchored Targets: Het artikel identificeert en demonstreert formeel dat geïsoleerde coreset-transities leiden tot unanchored bootstrap targets, wat de waardefunctie corrumpeert. Het bewijst dat het ketenen van $n$-staps transities dit oplost door te garanderen dat alle bootstrap staten worden bijgewerkt.
3. Theoretische Analyse van $n$-staps Expectile Sarsa:
   • Formaliseert $n$-staps expectile actiewaarden en bewijst dat de bijbehorende Bellman-operator een contractie is, wat convergentie garandeert voor $n \ge 1$.
   • Bewijst dat policy iteratie convergeert naar een optimale policy onder deterministische dynamiek.
   • Stelt een geordende relatie vast tussen $n$-staps expectile waarden, waarbij wordt aangetoond dat langere horizonten meer conservatieve schattingen opleveren.

Experimentele Resultaten

De auteurs hebben Endpoint Replay geëvalueerd op de Pinball omgeving en 12 Atari 2600 games.

• Pinball: Endpoint Replay met een 50x kleinere buffer (10k totaal vs. 500k standaard) kwam overeen met de prestaties van een grote recency buffer (1M) en presteerde aanzienlijk beter dan gelijke grootte kleine buffers, reservoir-sampling coresets en MeDQN.
• Atari 2600:
  • 10x Compressie (100k buffer): Endpoint Replay presteerde beter dan gelijke grootte kleine buffers en reservoir coresets, en kwam overeen met of overtrof zelfs de prestaties van een standaard 1M buffer baseline.
  • 50x Compressie (20k buffer): Endpoint Replay presteerde beter dan alle kleine-buffer baselines (1-staps en 10-staps) en kwam in 5 van de 12 games overeen met de prestaties van de grote buffer.
• Ablatie Studies:
  • Anchoring: Het verwijderen van de ketening (unanchored states) of de actie-verankering (gebruik van DDQN in plaats van Sarsa) leidde tot een significante verslechtering van de prestaties.
  • Expectile Loss: Het vervangen van de expectile loss door standaard kwadratische fout (het verwijderen van de bias correctie) resulteerde in lagere prestaties, wat de noodzaak van de expectile update voor $n$-staps targets bevestigt.

Betekenis en Claims

Het artikel claimt dat Endpoint Replay succesvol de trade-off tussen opslagefficiëntie en leerprestaties in off-policy DRL aanpakt. Door het probleem van de "unanchored bootstrap target" te identificeren, tonen de auteurs aan dat eenvoudige coreset selectie onvoldoende is voor DRL. Hun oplossing—het verankeren van eindpunten via $n$-staps ketens en het corrigeren van bias via expectile losses—stelt agenten in staat om de voordelen van grote buffers (lang-horizon credit assignment en exploratie) te behouden met een fractie van de geheugenvoetafdruk.

De auteurs merken op dat hoewel de methode robuust is bij lage stochasticiteit, de theoretische garantie van convergentie naar de optimale policy strikt geldt onder deterministische dynamiek, aangezien de expectile loss anders de omgevingsstochasticiteit kan achtervolgen in plaats van actiesequenties. Het werk suggereert een pad naar meer hulpbron-efficiënte DRL zonder het verlies van de stabiliteit en sample-efficiëntie die door grote replay buffers wordt geboden.