Technische Samenvatting: Benaderde Next Policy Sampling

Probleemstelling

Diepe Versterkende Leer (RL) algoritmen staan tijdens het verbeteren van het beleid voor een fundamenteel "kip-en-ei"-probleem. Om een beleid veilig te verbeteren, moet de waardenfunctie accuraat zijn op de staatsbezoekingsverdeling van het bijgewerkte (volgende) beleid. Deze verdeling is echter tijdens het trainen onbekend.

Standaardbenaderingen, zoals Conservative Policy Iteration (CPI), Trust Region Policy Optimization (TRPO) en Proximal Policy Optimization (PPO), lossen dit op door de beleidsupdate te beperken zodat deze klein blijft. Hierdoor blijft de verdeling van het nieuwe beleid dicht bij de huidige verdeling, waar de waardenfunctie als betrouwbaar wordt verondersteld. Hoewel dit voorkomt dat de prestaties catastrofaal dalen, beperkt dit inherent de omvang van beleidsupdates, wat vaak resulteert in een trage convergentie en een inefficiënt gebruik van data. Het artikel stelt dat deze conservatieve methoden het beleidsupdate verkleinen om aan de data te voldoen, in plaats van de data aan te passen om te voldoen aan het potentiële beleid.

Methodologie: Benaderde Next Policy Sampling (ANPS)

Het artikel stelt Approximate Next Policy Sampling (ANPS) voor als een alternatief paradigma. In plaats van het doelbeleid te beperken tot de huidige verdeling, verschuift ANPS het verzamelen van trainingsdata om deze af te stemmen op de verwachte staatsbezoekingsverdeling van het volgende beleid.

Om ANPS te implementeren, introduceren de auteurs Stable Value Approximate Policy Iteration (SV-API), een raamwerk dat het doelbeleid ($\pi$) ontkoppelt van het gedragsbeleid ($\beta$).

• Doelbeleid ($\pi_k$): Blijft gedurende meerdere iteraties vast. Het definieert de waardenstreefwaarde ($Q^{\pi_k}$) en het uiteindelijke doel van de update.
• Gedragsbeleid ($\beta_k$): Een iteratief bijgewerkt beleid dat verantwoordelijk is voor het verzamelen van data. Het wordt verfijnd om staten te verkennen die relevant zijn voor het vaste doelbeleid en om zijn eigen verdeling af te stemmen op het vooruitziende volgende doelbeleid.
• Stabiliteitsgating: Het algoritme gaat pas over tot het bijwerken van het doelbeleid ($\pi_{k+1} \leftarrow \beta_{k+1}$) zodra een stabiliteitscriterium $C$ is voldaan. Dit criterium bewaakt de convergentie van waardenramingen en het gedragsbeleid.

De kernlogica is dat door het doelbeleid vast te houden, het gedragsbeleid veilig kan verkennen en data kan verzamelen om $Q^{\pi_k}$ nauwkeurig te schatten. Zodra de waardenramingen stabiliseren en het gedragsbeleid is uitgelijnd met het doel, wordt een grote, onbeperkte "sprong" naar het nieuwe beleid uitgevoerd.

Theoretisch Kader

Het artikel leidt theoretische grenzen af om deze aanpak te rechtvaardigen:

1. Stelling 3.3: Stelt een grens voor beleidsverbetering op die expliciet de gewogen actie-waardefout op de verdeling van het volgende beleid omvat ($\epsilon(d_{\pi'}, q_\pi)$). Dit benadrukt dat verbetering gegarandeerd is als de waardenfunctie accuraat is op de verdeling van het volgende beleid, ongeacht de omvang van de beleidsjump.
2. Lemma 3.5 & Corollarium 3.6: Tonen aan dat als de trainingsverdeling $\delta$-Next Policy Alignment (NPA) bereikt (d.w.z. dicht bij de verdeling van het volgende beleid ligt), de fout op het volgende beleid begrensd is door de trainingsfout plus een term die evenredig is met de verdelingsverschuiving.
3. Stelling 4.3: Bewijst dat SV-API beleidsverbetering garandeert als het gedragsbeleid stabiliseert (zorgend voor een kleine verdelingsverschuiving tussen $\beta_k$ en $\beta_{k+1}$) en de waardenfout op de trainingsverdeling begrensd is. Cruciaal is dat deze stelling onbeperkte doelbeleidsupdates toestaat, in tegenstelling tot conservatieve methoden die de verbeterterm schalen met de stapgrootte.

Belangrijkste Bijdragen

1. Approximate Next Policy Sampling (ANPS): Een nieuwe aanpak die trainingsdata afstemt op de verdeling van het volgende beleid in plaats van de omvang van de beleidsupdate te beperken.
2. Theoretische Grenzen: Een algemene grens (Stelling 3.3) die het belang van de verdeling van het volgende beleid isoleert, en een specifieke grens (Stelling 4.3) die bewijst dat SV-API verbetering garandeert door trainingsfout en gedragsdivergentie te controleren, waardoor grotere beleidsjumps mogelijk worden.
3. SV-API Raamwerk: Een praktische wrapper (geïmplementeerd als SV-PPO) die gedrags- en doelbeleid ontkoppelt, waardoor algoritmen het doel vast kunnen houden, relevante ervaringen kunnen verzamelen en grotere beleidsupdates veilig kunnen uitvoeren.
4. Empirische Validatie: Demonstratie dat SV-PPO de prestaties van standaard PPO evenaart of overtreft op hoogdimensionale discrete (Atari) en continue besturings (Brax) benchmarks, terwijl aanzienlijk grotere doelbeleidsupdates worden uitgevoerd.

Resultaten

De auteurs hebben SV-PPO geëvalueerd tegen standaard PPO op 16 Atari-spellen en 12 Brax-taken voor continue besturing.

• Prestaties: SV-PPO evenaarde of overtrof de PPO-prestaties. Op Atari versloeg de dynamische variant PPO in 11 van de 16 spellen (statistisch significant op 6), en de statische variant versloeg PPO in 7 spellen. Op Brax toonde de dynamische variant een mediaan verbetering van 1%.
• Omvang van Updates: SV-PPO voerde aanzienlijk grotere doelbeleidsupdates uit. De statische variant voerde updates uit die ongeveer 511% groter waren (in KL-divergentie) dan die van PPO, terwijl de dynamische variant gemiddeld 96% grotere updates uitvoerde.
• Gedragsstabiliteit: Ondanks grotere doeljumps bleven de updates van het gedragsbeleid klein en beperkt, waardoor de verdelingsverschuiving tijdens het verzamelen van data gecontroleerd bleef.
• Casestudie (Four Rooms): In een grid-wereldexperiment leed standaard PPO aan "waardechurn" en catastrofaal vergeten rond iteratie 80 door voortijdige updates op basis van onnauwkeurige waardenramingen van zelden bezochte staten. SV-PPO, door het doelbeleid te bevriezen en het gedragsbeleid uitgebreide data te laten verzamelen, convergeerde succesvol naar het optimale beleid zonder deze fouten.

Betekenis en Claims

Het artikel stelt dat ANPS een levensvatbaar alternatief biedt voor de klassieke conservatieve beleidsupdatestrategie. Door de last van verdelingsafstemming te verschuiven van de omvang van de beleidsupdate naar het proces van dataverzameling, staat ANPS de "grote jumps" toe die kenmerkend zijn voor klassieke Policy Iteration, terwijl de veiligheidsgaranties van moderne diepe RL behouden blijven.

De auteurs benadrukken dat deze aanpak het probleem van distributiemismatch oplost door actief de staten te bemonsteren die het volgende beleid zal bezoeken, in plaats van deze te vermijden. Zij merken op dat hoewel de methode afhankelijk is van off-policy evaluatie (het introduceren van een apart gedragsbeleid) en een proxy-maatstaf (stabiliteit van waardenramingen) gebruikt om het moment van updates te bepalen, het succesvol aantoont dat grote beleidsupdates veilig kunnen zijn als de onderliggende waardenfunctie voldoende accuraat is op de relevante verdeling. Het werk suggereert dat de "conservatieve" beperking op beleidsupdates een artefact kan zijn van huidige algoritmische ontwerpen in plaats van een fundamentele vereiste voor RL-stabiliteit.