Technische Samenvatting: Bayesiaanse Policy Gradient en Actor-Critic Algoritmen

1. Probleemstelling

Policy Gradient (PG) methoden vormen een hoeksteen van Versterkend Leren (RL), waarbij een geparametriseerde policy wordt geoptimaliseerd door te volgen een schatting van de prestatiegradiënt. Echter, conventionele PG methoden vertrouwen sterk op Monte-Carlo (MC) technieken om deze gradiënten te schatten.

• Hoge Variantie: MC-schatters zijn onbevooroordeeld maar lijden onder hoge variantie, wat een groot aantal steekproeven vereist om accurate schattingen te bereiken, wat leidt tot trage convergentie.
• Inefficiëntie in Steekproeven: De afhankelijkheid van frequentistische punt-schattingen negeert de onzekerheid die inherent is aan de data, waardoor ze niet effectief gebruik maken van voorkennis of de structuur van de data-verdeling.
• Beperkingen van Bestaande Oplossingen: Hoewel baselines en natuurlijke gradiënten (met gebruik van de Fisher Informatie Matrix) helpen, adresseren ze de variantieproblematiek of het gebrek aan onzekerheidskwantificering in de gradientschatting zelf niet fundamenteel.

Het artikel adresseert de behoefte aan een meer steekproef-efficiënt, robuust en onzekerheidsbewust kader voor policy gradiënt schatting en actor-critic leren.

2. Methodologie

De auteurs stellen een Bayesiaans kader voor dat de frequentistische MC-schatting vervangt door Bayesiaanse Quadratuur (BQ). Het kernidee is om de gradiënt van de verwachte opbrengst te modelleren als een Gaussisch Proces (GP).

A. Bayesiaanse Policy Gradient (BPG)

De BPG-benadering behandelt de gradiëntintegraal $\nabla \eta(\theta) = \int \bar{R}(\xi) \nabla \log P(\xi; \theta) d\xi$ als een integraal van een willekeurige functie.

• Modellering: De integrand wordt opgesplitst in een deterministisch deel (gerelateerd aan de policy-kans) en een stochastisch deel (de opbrengst). Het stochastische deel wordt gemodelleerd als een GP.
• Twee Modellen:
  1. Model 1 (Vector-gewaardeerd GP): Modelleert de gradiëntcomponenten direct als een vector-gewaardeerd GP. Het maakt gebruik van een quadratische Fisher-kern.
  2. Model 2 (Schaar-gewaardeerd GP): Modelleert de opbrengst als een schaar GP en integreert deze tegen de gradiënt van de policy-kans. Het maakt gebruik van een standaard Fisher-kern.
• Kernmechanisme: Door trajecten te observeren, berekent het algoritme de posterior-verdeling van de gradiënt. Dit levert niet alleen een punt-schatting (het gemiddelde) op, maar ook een covariantiematrix die de onzekerheid van de gradientschatting weergeeft.
• Keuze van Kern: Het gebruik van Fisher-kernen (gebaseerd op de Fisher Informatie Matrix) is cruciaal. Dit maakt het mogelijk om gesloten-vorm uitdrukkingen af te leiden voor de posterior-momenten van de gradiënt, waardoor de berekening hanteerbaar wordt.
• Toepasbaarheid: Omdat BPG volledige systeemtrajecten behandelt als de basiseenheid, vereist het geen Markov-eigenschap, waardoor het op natuurlijke wijze uitbreidbaar is naar Deels Waarneembare MDP's (POMDP's).

B. Bayesiaanse Actor-Critic (BAC)

Om de beperking aan te pakken dat BPG geen gebruik kan maken van de Markov-eigenschap (wat leidt tot hogere variantie in Markoviaanse systemen), introduceren de auteurs een Bayesiaanse Actor-Critic algoritme.

• Critic: Gebruikt Gaussian Process Temporal Difference (GPTD) leren. De actie-waarde functie $Q(z)$ wordt gemodelleerd als een GP.
• Actor: Update policy parameters met behulp van de posterior-momenten van de gradiënt afgeleid van de GP van de critic.
• Integratie: Door een specifieke prior-covariantie-kern voor de GP te kiezen (som van een state-kern en de Fisher-kern), leiden de auteurs gesloten-vorm uitdrukkingen af voor de posterior-gemiddelde en covariantie van de policy gradiënt.
• Voordeel: BAC gebruikt individuele state-action-reward overgangen als de waarneembare eenheid. Dit stelt het in staat om de Markov-eigenschap te benutten, wat de variantie aanzienlijk verlaagt ten opzichte van traject-gebaseerde BPG, vooral bij problemen met lange horizon.

C. Online Verdunning

Zowel BPG als BAC bevatten kernel-matrices die groeien met het aantal steekproeven ($O(M^3)$ complexiteit). Het artikel integreert online verdunning (gebaseerd op Engel et al., 2002) om een "woordenlijst" van representatieve steekproeven bij te houden. Dit zorgt ervoor dat de algoritmen computationeel efficiënt blijven in tijd en geheugen, terwijl de benaderingsfout wordt gecontroleerd via een drempelparameter.

3. Belangrijkste Bijdragen

1. Bayesiaanse Policy Gradient Kader: Een nieuwe formulering van PG methoden met behulp van Bayesiaanse Quadratuur en Gaussische Processen, die een volledige posterior-verdeling over de gradiënt biedt in plaats van een enkele punt-schatting.
2. Gesloten-vorm Oplossingen: De afleiding van analytische uitdrukkingen voor de posterior-gemiddelde en covariantie van de gradiënt met behulp van Fisher-kernen, waardoor de noodzaak voor numerieke integratie of steekproeven voor de gradientschatting zelf wordt vermeden.
3. Onzekerheidskwantificering: Het vermogen om de gradiëntcovariantie te berekenen met weinig extra kosten. Dit maakt risicobewust leren mogelijk (bijvoorbeeld het gebruik van de covariantie om stapgroottes aan te passen).
4. Bayesiaanse Actor-Critic (BAC): Een nieuw AC-algoritme dat GPTD-critics combineert met Bayesiaanse policy updates, waarbij gebruik wordt gemaakt van de Markov-eigenschap voor lagere variantie dan BPG.
5. Uitbreiding naar POMDP's: Aantonen dat de traject-gebaseerde BPG-benadering op natuurlijke wijze niet-Markoviaanse systemen aankan zonder modificatie.
6. Uitgebreide Evaluatie: Uitgebreide experimentele vergelijkingen tegen klassieke MC-gebaseerde PG en Actor-Critic methoden over diverse domeinen.

4. Experimentele Resultaten

De auteurs evalueerden hun methoden op verschillende benchmarks:

• Bandit Probleem & Lineair Kwantadratisch Regelaar (LQR):
  • BQ (Bayesiaanse Quadratuur) schattingen van de gradiënt toonden variantie die meerdere ordes van grootte lager was en een hogere nauwkeurigheid in vergelijking met MC-schattingen, vooral bij kleine steekproefgroottes.
  • BPG (met gebruik van natuurlijke gradiënten) presteerde beter dan MCPG (Monte-Carlo PG) in LQR, met snellere convergentie en betere uiteindelijke opbrengsten, vooral bij gematigde steekproefgroottes ($M=10, 20, 40$).
  • Een variant die gradiëntcovariantie gebruikte om stapgroottes aan te passen (BPG-var) toonde de beste prestaties.
• Willekeurige Wandelgang (10-staten):
  • BAC presteerde aanzienlijk beter dan zowel BPG als MCPG. BAC leerde sneller en was robuuster tegen veranderingen in de leersnelheid.
  • BPG had moeite wanneer de trajectlengtes varieerden, terwijl BAC (met gebruik van state-action overgangen) stabiel bleef.
• Mountain Car (Continue State/Discrete Actie):
  • BAC presteerde consequent beter dan MCPG, waarbij goede policies werden gevonden met zeer weinig steekproeven ($M=5$) en een lage variantie werd behouden. MCPG vereiste grotere steekproefgroottes om de prestaties van BAC te evenaren.
• Schipsturing (Continue State/Continue Actie):
  • In dit complexe, hoog-dimensionale domein toonde BAC opnieuw superieure convergentiesnelheid en successpercentages in vergelijking met MCPG, met lagere prestatievariantie.

5. Betekenis en Impact

• Steekproef-efficiëntie: De primaire betekenis is de drastische reductie in het aantal steekproeven dat nodig is om een effectieve policy te leren. Door de gradiënt te modelleren als een GP, "leert" het algoritme de vorm van de gradiëntfunctie, waardoor het kan generaliseren vanuit minder datapunten dan MC-methoden.
• Onzekerheidsbewust Leren: De levering van gradiëntcovariantie maakt risicosensitieve policy updates mogelijk. Het algoritme kan grotere stappen nemen wanneer de onzekerheid laag is en kleinere, veiligere stappen wanneer de onzekerheid hoog is, een eigenschap die ontbreekt in standaard PG methoden.
• Theoretische Strenge: Het artikel biedt rigoureuze bewijzen voor de gesloten-vorm oplossingen van de posterior-momenten, waardoor de kloof tussen Bayesiaanse niet-parametrische methoden en RL wordt overbrugd.
• Veelzijdigheid: Het kader verenigt de behandeling van zowel Markoviaanse (via BAC) als niet-Markoviaanse/POMDP (via BPG) problemen onder één Bayesiaanse paraplu.

Concluderend, dit werk vestigt een sterke theoretische en empirische basis voor Bayesiaans Versterkend Leren, en toont aan dat het behandelen van policy gradiënten als willekeurige variabelen gemodelleerd door Gaussische Processen leidt tot efficiëntere, stabielere en robuustere leeralgoritmen in vergelijking met traditionele frequentistische benaderingen.