Technische Samenvatting: PAC-Bayesiaans Reinforcement Learning traint generaliseerbare policies

Probleemstelling

Het implementeren van reinforcement learning (RL) algoritmen in veiligheidskritische real-world omgevingen vereist een hoog vertrouwen dat geleerde policies zullen generaliseren buiten de trainingsdata. Hoewel statistische leertheorie rigoureuze generalisatiegaranties biedt voor supervised learning, wordt het uitbreiden van deze garanties naar RL bemoeilijkt door de sequentiële aard van data. RL-trajecten bestaan uit tijdelijk gecorreleerde staten en acties, wat de independent and identically distributed (i.i.d.) assumptie die ten grondslag ligt aan klassieke generalisatiebounds schendt. Gevolgelijk leveren bestaande PAC-Bayesiaanse benaderingen voor RL ofwel vacuüm (betekenisloze) bounds op door slechte schaling met de effectieve horizon, of ze hergebruiken de theorie voor algoritmisch ontwerp zonder strikte, berekenbare prestatiecertificaten te bieden. Bovendien vertrouwen eerdere bounds vaak op abstracte mixing coëfficiënten of falen ze om de specifieke Markov-afhankelijkheden te rekening te houden die inherent zijn aan RL-data.

Methodologie

Theoretische Bijdrage: Een Nieuwe PAC-Bayesiaanse Bound

De auteurs leiden een nieuwe PAC-Bayesiaanse generalisatiebound af voor RL die expliciet rekening houdt met Markov-afhankelijkheden via de mixing time ($\tau_{min}$) van de onderliggende Markov keten.

• Probleemopstelling: Het framework beschouwt een gedisconteerde Markov Decision Process (MDP) waarbij de trainingsdata bestaat uit $T$ trajecten verzameld via een gedragspolicy $\pi_b$. De evaluatiepolicy $\pi_\theta$ is geparametriseerd door $\theta$ getrokken uit een posterior distributie $\rho$.
• Bounded Differences: De kern van de technische inzichten betreft het vaststellen van een bounded-differences conditie op de negatieve empirische return. Door te analyseren hoe een perturbatie in een enkele state-action-reward tuple door het traject propageert, leiden de auteurs expliciete constanten ($c$) af die deze invloed kwantificeren.
• Concentratie-ongelijkheid: Door gebruik te maken van Paulin's (2018) uitbreiding van de McDiarmid ongelijkheid naar Markov ketens, leiden de auteurs een tail bound af op de afwijking tussen de ware verwachte loss en de empirische loss. Deze bound is expliciet afhankelijk van de mixing time $\tau_{min}$, die meet hoe snel de distributie van de keten convergeert naar zijn stationaire distributie.
• De Bound: De resulterende ongelijkheid (Theorem 3.3) biedt een high-probability upper bound op de verwachte ware risk (of een lower bound op de verwachte waarde) voor elke posterior distributie $\rho$:
  $$\mathbb{E}_{\theta \sim \rho}[L(\theta)] \leq \mathbb{E}_{\theta \sim \rho}[\hat{L}_D(\theta)] + \sqrt{\frac{R_{max}^2(1-\gamma^{2H})}{T(1-\gamma^2)} \tau_{min} \left( \text{KL}(\rho \parallel \mu) + \ln \frac{\sqrt{2}}{\delta} \right)}$$
  Deze formulering verbetert het eerdere werk door een schaling van $O((1-\gamma)^{-1})$ te bereiken ten opzichte van de effectieve horizon, vergeleken met de prohibitieve $O((1-\gamma)^{-4})$ schaling van eerdere Bellman-error-gebaseerde benaderingen.

Algoritmische Bijdrage: PB-SAC

Om deze theoretische bound te vertalen naar een praktisch leeralgoritme, introduceren de auteurs PB-SAC (PAC-Bayes Soft Actor-Critic).

• Posterior-Guided Exploration: In plaats van standaard $\epsilon$-greedy exploratie, behoudt PB-SAC een diagonale Gaussische posterior $\rho(\theta) = \mathcal{N}(\upsilon, \text{diag}(\sigma^2))$ over de policy parameters. Tijdens exploratie worden meerdere kandidaat-policies gesampled uit $\rho$ en wordt de actie gekozen die de Q-waarde maximaliseert onder deze kandidaten, waardoor onzekerheidskwantificatie effectief wordt gebruikt om exploratie te sturen.
• Optimalisatie via PAC-Bayes-$\lambda$: Het objectief van de bound is niet-convexe vanwege de wortel van de KL divergentie term. De auteurs gebruiken een variationele benadering met de identiteit $\sqrt{x} = \inf_{\lambda > 0} (\frac{x}{2\lambda} + \frac{\lambda}{2})$. Dit transformeert het probleem in een convex alternerend optimalisatieschema (PAC-Bayes-$\lambda$) waarbij de posterior parameters en de hulpvariabele $\lambda$ iteratief worden bijgewerkt.
• Policy-Level REINFORCE: Om de gradiënten van de verwachte return over de posterior te berekenen, breiden de auteurs de REINFORCE trick uit naar het policy-niveau, waardoor tractabele sampling-gebaseerde gradiëntestimatie mogelijk is zonder de transities te husselen, waardoor de intra-traject afhankelijkheidsstructuur die vereist is door de theorie behouden blijft.
• Adaptieve Sampling: Om de instabiliteit aan te pakken die wordt veroorzaakt door periodieke posterior updates (die de critic kunnen ontkoppelen van de nieuwe policy distributie), gebruikt PB-SAC een adaptief sampling mechanisme. Direct na een PAC-Bayesiaanse update wordt de actor bevroren en wordt de critic gerekalibreerd met een hoge rate van posterior samples (256 samples) voordat de standaard training met de posterior mean wordt hervat.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op vier continuous control taken (HalfCheetah, Ant, Hopper, Walker2d) in de MuJoCo omgeving.

• Niet-vacuüm Certificaten: De PAC-Bayesiaanse bounds werden consistent strakker tijdens de training en volgden de verbetering in policy performance. In dense-reward taken boden de bounds betekenisvolle vertrouwsinschattingen in plaats van vacuüm garanties.
• Competitieve Prestaties: PB-SAC behield prestaties die competitief waren met de standaard Soft Actor-Critic (SAC) baseline in alle omgevingen.
• Superioriteit in Sparse-Reward Scenario's: In een sparse-reward setting (Ant met zeer vertraagde beloningen) presteerde PB-SAC beter dan zowel vanilla SAC als PBAC (een eerdere PAC-Bayes exploratiemethode), wat aantoont dat posterior-guided exploratie tastbare voordelen biedt in moeilijke exploratie scenario's.
• Robuustheid tegen Mixing Time: Sensitiviteitsanalyse toonde aan dat hoewel het onderschatten van de mixing time $\tau_{min}$ leidt tot overconfident bounds, het overschatten resulteert in lossere maar nog steeds valide en betekenisvolle certificaten. Het algoritme blijft robuust, zelfs met een conservatieve overschatting van de mixing time.

Betekenis en Claims

Het paper claimt de kloof te overbruggen tussen leertheorie en algoritmische praktijk in sequentiële besluitvorming door het eerste praktische PAC-Bayesiaanse framework te vestigen voor optimalisatie en certificering in moderne deep RL.

• Theoretische Vooruitgang: Het biedt de eerste PAC-Bayesiaanse bound voor RL met expliciete mixing-time afhankelijkheid en verbeterde schaling, waarmee de uitdaging van tijdelijk afhankelijke data wordt geadresseerd.
• Praktisch Nut: Door PB-SAC te introduceren, laat dit werk zien dat generalisatiegaranties kunnen worden getransformeerd van passieve post-training evaluatietools naar actieve componenten van het leeralgoritme die exploratie en optimalisatie sturen.
• Veiligheid en Betrouwbaarheid: De aanpak biedt een formeel mechanisme om de betrouwbaarheid van empirische prestatieschattingen te kwantificeren, wat een "deployment certificate" biedt die waarschuwt tegen het inzetten van policies met grote gaten tussen empirische returns en theoretische lower bounds.

De auteurs erkennen beperkingen, zoals de conservatieve aard van mixing time schatting en de geometrische mismatch van Gaussische KL divergentie met parameter ruimtes, en suggereren dat toekomstig werk Wasserstein-gebaseerde alternatieven of gestructureerde posteriors zou kunnen verkennen. Ze stellen echter dat hun resultaten PAC-Bayesiaanse computation vestigen als een levensvatbaar pad naar betrouwbare deep RL.