Technische Samenvatting: SHAPO - Sharpness-Aware Policy Optimization voor Veilige Exploratie

Probleemstelling

Het inzetten van reinforcement learning (RL) agenten in veiligheidskritische domeinen vereist veilige exploratie (safe exploration), een proces waarbij agenten informatieve ervaringen verzamelen terwijl ze catastrofale fouten vermijden. Een fundamentele uitdaging ontstaat tijdens de vroege fase van training wanneer agenten toestanden bezoeken met een hoge epistemische onzekerheid (onzekerheid over modelparameters door schaarse on-policy data). In deze regio's zijn beleidsvoorspellingen onbetrouwbaar en kunnen exploratieve acties leiden tot onveilige uitkomsten.

Hoewel eerder werk grotendeels de onzekerheid aan de critic-zijde heeft aangepakt (bijv. door middel van ensembles, dropout of distributionele methoden) om de variabiliteit van de return te kwantificeren, is er een gat in methoden voor beleidsupdates (policy updates) die expliciet rekening houden met de onzekerheid van de actor-parameters. Het handhaven van een expliciete posterior over beleidsparameters is vaak onhaalbaar voor deep on-policy RL, waardoor het implementeren van actor-zijde risico-aversie moeilijk is. Gevolgelijk vertrouwen standaard beleidsupdates vaak op punt-schattingen van gradiënten, wat overmoedig kan zijn in regio's met een hoge onzekerheid.

Methodologie: Sharpness-Aware Policy Optimization (SHAPO)

De auteurs stellen SHAPO voor, een beleidsupdate-regel die het Sharpness-Aware Minimization (SAM) framework (Foret et al., 2020) aanpast aan de context van veilige exploratie. In plaats van direct de verwachte return te optimaliseren, streeft SHAPO naar een beleid dat de worst-case verwachte return maximaliseert binnen een lokale buurt van de huidige beleidsparameters.

Kernmechanisme

SHAPO wijzigt de standaard beleidsgradiënt-update door de gradiënten te evalueren bij een geperturbueerde parameter in plaats van bij de huidige parameters. Het updateproces bestaat uit twee stappen:

1. Inner Minimization (Pessimistische Perturbatie): Het algoritme vindt een perturbatie $\epsilon_{Down}$ binnen een vertrouwensregio (gedefinieerd door de Fisher Informatie Matrix) die de Lagrangian-objectieve $L_\lambda^{\pi_0}$ minimaliseert. Dit identificeert een "worst-case" beleid $\tilde{\pi}$ in de lokale buurt dat slechter presteert dan het huidige beleid $\pi_0$.
2. Outer Maximization (Update): Het beleid wordt bijgewerkt met behulp van de gradiënt van de objectieve functie geëvalueerd bij de geperturbueerde parameter $\theta_0 + \epsilon_{Down}$, in plaats van bij $\theta_0$.

Theoretische Interpretatie: Pessimisme via Epistemische Onzekerheid

Het artikel herinterpreteert deze sharpness-aware aanpassing via de lens van epistemische onzekerheid:

• Onzekerheidsmodellering: De huidige beleidsparameters $\theta_0$ worden gemodelleerd als een willekeurige variabele die een multivariate normale verdeling volgt $N(\theta_0, \frac{1}{n}F^{-1})$, waarbij $F$ de Fisher Informatie Matrix is en $n$ de effectieve steekproefomvang vertegenwoordigt.
• Pessimistische Bias: De perturbatie $\epsilon_{Down}$ komt overeen met de meest waarschijnlijke parameterwaarde die valt binnen de onderste staart (bijv. het $\alpha$-kwantiel) van de verwachte return-distributie. Door te optimaliseren op basis van de gradiënt bij dit pessimistische punt, herweegt SHAPO impliciet de beleidsgradiënten.
• Gradiënt Herweging: Analytische resultaten op een vereenvoudigd Gaussisch beleid laten zien dat SHAPO de gradiëntmagnitude versterkt voor zeldzame, onveilige acties (negatieve advantage) terwijl het de gradiënt tempert voor zeldzame, veilige acties (positieve advantage). Dit stuurt het leren aan richting conservatief gedrag in onder-verkende regio's, wat effectief acties bestraft die tot catastrofale uitkomsten zouden kunnen leiden als de huidige beleidsinschatting slechts licht afwijkt.

Implementatie

SHAPO is ontworpen om compatibel te zijn met diverse on-policy algoritmen (bijv. TRPO, PPO, CPO, CRPO). Het maakt gebruik van de Fisher Informatie Matrix om de buurt van beleidsfuncties te definiëren, waardoor de perturbatie de geometrie van de beleidsmanifold respecteert. De methode introduceert een hyperparameter $\delta_{Down}$ om het niveau van pessimisme te controleren, die constant gehouden of gescheduled kan worden op basis van het aantal verzamelde samples.

Belangrijkste Bijdragen

1. Nieuwe Update-regel: Introductie van SHAPO, die sharpness-aware optimalisatie integreert in de actor-beleidsupdate om expliciet om te gaan met epistemische onzekerheid.
2. Theoretisch Inzicht: Een formele demonstratie dat de gradiënt-aanpassing van SHAPO equivalent is aan het optimaliseren van een pessimistische objectieve onder een parameter-onzekerheidsmodel, wat leidt tot een systematische herweging van gradiënten die veiligheid in onzekere regio's prioriteert.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat SHAPO de veiligheid-efficiëntie Pareto-frontier uitbreidt over meerdere baselines (TRPO, CPO, PIDLag, CRPO, SauteRL) en omgevingen (Safety Gym, MuJoCo).
4. Ablatie-studies: Bewijs dat:
   • Perturbaties gedefinieerd in de Fisher-metriek beter presteren dan Euclidische tegenhangers.
   • Het toepassen van sharpness-aware optimalisatie op de actor kritieker is voor veilige exploratie dan het toepassen ervan op de critic.
   • SHAPO de frequentie van heavy-tailed episodische kostenverdelingen (catastrofale fouten) vermindert.

Experimentele Resultaten

De auteurs hebben SHAPO geëvalueerd op Safety Gym (PointGoal1, PointButton1) en MuJoCo (Ant-v4, Walker2d-v4) omgevingen.

• Veiligheid en Efficiëntie: Over alle benchmarks heen verbeterde SHAPO consistent ofwel de veiligheid (lagere kosten/foutpercentages), ofwel de taakprestaties (hogere return), of beide, waardoor de Pareto-frontiers van de baseline-algoritmen aanzienlijk werden uitgebreid.
• Reductie van Tail Risk: SHAPO onderdrukte de heavy tails in episodische kostenverdelingen aanzienlijk (bijv. het verminderen van het 95e percentiel van de kosten in Ant-v4), wat duidt op een reductie van zeldzame, catastrofale fouten.
• Robuustheid: De methode toonde robuustheid aan tegen hyperparameterkeuzes, met name wanneer $\delta_{Down}$ werd behandeld als een aanpasbare constante in plaats van een dynamisch gescheduled waarde gebaseerd op onzekere steekproefomvang-schattingen.
• Onbeperkte RL: In onbeperkte omgevingen met terminatiecondities (Ant, Walker2d) verminderde SHAPO voortijdige terminaties, wat de sample-efficiëntie verbeterde. In omgevingen zonder dergelijke tail-risico's (HalfCheetah) waren de voordelen beperkt, wat bevestigt dat de methode specifiek op tail-risk scenario's is gericht.

Betekenis en Claims

Het artikel beweert dat SHAPO een kritieke kloof in veilige exploratie aanpakt door de focus te verschuiven van het louter afdwingen van restricties op het uiteindelijke beleid naar het vormgeven van de updates zelf om rekening te houden met onzekerheid. Door de "sharpness" van de beleidssurrogaat (de gevoeligheid voor parameter-perturbaties) te behandelen als een proxy voor epistemische onzekerheid, creëert SHAPO een gesloten lus:

1. Veiligere updates leiden tot veiligere trajecten.
2. Veiligere trajecten genereren schonere data in risicovolle regio's.
3. Schonere data vermindert de epistemische onzekerheid.
4. Verminderde onzekerheid laat de conservativiteit vanzelf versoepelen naarmate het leren vordert.

De auteurs positioneren SHAPO niet als een vervanging voor bestaande safe RL-algoritmen, maar als een modulaire, orthogonale verbetering die de veiligheid en betrouwbaarheid van standaard on-policy updates verhoogt zonder complexe Bayesiaanse inferentie of expliciete onzekerheidskwantificatiemodules te vereisen.