Technische Samenvatting: Beperkte Beleidsoptimalisatie via Steekproefgebaseerde Projectie in de Ruimte van Gewichten (SCPO)

1. Probleemstelling

Het artikel adresseert de uitdaging van veiligheidskritisch leren, specifiek de noodzaak om de prestaties van op leren gebaseerde controllers te verbeteren zonder veiligheidsbeperkingen te schenden of een bekend veilig werkgebied te verlaten. De auteurs focussen op een setting waarin:

• Veiligheidsbeperkingen op Basis van Uitrol: Veiligheid wordt gedefinieerd door traject-niveau metrieken (bijvoorbeeld staatbeperkingen, stabiliteitsmarges) die via simulatie (uitrols) kunnen worden geëvalueerd, maar niet analytisch differentieerbaar zijn met betrekking tot beleidsparameters.
• Black-Box Beperkingen: De beperkingsfuncties $g(\theta)$ missen gesloten-vorm Jacobianen, waardoor standaard methoden voor beperkte optimalisatie (zoals die expliciete gradiënten van beperkingen vereisen) niet toepasbaar zijn.
• Doel: Beperkte beleidsoptimalisatie uitvoeren die recursieve haalbaarheid garandeert (veilig blijven bij elke trainingsstap) en monotone verbetering van de taakdoelstelling, beginnend vanuit een gecertificeerde veilige initialisatie.

2. Methodologie: SCPO

De auteurs stellen SCPO (Sampling-Based Constrained Policy Optimization) voor, een methode die veiligheid direct in de gewichtenruimte van het beleidsnetwerk afdwingt.

2.1 Architectuur en Initialisatie

Geïnspireerd door Low-Rank Adaptation (LoRA), is het beleid $\pi_\theta$ gestructureerd als een combinatie van een gecertificeerde basiscontroller ($\pi_{safe}$) en een residueel neurale netwerk ($\phi_\theta$):
$$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$$

• $\pi_{safe}$: Een niet-parametrische, stabiliserende controller (bijvoorbeeld LQR met afsnijden) die veiligheid en stabiliteit garandeert binnen een regio $\Omega$.
• $\phi_\theta$: Een neurale netwerk geinitialiseerd om nul uit te voeren ($\phi_{\theta_0} \equiv 0$). Dit zorgt ervoor dat het initiële beleid identiek is aan de veilige basis.
• Leerdoelstelling: Het trainingsproces wordt beschouwd als "veilige adaptatie" in de buurt van $\pi_{safe}$, waarbij $\phi_\theta$ leert om de prestaties te verbeteren terwijl het projectiemechanisme ervoor zorgt dat het gecombineerde beleid stabiliserend blijft.

2.2 Constructie van Lokale Veilige Regio

Omdat $g(\theta)$ niet-differentieerbaar is, construeert SCPO een lokale veilige set in de gewichtenruimte met behulp van:

1. Puntsgewijze Evaluaties: Veiligheidsmetrieken worden geëvalueerd op een eindige set kandidaat-gewichtsupdates (uitrols).
2. Gladheidsgrenzen: De methode gaat uit van lokale Lipschitz-continuïteit van de veiligheidsbeperkingen. Het maakt gebruik van een kwadratische bovengrens om het beperkingsoppervlak te benaderen:
   $$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$$
   waarbij $L_i$ krommingsconstanten zijn die worden geschat op basis van gesteste updates.

2.3 Steekproefgebaseerde Projectie

In plaats van een beperkt optimalisatieprobleem in hoge dimensie direct op te lossen, beperkt SCPO de update tot de opspanning van gesteste kandidaat-updates ($D$).

• Kandidaatbank: Een buffer $D$ slaat recente updates en hun overeenkomstige veiligheidsbeoordelingen $G$ op.
• Projectie in Lage Dimensie: De update wordt geparametriseerd als $\Delta\theta = Dc$, waarbij $c \in \mathbb{R}^m$ een coëfficiëntenvector is.
• Convexe Optimalisatie: Het probleem reduceert tot een Second-Order Cone Program (SOCP) (of Quadratisch Beperkt Kwartisch Program) in de laag-dimensionale ruimte $c$:
  $$\min_c \|c - e_m\|_S^2 \quad \text{s.t.} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$$
  Dit projecteert de ruwe gradiënt-update op een conservatieve lokale veilige set, waardoor wordt gegarandeerd dat de nieuwe gewichten voldoen aan de veiligheidsbeperkingen.

2.4 Theoretische Garanties

• Veilig door Inductie: Beginnend vanuit een veilige initialisatie ($g(\theta_0) \leq 0$), zorgt de projectie ervoor dat $g(\theta_{t+1}) \leq 0$ voor alle daaropvolgende stappen, mits de projectie haalbaar is.
• Stabiliteit: Voor lineaire dynamische systemen behoudt de methode de Lyapunov-marge, waardoor het gesloten-lus systeem lokaal asymptotisch stabiel blijft en de veilige regio $\Omega$ voorwaarts invariant is.
• Monotone Verbetering: Met behulp van een Armijo-stijl backtracking lijnzoeken, garandeert het algoritme een afname in de taakverliesfunctie $L(\theta)$ zonder beperkingen te schenden.

3. Belangrijkste Bijdragen

1. Projectie in de Ruimte van Gewichten: Een nieuwe steekproefgebaseerde methode die veiligheidsprojectie uitvoert direct in de parameterruimte zonder gradiënten van de beperkingsfuncties te vereisen.
2. Mechanisme voor Veiligheid door Inductie: Een leerframework dat recursieve haalbaarheid en monotoon verbetering van de doelstelling garandeert, beginnend vanuit elke veilige initialisatie.
3. Analyse op Gebied van Regelingstheorie: Een formeel bewijs dat SCPO gesloten-lus stabiliteit voor lineaire systemen handhaaft door Lyapunov-marges te behouden.
4. Empirische Validatie: Demonstratie van robuustheid tegen schadelijk toezicht en veilige exploratie in taken voor beperkte regressie en imitatie-leren.

4. Experimentele Resultaten

De auteurs evalueren SCPO op twee taken:

4.1 Beperkte Regressie

• Opstelling: Een 1D regressieprobleem waarbij de doelfunctie een harde beperking ($|y| \leq 1.4$) schendt in bepaalde regio's.
• Resultaat: SCPO past de doelfunctie succesvol aan in veilige regio's en verzadigt soepel bij de beperkingsgrens. In tegenstelling tot een baseline met zachte beperkingen (die differentieerbare beperkingen en hyperparameterafstelling vereist), handhaaft SCPO strikt de harde beperking zonder schending.

4.2 Imitatie-leren voor Dubbele-Integrator

• Opstelling: Een regelingstaak waarbij een neurale netwerk probeert een "kwaadaardige expert" na te bootsen (een agressief beleid dat het systeem destabiliseert), beginnend vanuit een veilige LQR-basis.
• Resultaat:
  • Afwijzing van Schadelijke Updates: SCPO wijst updates af die zouden leiden tot instabiliteit, waardoor wordt voorkomen dat het beleid het destabiliserende gedrag van de expert nabootst.
  • Behoud van Stabiliteit: Het geleerde beleid behoudt het stabiliserende gebied van de oorspronkelijke veilige controller, terwijl de kwaadaardige expert faalt om het systeem te stabiliseren over een groot deel van de toestandsruimte.
  • Prestaties: Het beleid bereikt een betekenisvolle verbetering in de imitatie-doelstelling terwijl het binnen het veilige werkgebied blijft.

5. Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat SCPO een praktische, datagedreven aanpak voor veilig leren biedt die niet afhankelijk is van expliciete beperkingskosten of differentieerbare veiligheidsfilters. Door een gecertificeerde back-upcontroller te behandelen als een bevroren basis en updates in de gewichtenruimte te projecteren, maakt het veilige adaptatie mogelijk buiten conservatieve baselines. Dit is bijzonder relevant voor domeinen zoals autonoom rijden en robotica, waar formele garanties moeilijk af te leiden zijn maar veiligheid niet onderhandelbaar is.

Beperkingen:
De auteurs erkennen dat de methode conservatief is. De projectiestap genereert geen nieuwe richtingen voor verbetering; het selecteert alleen de beste veilige richting uit de bestaande gesteste kandidaten. De auteurs merken op dat toekomstig werk gericht is op het integreren van andere technieken om de doelstelling te modificeren voor verbeterde veilige exploratie, waarmee deze conservativiteit wordt aangepakt.

Conclusie:
SCPO biedt een rigoureus framework voor beperkte beleidsoptimalisatie dat de kloof overbrugt tussen hoogpresterend leren en strikte veiligheidsvereisten, en ervoor zorgt dat op leren gebaseerde controllers veilig en stabiel blijven gedurende het trainingsproces.