Technische Samenvatting: Provably Safe, Yet Scalable Reinforcement Learning (PS2-RL)

Probleemstelling

Veilige Reinforcement Learning (RL) streeft naar het aanleren van beleidsregels (policies) die de taakbeloningen maximaliseren terwijl strikte veiligheidsrestricties worden nageleefd. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën, die beide aanzienlijke beperkingen hebben:

1. Soft-Constrained Optimization: Methoden die gebruikmaken van Lagrangiaanse relaxatie of neurale certificaatfuncties behalen vaak empirisch succes, maar missen formele garanties. Hierdoor kunnen zij catastrofale fouten tijdens de inzet (deployment) niet voorkomen.
2. Strictly Guaranteed Methods: Benaderingen die vertrouwen op expliciete certificaatfuncties (bijv. Control Barrier Functions of Safety Indices) bieden formele veiligheid, maar vereisen de synthese en verificatie van controle-invariante verzamelingen. Dit proces schaalt slecht met de staatdimensie, wordt vaak computationeel onuitvoerbaar voor hoogdimensionale systemen en leidt tot overly conservatief gedrag.

De kernuitdaging is het ontwikkelen van een RL-framework dat bewijsbaar veilige garanties biedt voor hoogdimensionale, input-beperkte systemen zonder dat dit ten koste gaat van prestaties of schaalbaarheid.

Methodologie: Het PS2-RL Framework

De auteurs stellen PS2-RL (Provably Safe, yet Scalable RL) voor, een architectuur bestaande uit twee fasen die de expliciete synthese van globale invariante verzamelingen vermijdt. In plaats daarvan maakt het gebruik van een geleerd backup-beleid om online een impliciete controle-invariante verzameling te genereren.

Fase I: Het leren van het Safe-Arrival Policy

De eerste fase richt zich op het vergroten van de veiligheidsregio. Het systeem wordt verankerd door een kleine, gecertificeerde basisset $B$ (bijv. een LQR-gestabiliseerd evenwicht) en een basiscontroller $\pi_B$. Het doel is om een safe-arrival policy ($\pi_{SA}$) te leren die het systeem vanuit een grotere staatruimte naar $B$ stuurt, terwijl het binnen de veilige set $S$ blijft.

• Safe-Arrival Value Function: De auteurs introduceren een nieuwe objectieve functie, de safe-arrival value function, die fungeert als een indicator-gebaseerde beloning. Het kwantificeert het vermogen van een beleid om $B$ veilig te bereiken voordat een foutset $F$ wordt betreden.
  • Het voldoet aan een zelfconsistentieconditie en een Bellman-vergelijking, waardoor standaard RL-pipelines (bijv. TD3, SAC) de policy kunnen trainen.
  • De objectieve functie stimuleert tijd-optimale veilige herstelacties, waardoor de Backup-Induced Control-Invariant Set ($C_T(\pi_b)$) effectief wordt vergroot. Deze set bestaat uit alle staten van waaruit het samengestelde backup-beleid ($\pi_b = \pi_{SA}$ buiten $B$, $\pi_B$ binnen $B$) $B$ kan bereiken binnen een horizon $T$ zonder de veiligheid te schenden.

Fase II: End-to-End Training met een Control-Invariant Layer

De tweede fase traint het taakspecifieke RL-beleid ($\pi_\phi$) om beloningen te maximaliseren terwijl het strikt voldoet aan de veiligheidsrestricties die worden geïnduceerd door het vaste backup-beleid uit Fase I.

• Control-Invariant Layer (CIL): De auteurs construeren een differentieerbare projectielaag die de nominale output van het RL-beleid naar de BCBF-admissible input set ($K_{BCBF}$) mapt.
  • Deze set wordt gedefinieerd door de Backup Control Barrier Function (BCBF) restricties, die affien zijn in de controle-input $u$, gegeven een vaste backup flow.
  • De laag lost een Kwadratisch Programmeringsprobleem (QP) op om de controle-input te vinden die het dichtst bij de output van het nominale beleid ligt en tegelijkertijd aan de veiligheidsrestricties voldoet.
• Differentiabiliteit: Cruciaal is dat de QP-solver differentieerbaar is. Hierdoor kunnen gradiënten end-to-end door de veiligheidsprojectie tijdens de training propageren. Het RL-beleid leert om prestaties te optimaliseren binnen de gecertificeerde veilige set, in plaats van een beleid te leren dat later door een niet-differentieerbaar schild wordt gepatcht.

Belangrijkste Bijdragen

1. PS2-RL Framework: Een twee-fasen architectuur die formele veiligheidsgaranties bereikt voor hoogdimensionale systemen zonder expliciete globale invariante verzamelingen te synthetiseren. Het vertrouwt op geleerde backup rollouts en een controle-ruimte projectie.
2. Safe-Arrival Value Function: Een nieuwe objectieve functie die tijd-optimale veilige herstelacties naar een doelset codeert. Het bevat een Bellman-vergelijking, wat het mogelijk maakt om neurale backup-policies te trainen die empirisch gezien aanzienlijk grotere veilige regio's opleveren dan analytische alternatieven (bijv. LQR).
3. Control-Invariant Layer: Een differentieerbare projectielaag die BCBF-restricties afdwingt. De auteurs bewijzen dat deze laag de universele benaderingseigenschap (universal approximation property) van het onderliggende neurale netwerk behoudt, wat garandeert dat veiligheidsafdwinging de expressiviteit van het beleid niet ondermijnt.
4. Theoretische Garanties: Uitgebreide bewijzen die vaststellen dat:
   • Het samengestelde PS2-beleid behoort tot de klasse van veilige beleidsregels ($\Pi_{safe}$).
   • Het framework een gecertificeerde innerlijke benadering oplost van het oorspronkelijke veilige RL-probleem.
   • De projectielaag de benaderingskracht van het beleidsnetwerk behoudt.

Experimentele Resultaten

Het framework werd geëvalueerd op twee tracking-taken met opzettelijk onveilige referentie-trajecten:

1. Unicycle Lane-Keeping (3D staat): PS2-RL behaalde 100% veiligheid over alle seeds en presteerde beter dan alle baselines in tracking nauwkeurigheid (laterale en koers RMSE) terwijl de veiligheid behouden bleef. Het verminderde de conservativiteit aanzienlijk vergeleken met het gebruik van een analytisch backup-beleid (PS2ABP).
2. Quadrotor Powerloop (10D staat): Deze taak betrof een 10-dimensionaal systeem met strikte actuatiegrenzen en een hoge relatieve graad hoogte-restrictie.
   • PS2-RL behaalde 100% veiligheid, terwijl methoden die vertrouwden op verwachte kostenrestricties (CMDP) of zachte straffen (soft penalties) regelmatig de veiligheid overtraden.
   • Vergeleken met baselines met formele veiligheidsmechanismen (CBF-RL, Model Predictive Shielding), vertoonde PS2-RL substantieel lagere tracking-fouten (ongeveer 40–70% reductie in RMSE).
   • Het geleerde safe-arrival beleid verhoogde de herstelbaarheid van relevante nabij-plafond staten van 60,9% (analytisch) naar 85,9%.

Ablatie-studies: Het verwijderen van de Control-Invariant Layer tijdens de inzet (deployment) zorgde ervoor dat de veiligheid naar 0% daalde, wat bevestigt dat de laag essentieel is voor garanties. Omgekeerd resulteerde het gebruik van de laag enkel als een post-hoc filter (zonder end-to-end training) in 43–53% slechtere tracking-prestaties, wat de noodzaak van training door de differentieerbare projectie benadrukt.

Betekenis en Claims

Het artikel claimt dat PS2-RL erin slaagt de kloof tussen bewijsbare veiligheid en schaalbaarheid te overbruggen. Door de onuitvoerbare synthese van globale invariante verzamelingen te vervangen door geleerde backup rollouts en een differentieerbare controle-ruimte projectie, maakt het framework veilige RL mogelijk voor hoogdimensionale systemen (tot 10 staten in de experimenten) waar eerdere bewijsbaar veilige methoden moeite hebben of onpraktisch worden.

De auteurs benadrukken dat hun aanpak geen beperkingen oplegt aan het onderliggende RL-algoritme en kan worden geïntegreerd in bestaande trainingspipelines. Theoretische resultaten bevestigen dat de methode harde veiligheidsgaranties biedt terwijl de hoge prestaties en expressiviteit behouden blijven die vereist zijn voor complexe robotische besturingstaken.

Erkende Beperkingen: De formele garanties rusten op de beschikbaarheid van een control-affine analytisch dynamisch model of een differentieerbare simulator. De auteurs merken op dat het uitbreiden van het framework naar onzekere dynamica en perceptie-gebaseerde restricties, evenals hardware-implementatie, toekomstig werk blijven.