CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning

Technische Samenvatting: CAPSULE

1. Het Probleem (Problem Statement)

In complexe, hoogdimensionale systemen (zoals autonome voertuigen of robots) is het een grote uitdaging om Safe Reinforcement Learning (Safe RL) toe te passen. De huidige methoden kampen met twee fundamentele tekortkomingen:

• Veiligheid in verwachting vs. harde garanties: De meeste bestaande Safe RL-methoden optimaliseren voor veiligheid "in verwachting" (expected safety). Dit betekent dat een agent gemiddeld genomen veilig is, maar in individuele situaties nog steeds gevaarlijke acties kan uitvoeren die leiden tot crashes of schade.
• Kennis van dynamica: Control-theoretic benaderingen (zoals Control Barrier Functions) kunnen harde veiligheidsgaranties bieden, maar gaan er meestal van uit dat de systeemdynamica (hoe de omgeving reageert op acties) volledig bekend is. In de praktijk is de dynamica echter vaak onbekend en niet-lineair.

2. Methodologie (Methodology)

De auteurs introduceren CAPSULE, een framework dat de voordelen van controle-theorie combineert met probabilistische machine learning. De methode bestaat uit drie hoofdfasen:

A. Offline Pretraining (Model Learning):
In plaats van direct online te leren (wat onveilig is), traint CAPSULE eerst een dynamica-model op een offline dataset.

• Control-Affine Model: Het model leert een structuur waarbij de verandering in de staat ($\Delta s$) lineair afhankelijk is van de actie ($a$). Dit is cruciaal voor de compatibiliteit met controle-theoretische methoden.
• Probabilistisch Ensemble: Er wordt gebruikgemaakt van een ensemble van neurale netwerken die niet alleen de gemiddelde beweging voorspellen, maar ook de aleatorische onzekerheid (ruis in de omgeving) en epistemische onzekerheid (onzekerheid door gebrek aan data).

B. Safety Barrier Construction (CBF):
Het geleerde model wordt gebruikt om Control Barrier Functions (CBFs) te construeren.

• Onzekerheidsbewuste veiligheid: Om te voorkomen dat het model "te optimistisch" is over de veiligheid, gebruikt CAPSULE de onzekerheidsschattingen om een conservatieve marge te creëren. De veiligheidsconditie wordt gecontroleerd op een ondergrens van de voorspelde staat, rekening houdend met de onzekerheid ($p_\delta |\bar{\sigma}(s_t)|$).
• Quadratic Programming (QP): De actie van de RL-agent wordt in real-time gecorrigeerd door een QP-solver. Deze solver zoekt de actie die het dichtst bij de gewenste RL-actie ligt, maar die strikt voldoet aan de CBF-veiligheidsvoorwaarde.

C. Online Policy Optimization:
Tijdens de online fase wordt de RL-policy (bijv. TRPO) getraind. De uiteindelijke actie is een compositie van drie delen:

1. De ruwe actie van de RL-policy ($a_{RL}$).
2. Een Compensator ($a_{bar}$), die de geschiedenis van eerdere correcties leert om de afhankelijkheid van de harde CBF-correctie te verminderen.
3. De real-time CBF-correctie ($a_{CBF}$).

3. Belangrijkste Bijdragen (Key Contributions)

• Uncertainty-Aware Control-Affine Ensemble: Een schaalbaar model dat zowel de control-affine structuur behoudt als robuuste onzekerheidsschattingen levert voor hoogdimensionale omgevingen.
• Hybride Veiligheidsmechanisme: Een methode die RL koppelt aan CBFs via een offline pretraining-fase, waardoor harde veiligheidsgaranties mogelijk worden zonder de taakprestaties (reward) te veel te beperken.
• Robuustheid tegen model-fouten: Door onzekerheid expliciet in de CBF-formule op te nemen, kan het systeem veilig blijven, zelfs als het geleerde model niet perfect is.

4. Resultaten (Results)

De methode is getest in de Safety Gymnasium (MuJoCo) omgevingen (Hopper, Walker, HalfCheetah). De resultaten tonen aan:

• Significante reductie in veiligheidschendingen: CAPSULE vertoont aanzienlijk minder schendingen van de veiligheidslimieten vergeleken met state-of-the-art baselines zoals TRPO-Lag, PPO-Lag en FOCOPS.
• Competitieve prestaties: Terwijl traditionele methoden (zoals TRPO-Lag) soms hogere beloningen halen door risico's te nemen, behoudt CAPSULE een vergelijkbaar niveau van taakprestaties terwijl het de veiligheid strikt handhaaft.
• Model nauwkeurigheid: Het geleerde control-affine model presteert bijna even goed als volledig niet-lineaire modellen, wat bewijst dat de vereenvoudigde structuur effectief is.

5. Betekenis (Significance)

CAPSULE overbrugt de kloof tussen de flexibiliteit van Reinforcement Learning en de strikte veiligheidseisen van de controle-theorie. Het biedt een blauwdruk voor het inzetten van RL in de echte wereld (zoals bij zelfrijdende auto's of industriële robots), waar "gemiddeld veilig zijn" niet voldoende is en waar de exacte wetten van de fysica vaak onbekend of te complex zijn om vooraf exact te modelleren.