Technische Samenvatting: Van Leren naar Veiligheid: Een Direct Datagestuurd Framework voor Beperkte Controle

1. Probleemstelling

Het artikel behandelt de kritieke uitdaging van het waarborgen van veiligheid (het voldoen aan restricties) in leergestuurde controlesystemen, met name in model-vrije omgevingen waar expliciete systeemdynamica niet beschikbaar is. Hoewel traditionele veiligheidsfilters (bijv. Control Barrier Functions of CBF's) effectief veiligheid afdwingen in model-gebaseerde contexten door controle-inputs aan te passen, vertrouwen zij doorgaans op voorspellende modellen afgeleid van fysica of data. Deze afhankelijkheid creëert een kloof: bestaande datagestuurde veiligheidsfilters zijn grotendeels "indirect", wat eerst systeemidentificatie vereist, wat fouten verergert en de veiligheidsprestaties verslechtert. Bovendien zijn "directe" datagestuurde methoden vaak beperkt tot lineaire restricties of missen zij formele veiligheidsgaranties.

De kern van het probleem is het ontwerpen van een controleframework dat:

1. Direct werkt vanuit staat-overgangsdata zonder expliciete systeemidentificatie.
2. Naadloos integreert met willekeurige model-vrije leeralgoritmen (bijv. Reinforcement Learning, Supervised Learning) om prestaties te optimaliseren.
3. Formele garanties biedt op veiligheid en recursieve haalbaarheid, zelfs in de aanwezigheid van leeronnauwkeurigheden.

2. Methodologie

De voorgestelde oplossing is een optimalisatie-gebaseerd controleframework dat de prestatieoptimalisatie ontkoppelt van de veiligheidsafdwinging. Het framework steunt op een nieuw veiligheidscertificaat genaamd de State-Action Control Barrier Function (SACBF).

A. Kernconcept: State-Action Control Barrier Function (SACBF)

In tegenstelling tot klassieke CBF's, die veiligheid uitsluitend evalueren op basis van de staat $x$, is de SACBF, aangeduid als $Q_B(x, u)$, een functie van zowel de staat als de controle-input.

• Definitie: Een functie $Q_B$ is een SACBF als de nul-subniveauverzameling een veilige verzameling $S_Q$ definieert waarvoor, voor elke staat in $S_Q$, er een input bestaat die voldoet aan $Q_B(x, u) \leq 0$ en de volgende staat binnen $S_Q$ houdt.
• Voordeel: Deze formulering stelt het veiligheidsfilter in staat om de veiligheid van een kandidaat controle-actie direct bij het huidige staat-actie paar te beoordelen, zonder de dynamica vooruit te propageren of een model $f(x, u)$ te vereisen.

B. Het Controleframework

De controlebeleid $\pi(x)$ wordt gedefinieerd als de oplossing van een beperkt optimalisatieprobleem:
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{s.t.} \quad Q_B(x, u) \leq 0$$
Hierbij is $Q(x, u)$ een objectieve functie (geleerd via RL of SL) die de taakprestaties vertegenwoordigt, en $Q_B(x, u)$ is de geleerde SACBF die fungeert als de veiligheidsrestrictie.

C. Het Leren van SACBF's

Het artikel stelt drie verschillende datagestuurde synthesemethoden voor $Q_B$ voor:

1. Reinforcement Learning (RL): Behandelt de SACBF-synthese als een bereikbaarheidsprobleem (reachability problem). Het past waarde-gebaseerde RL-methoden (zoals Temporal Difference learning) aan om de optimale waardefunctie van een bereikbaarheidsprobleem te benaderen. Noot: Deze methode mist formele convergentiegaranties voor het veiligheidscertificaat zelf vanwege de niet-contractieve aard van de ongedisconteerde Bellman-vergelijking in bereikbaarheid.
2. Expert-gestuurd Leren: Veronderstelt de beschikbaarheid van een expert veilige controller (bijv. Artificial Potential Fields). Het formuleert de synthese als een robuust optimalisatieprobleem om een SACBF te vinden die consistent is met de veilige trajecten van de expert.
3. Supervised Learning (SL): Veronderstelt dat een geldige klassieke CBF $B(x)$ reeds bekend is. Het gebruikt supervised regressie om de mapping van staat-actie paren naar de SACBF-waarde te leren, afgeleid van de bekende CBF.

D. Robuustheidsanalyse: Error-to-State Safety (ESSf)

Om leerfouten aan te pakken (waarbij de geleerde $Q_B^\omega$ afwijkt van de ware $Q_B$), introduceren de auteurs een Error-to-State Safety (ESSf) framework.

• Mechanisme: In plaats van te vertrouwen op model-gebaseerde voorspelling, kwantificeert het framework de impact van leerfouten ($\epsilon$) direct op de veiligheidsrestricties.
• Strategie: Het hanteert een aanpak van constraint tightening en relaxation:
  • Tighten (Verstrakken): De oorspronkelijke staat-restricties ($h(x) \leq 0$) worden verstrakkt naar $h(x) + \delta(\epsilon) \leq 0$.
  • Relax (Verruimen): De SACBF-restrictie in het filter wordt verruimd naar $Q_B^\omega(x, u) \leq \kappa(\epsilon)$.
• Resultaat: Theorems 1 en 2 bieden gesloten vorm relaties die aantonen dat, indien de leerfout begrensd is, het systeem recursief haalbaar en veilig blijft binnen de verstrakte staat-restricties.

E. Beleidsverfijning (Policy Refinement)

Zodra een geldige SACBF is geleerd, breidt het framework onbeperkte waarde-gebaseerde RL-algoritmen (zoals Fitted Q Iteration) uit naar de beperkte setting. Het algoritme (Constrained FQI) werkt de prestatie-objectieve $Q_\theta$ iteratief bij terwijl de geleerde SACBF-restrictie wordt gehandhaafd, wat zorgt voor een beleid dat nabij-optimaal is voor de taak terwijl aan de veiligheid wordt voldaan.

3. Belangrijkste Bijdragen

1. Direct Datagestuurd Veilig Controleframework: Het artikel stelt een framework voor dat veilige controllers direct uit data leert zonder systeemidentificatie, waardoor de kloof tussen model-vrij leren en beperkte controle wordt overbrugd.
2. State-Action Control Barrier Functions (SACBF): Het introduceert en gebruikt SACBF's, die veiligheid evalueren op staat-actie paren, wat veiligheidsfilters mogelijk maakt die geen expliciete dynamica-modellen vereisen.
3. Drie Syntheseschema's: Het presenteert drie methoden om SACBF's te leren: via RL (algemeen maar minder gegarandeerd), via expert-demonstraties (robuust) en via supervised learning van bekende CBF's (steekproef-efficiënt).
4. Error-to-State Safety (ESSf) Analyse: Het biedt een nieuw robuutheidsanalyse-framework dat kwantificeert hoe leerfouten de veiligheid beïnvloeden, waarbij formele garanties worden geboden via staat-restrictie verstrakking en SACBF-restrictie verruiming.
5. Ontkoppelde Optimalisatie: Het framework scheidt prestatie-leren (optimaliseren van $Q$) van veiligheidsafdwinging (optimaliseren van $Q_B$), waardoor integratie van diverse leeralgoritmen mogelijk is terwijl de veiligheid behouden blijft.

4. Resultaten

Het framework werd gevalideerd via simulaties op een autonoom voertuig dat beweegt in een 2D-ruimte met obstakels.

• Casus Setup: Een kinematisch voertuigmodel met staat- en inputrestricties werd gebruikt. De SACBF werd geleerd met zowel de expert-gestuurde aanpak (met gebruik van Artificial Potential Fields als expert) als de RL-aanpak.
• Veiligheidsprestaties:
  • Het voorgestelde 3DSF (Direct Data-Driven Safety Filter) bereikte een veiligheidspercentage van 100% over diverse begincondities en referentiebeleid (zowel unsafe APF als unsafe DDPG).
  • In contrast hiermee bereikten Indirecte Datagestuurde Veiligheidsfilters (die vertrouwen op een geleerd model) lagere veiligheidspercentages (bijv. ~79% voor unsafe APF), toegeschreven aan de stapeling van modelidentificatiefouten en CBF-leerfouten.
  • MPC (Model Predictive Control) bereikte 100% veiligheid maar leed onder slechte taakprestaties (slechts ~78% van de trajecten bereikten het doel) door niet-convexe optimalisatieproblemen en hoge computationele kosten.
• Taakprestaties:
  • Het Constrained FQI algoritme (leren van $Q$ met SACBF-restricties) bereikte een totale kosten van 173.85, waarmee het zowel veilige als onveilige DDPG-policies gefilterd door 3DSF overtrof. Dit demonstreert dat het direct in het RL-trainingsproces opnemen van veiligheidsrestricties de taakprestaties verbetert vergeleken met post-hoc filtering of reward shaping.
• Computationele Efficiëntie: De 3DSF vertoonde aanzienlijk lagere online CPU-tijden (ongeveer 2,2 ms) vergeleken met MPC (ongeveer 33 ms), wat het geschikt maakt voor real-time toepassingen.

5. Betekenis en Claims

Het artikel claimt een bescheiden maar rigoureuze vooruitgang te bieden in veilige leergestuurde controle:

• Het overbruggen van de Kloof: Het slaagt erin de kloof tussen model-vrij leren en beperkte controle te overbruggen door de afhankelijkheid van expliciete systeemmodellen voor veiligheidsafdwinging te verwijderen.
• Formele Garanties zonder Modellen: Het biedt formele veiligheidsgaranties (recursieve haalbaarheid en restrictie-naleving), zelfs wanneer de systeemdynamica onbekend is, mits de leerfouten begrensd zijn.
• Superioriteit boven Indirecte Methoden: De resultaten suggereren dat directe datagestuurde benaderingen de foutstapeling vermijden die inherent is aan indirecte methoden (modelidentificatie + controller leren), wat leidt tot betere veiligheidspercentages.
• Flexibiliteit: Het framework is compatibel met een breed scala aan bestaande leeralgoritmen (RL, SL) en kan online worden bijgewerkt.

Erkende Beperkingen:

• De methode vereist sampling in de staat-actieruimte, wat de steekproefcomplexiteit verhoogt ten opzichte van staat-alleen methoden.
• Veiligheidsrestricties kunnen worden geschonden tijdens de dataverzamelfase voor training, wat ongeschikt kan zijn voor real-world systemen waar veiligheid op elk moment cruciaal is (hoewel simulators dit kunnen mitigeren).
• De RL-gebaseerde synthese van SACBF's mist formele convergentiegaranties voor het veiligheidscertificaat zelf vanwege de aard van het bereikbaarheidsprobleem.
• Het huidige werk richt zich op discrete-tijd systemen; uitbreiding naar continue-tijd is toekomstig werk.