Technische Samenvatting: Conformal Reachability voor Veilige Controle in Onbekende Omgevingen

1. Probleemstelling

Het artikel behandelt de uitdaging van het ontwerpen van bewijsbaar veilige controlebeleidsregels voor autonome systemen die opereren in onbekende dynamische omgevingen. Hoewel Reinforcement Learning (RL) autonomie heeft geavanceerd, missen standaardbenaderingen vaak strikte veiligheidsgaranties; ze optimaliseren doorgaans voor gemiddelde prestaties of vertrouwen op empirische veiligheid, wat tekortschiet in scenario's met kritieke veiligheid.

Bestaande verificatie- en synthesetechnieken kampen met aanzienlijke beperkingen:

• Aannames van Bekende/Deterministische Dynamiek: Veel methoden gaan ervan uit dat systeemdynamica bekend of deterministisch is, wat in de praktijk zelden het geval is.
• Eindige Toestands-/Actieruimtes: Benaderingen vereisen vaak eindige toestands- of actieruimtes, wat de toepasbaarheid op continue systemen beperkt.
• Schaalbaarheid en Gladheid: Formele methoden zoals Hamilton-Jacobi reachability schalen niet goed met de complexiteit van het systeem, en veel op leren gebaseerde methoden gaan uit van gladde dynamica of specifieke modelvormen (bijv. Gaussische processen).
• Benaderde Garanties: Huidige veilige RL-methoden bieden veiligheid vaak alleen "gemiddeld" (bijv. via Constrained MDPs) of in de limiet, in plaats van strikte probabilistische garanties voor een eindig horizon bij onbekende, potentieel stochastische dynamica.

Het kernprobleem is het aanleren van een beleid dat de cumulatieve beloning maximaliseert terwijl het systeem binnen een veilige verzameling $S_s$ blijft voor een beslissingshorizon $K$, met een strikte garantie met hoge waarschijnlijkheid, ondanks het ontbreken van voorkennis over de systeemdynamica $P$ of de beloningsfunctie $r$.

2. Methodologie: ReCORS

De auteurs stellen ReCORS voor (Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees), een framework dat model-gebaseerde en model-vrije RL integreert met Conformal Prediction (CP) en reachability-analyse.

2.1 Benadering van Systeemdynamica

De methode leert een parametrisch, discreet-tijds dynamisch model $\hat{f}_\beta$ (een neuraal netwerk) dat staat-actieparen naar voorspelde volgende toestanden mapt.

• Veiligheidsbewuste Training: In tegenstelling tot standaard dynamisch leren, incorporeert de verliesfunctie voor $\hat{f}_\beta$ veiligheidsgewichten. Dimensies van de toestandsruimte die kritischer zijn voor veiligheidsrestricties (bijv. nabijheid van obstakels) krijgen hogere gewichten in de $\ell_2$-loss. Dit geeft prioriteit aan voorspellingsnauwkeurigheid in veiligheidskritische dimensies, zelfs als dit de algehele voorspellingsfout licht verhoogt.
• Trainingspipeline: Het model wordt vooraf getraind op willekeurige acties en wordt vervolgens iteratief bijgetraind naast het beleid met behulp van data verzameld vanuit het huidige beleid.

2.2 Conformal Safety Analysis (CSA)

Om probabilistische garanties te bieden zonder specifieke dynamische distributies aan te nemen, gebruikt ReCORS Conformal Prediction.

• Onzekerheidskwantificering: CP wordt gebruikt om geldige voorspellingsintervallen (onzekerheidssets) te genereren voor het dynamisch model. Voor een gegeven staat en actie is de ware volgende staat gegarandeerd binnen het interval $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ met een waarschijnlijkheid van $1-\alpha$.
• Trajectniveau-grenzen: Om te voorkomen dat er te conservatieve union bounds over tijdstappen worden toegepast, maken de auteurs gebruik van een nonconformity score op trajectniveau (gebaseerd op Cleaveland et al. [12]). Dit optimaliseert de gewichten voor elk tijdstap om nauwere grenzen over de gehele horizon $K$ te produceren.
• Reachability Verificatie: Gebruikmakend van de geleerde dynamica $\hat{f}_\beta$ en de conformal onzekerheidsgrenzen $\eta$, voert het systeem forward reachability-analyse uit. Het verifieert of de bereikbare verzameling van toestanden op enig moment $t \in [1, K]$ de onveilige verzameling $S_u$ snijdt.
• Initiële Toestandsverdeling: Het framework houdt rekening met onzekerheid in de initiële toestandsverdeling $\rho$ door eindige-steekproef staartgrenzen (Hoeffding's ongelijkheid) toe te passen op de empirische verificatieresultaten, waardoor de veiligheidsgarantie geldt voor de gehele distributie, en niet alleen voor de gesamplede initiële toestanden.

2.3 Differentieerbare Trainingspipeline

Een belangrijke innovatie is het differentieerbaar maken van het veiligheidsverificatieproces om end-to-end beleidsoptimalisatie mogelijk te maken.

• Neurale Conformal Predictor: Een apart neuraal netwerk $\eta_\omega$ wordt getraind om de conformiteit drempels $\eta$ te voorspellen. Dit vervangt de niet-differentieerbare kwantielberekening in standaard CP.
• Verliesfuncties:
  • Conformal Loss: Combineert een efficiëntieterm (minimaliseren van de grootte van de voorspellingsset) en een dekkingsterm (waarborgen dat de empirische dekking voldoet aan de doelstelling $1-\alpha$).
  • Safety Loss: Bestraft expliciet de maximale veiligheidsverstoting over de horizon en stimuleert de verbetering van veiligheidsscores van de eerste naar de laatste stap.
• Gezamenlijke Optimalisatie: Het beleid (actor), de critic, het dynamisch model en de conformal predictor worden gezamenlijk geoptimaliseerd. De totale loss combineert de standaard RL-beloningsfunctie met de conformal en veiligheids-losses.
• Curriculum Learning: Het algoritme hanteert een curriculumstrategie, beginnend met een korte veiligheidshorizon $K_0$ en deze stapsgewijs vergroten naarmate het beleid bewezen veiligheid bereikt, waardoor het systeem complexe gedragingen geleidelijk kan leren.

3. Belangrijkste Bijdragen

1. Conformal Safety Analysis (CSA): Een nieuw framework dat conformal prediction combineert met reachability-analyse voor lerende controllers in onbekende dynamische systemen. Het biedt strikte probabilistische veiligheidsgaranties zonder uit te gaan van gladheid of specifieke vormen van de onderliggende dynamica.
2. Bewijsbaar Veilig Beleidsleren: Een trainingsframework dat model-vrije RL (voor beloningsmaximalisatie) integreert met model-gebaseerde reachability-estimatie (voor veiligheid). Het handhaaft harde veiligheidsrestricties via differentieerbare verliesfuncties afgeleid van conformal onzekerheidssets.
3. Uitgebreide Evaluatie: Uitgebreide experimenten in zeven omgevingen (inclusief Cartpole, Lane Following, 2D/3D Quadrotors, CarGoal en HalfCheetah) met zowel lineaire (affine) als niet-lineaire veiligheidsspecificaties.

4. Experimentele Resultaten

De auteurs evalueerden ReCORS tegen vijf state-of-the-art baselines (PPOLag, PCPO, CRPO, P3O, RESPO).

• Geverifieerde Veiligheid: ReCORS behaalde aanzienlijk sterkere bewijsbare veiligheidsgaranties dan alle baselines. In de Cartpole-omgeving bijvoorbeeld, faalden baselines in het bieden van nuttige garanties voorbij een horizon van $K=20$, terwijl ReCORS hoge-waarschijnlijkheids veiligheidsgaranties handhaafde tot $K \ge 50$.
• Beloning vs. Veiligheid Afweging: Hoewel sommige baselines hogere beloningen behaalden, deden zij dit ten koste van slechte veiligheidseigenschappen (frequente verstotingen). ReCors was de enige methode die consistent zowel sterke prestaties als geverifieerde veiligheid behaalde. In sommige domeinen (bijv. 2D Quadrotor) presteerde ReCORS beter dan alle baselines op zowel beloning als veiligheid.
• Niet-lineaire Constraints: De benadering handelde succesvol niet-lineaire veiligheidsrestricties af (bijv. veilige afstand in 2D Quadrotor), waarbij het de baselines overtrof die ofwel faalden in het verifiëren van veiligheid, of resulteerden in conservatief gedrag (bijv. drones die stationair blijven).
• Ablatie-studies: Resultaten bevestigden het belang van de veiligheidsbewuste gewichten in de dynamische training en de gezamenlijke optimalisatie van de dynamica- en onzekerheidsmodellen.

5. Betekenis en Claims

Het artikel claimt een nieuwe aanpak te presenteren die de kloof overbrugt tussen hoogwaardig leren en strikte veiligheidsverificatie in onbekende omgevingen. De betekenis ligt in:

• Verwijderen van Restrictieve Aannames: In tegen tegenstelling tot eerder werk, gaat het niet uit van bekende, deterministische of gladde dynamica, noch vereist het eindige toestandsruimtes.
• Distribution-Free Garanties: Door gebruik te maken van conformal prediction, biedt het statistisch gekalibreerde, distribution-free onzekerheidskwantificering, wat de veiligheidsgaranties robuust maakt tegen model-fouten en onbekende stochastiek.
• Schaalbaarheid: De discrete-tijd eindige-stap reachability-formulering schaalt beter met de complexiteit van het systeem vergeleken met PDE-gebaseerde Hamilton-Jacobi methoden.
• Praktische Toepasbaarheid: De methode is effectief gebleken in diverse domeinen, wat een levensvatbaar pad biedt naar betrouwbare autonomie waarbij veiligheid niet opgeofferd mag worden voor prestaties.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige benadering uitgaat van perfecte observabiliteit van de systeemtoestand, wat een openstaand probleem blijft voor toekomstig werk.