Joint Chance Constrained Safe-Optimal Control

Technische Samenvatting: Joint Chance Constrained Safe-Optimal Control

Probleemformulering
Het artikel behandelt de beperkingen van standaard Joint Chance Constrained (JCC) optimale controle voor stochastische systemen. In traditionele JCC-formuleringen is het doel om de verwachte kosten van alle trajecten (zowel veilige als onveilige) te minimaliseren, onderworpen aan een beperking dat de waarschijnlijkheid om binnen een veilige verzameling te blijven groter is dan $\alpha$. De auteurs stellen dat deze standaardbenadering een perverse prikkel creëert: de controller kan opzettelijk veiligheidsbeperkingen schenden om lage-kosten, onveilige trajecten uit te buiten, mits de totale waarschijnlijkheid van veiligheid boven $\alpha$ blijft. Dit gedrag is onwenselijk in toepassingen waar schendingen van beperkingen catastrofaal en onomkeerbaar zijn (bijv. vliegtuigcrashes, falen van medische apparatuur), aangezien de kosten van een mislukt traject niet bij te dragen aan het optimalisatiedoel.

Om dit aan te pakken, stelt het artikel een Joint Chance Constrained Safe-Optimal Control probleem voor. Het doel wordt gewijzigd naar het minimaliseren van de verwachte kosten van alleen de veilige trajecten, terwijl nog steeds de joint chance constraint wordt afgedwongen dat de waarschijnlijkheid van veiligheid ten minste $\alpha$ is. Onveilige trajecten krijgen effectief een kostenwaarde van nul in de doelfunctie, waardoor de prikkel om veiligheid op te offeren voor kostenbesparingen wordt weggenomen.

Methodologie
De kern van de methodologische bijdrage is de herformulering van dit niet-Markoviaanse probleem naar een oplosbaar kader:

1. Augmented State Space MDP: De auteurs laten zien dat het Safe-Optimal Control probleem kan worden gegoten in een Constrained Markov Decision Process (CMDP) over een uitgebreide toestandsruimte $Z = X \times C$, waarbij $X$ de oorspronkelijke toestandsruimte is en $C$ de geaccumuleerde kosten vertegenwoordigt.

   • De toestandsevolutie bevat een deterministische kostenaccumulator.
   • Een extra virtuele tijdstap en een binaire input worden geïntroduceerd om de trajectwegingsfunctie $a(\cdot)$ te verwerken, die selecteert of een traject bijdraagt aan de kosten/beperking op basis van de veiligheid en de totale kosten.
   • Deze transformatie maakt het gebruik van standaard Dynamic Programming (DP) technieken mogelijk, die niet direct toepasbaar zijn op de oorspronkelijke formulering vanwege de afhankelijkheid van de volledige trajectgeschiedenis.

2. Benadering en Foutmarges: Voor systemen met continue toestandsruimten gebruiken de auteurs een gridding-abstractie om de toestands-, kosten- en actieruimtes te discretiseren. Ze leiden theoretische grenzen af voor de veiligheidsfout die door deze discretisatie wordt geïntroduceerd. Specifiek tonen ze aan dat als een beleid (policy) veiligheid $\alpha$ bereikt op de gediscretiseerde MDP, de veiligheid op het oorspronkelijke continue systeem wordt begrensd door $\alpha - N h_x M_x \mu \Delta x$, waarbij parameters gerelateerd zijn aan de roostergrootte, Lipschitz-constanten van de transitiekernel en het aantal tijdstappen. Dit maakt het mogelijk om de beperkingen op het gediscretiseerde probleem aan te scherpen om veiligheid op het continue systeem te garanderen.

3. Oplossingsmethoden: Het artikel evalueert twee oplossingsmethoden:

   • Dynamic Programming (DP): Lost de Lagrange-duale van de CMDP op met behulp van value iteration en bisection op de duale multiplier $\lambda$.
   • Reinforcement Learning (RL): Implementeert een lexicografisch leerkader met behulp van het Soft-Actor-Critic (SAC) algoritme. Dit omvat een tweetraps trainingsproces: eerst het maximaliseren van de reach-avoid waarschijnlijkheid, en vervolgens het afstemmen van de Lagrange multiplier om de specifieke veiligheidsdrempel $\alpha$ te halen.

Belangrijkste Bijdragen

• Nieuwe Probleemdefinitie: Introductie van een controleprobleem dat uitsluitend de kosten van veilige trajecten minimaliseert, waardoor de kosten van onveilige trajecten worden ontkoppeld van het optimalisatiedoel.
• Theoretische Herformulering: Bewijs dat het Safe-Optimal Control probleem equivalent is aan een constrained MDP op een uitgebreide toestandsruimte, wat het gebruik van DP mogelijk maakt.
• Veiligheidsgaranties: Afleiding van expliciete grenzen voor de veiligheid van beleid wanneer dit probleem wordt opgelost via gridding-benaderingen in continue toestandsruimten.
• Empirische Validatie: Uitgebreide numerieke experimenten die de voorgestelde aanpak vergelijken met standaard JCC-controle en RL-oplossingen.

Experimentele Resultaten
De auteurs valideren hun aanpak op een gesimuleerd 2D unicycle-systeem in complexe reach-avoid omgevingen.

• Gedragsverschillen: Standaard JCC-beleid (minimaliseren van kosten van alle trajecten) vertoonde het gedrag om het doel te "opgeven" om het doel te bereiken om hoge-kosten veilige routes te vermijden, wat vaak resulteerde in lage-kosten trajecten die nabij de begintoestand blijven of onveilige afsnijroutes nemen. In contrast hiermee optimaliseren de voorgestelde Safe-Optimal beleid uitsluitend voor succesvolle, veilige trajecten.
• Prestatie-indicatoren: In Monte-Carlo simulaties bereikte de Safe-Optimal aanpak lagere actuatiekosten voor veilige trajecten vergeleken met standaard JCC, terwijl de vereiste veiligheidswaarschijnlijkheid werd gehandhaafd. Standaard JCC bereikte lagere totale verwachte kosten alleen omdat het de kosten van veel lage-kosten, onveilige (of niet-bereikende) trajecten bevatte.
• DP vs. RL: DP presteerde over het algemeen beter dan RL bij het vinden van optimale beleid, vooral in complexe omgevingen (bijv. "Simple-Slit"), waar RL convergeerde naar lokaal optimale, conservatieve oplossingen. Echter, RL demonstreerde het vermogen om de probleemstructuur aan te kunnen, hoewel het aanzienlijk langere rekentijden vereiste (90–130 minuten versus <2 minuten voor DP). De auteurs merken op dat hoewel DP exponentieel schaalt met de toestandsdimensie, RL vaak de voorkeur geniet voor hoogdimensionale real-world problemen waar DP onhaalbaar is.

Betekenis en Claims
Het artikel claimt dat de standaard JCC-formulering fundamenteel gebrekkig is voor systemen met onomkeerbare beperkingen omdat het de nadruk legt op het schenden van beperkingen om kosten te verlagen. Door de doelstelling te verschuiven naar het minimaliseren van de kosten van enkel veilige trajecten, sluit de voorgestelde methode aan bij de praktische intuïtie: de kosten van een gecrasht voertuig of een mislukte medische procedure zijn irrelevant voor de operationele kosten van succesvolle missies. De auteurs beweren dat hun formulering het "opgeven"-gedrag van standaard controllers vermijdt en een wiskundig rigoureus kader biedt (via CMDP-herformulering en DP) om veilige, kosteneffectieve controle te bereiken. Ze concluderen dat hoewel DP momenteel de superieure solver is voor de voorgestelde formulering in laagdimensionale settings, het framework de weg vrijmaakt voor het toepassen van deze principes op bredere temporele logica-beperkingen en real-world systemen.