A Forward Reachability Perspective on Control Barrier Functions and Discount Factors in Reachability Analysis

Probleemstelling

Veiligheidsgaranties voor regelgevingssystemen vereisen vaak dat toestandsbeperkingen over een onbepaalde tijdshorizon worden gehandhaafd. De kern van dit probleem ligt in het vinden van controle-invariante sets: subsets van de toestandsruimte waarbinnen een systeemoneindig lang kan blijven, ongeacht verstoringen.

Traditionele methoden voor het berekenen van deze sets en het ontwerpen van Control Barrier Functions (CBF's) maken gebruik van terugwaartse bereikbaarheid (backward reachability). Deze benadering karakteriseert de set van starttoestanden die kunnen blijven binnen een gegeven set ondanks verstoringen. De auteurs identificeren echter fundamentele tekortkomingen in deze bestaande benaderingen:

1. Gebrek aan CBF-koppeling: De waardefuncties die voortkomen uit terugwaartse bereikbaarheid (zoals de Backward Reachable Tube of BRT) voldoen vaak niet aan de eisen van een CBF. Ze kunnen binnen de invariante set "plat" worden (nul-gradient), waardoor ze niet kunnen worden gebruikt om regelingsinvoer te beperken via de barrière-beperking.
2. Numerieke instabiliteit: Om de barrière-beperking te forceren in terugwaartse formuleringen, moet vaak een negatieve disconteringsfactor worden gebruikt. Dit leidt tot onbegrensde, discontinuïteiten vertonende waardefuncties en niet-unieke oplossingen voor de Hamilton-Jacobi (HJ) partiële differentiaalvergelijkingen (PDE's).
3. Differentieerbaarheid: De maximale invariante set kan een niet-differentieerbare rand hebben, terwijl CBF's per definitie een differentieerbare rand vereisen om de barrière-beperking geldig te maken.

Het doel van dit artikel is een nieuwe theoretische brug te slaan tussen bereikbaarheidsanalyse, controle-invariantie en CBF's door te schakelen naar een voorwaartse bereikbaarheidsperspectief (forward reachability).

Methodologie

De auteurs introduceren een nieuw raamwerk gebaseerd op de Inevitable Forward Reachable Tube (FRT). In tegenstelling tot de "viable" FRT (die alle mogelijke trajecten omvat), definieert de inevitable FRT de set van toestanden die niet te vermijden zijn vanuit een initiële set $C$, zelfs onder de ergste mogelijke verstoringen.

De kern van de methodologie bestaat uit de volgende stappen:

1. Formulering als Differentiële Spel:
   De berekening van de FRT wordt geformuleerd als een differentiële spel tussen een regelaar (die probeert de groei van de FRT te beperken) en een verstoring (die probeert deze te vergroten). De FRT wordt gekarakteriseerd als de nul-superlevel set van een waardefunctie $V_\gamma$.

2. Invoering van een Disconteringsfactor:
   Een cruciale innovatie is het gebruik van een positieve disconteringsfactor $\gamma > 0$ in de kostenfunctie van het spel, maar toegepast op een terugwaartse tijdshorizon ($t \in (-\infty, 0]$).
   De waardefunctie wordt gedefinieerd als:
   $$V_\gamma(x) := \sup_{\xi_d} \inf_{u} \sup_{t \in (-\infty, 0]} e^{\gamma t} h_C(x(t))$$
   Hierbij is $h_C$ een functie die de initiële set $C$ beschrijft.

3. Hamilton-Jacobi Formulering (HJ-FRT-VI):
   De auteurs leiden een variatiële ongelijkheid af voor deze waardefunctie, de HJ-FRT-VI:
   $$0 = \min \left\{ V_\gamma(x) - h_C(x), \quad \max_{u \in U} \min_{d \in D} \frac{\partial V_\gamma}{\partial x} \cdot f(x, u, d) + \gamma V_\gamma(x) \right\}$$
   Het positieve teken van de $\gamma V_\gamma$ term is essentieel en onderscheidt dit van terugwaartse formuleringen.

4. Theoretische Analyse van Supersoluties:
   De auteurs bewijzen dat de viscositeitoplossing van deze HJ-PDE niet direct als een CBF kan dienen als de rand niet differentieerbaar is. Daarom richten ze zich op $C^1$ supersoluties van de HJ-FRT-VI. Ze bewijzen dat elke gladde supersolutie een geldige CBF is die een robuust controle-invariante set definieert die de FRT "omhult" (outer-approximates).

5. Neurale Netwerk Implementatie:
   Om deze supersoluties in de praktijk te vinden, ontwikkelen ze een leer-methode (learning-based approach). Een neuraal netwerk leert een functie $W_\theta$ die voldoet aan de HJ-FRT-VI ongelijkheid en de set-inclusie-eisen ($C \subseteq \{W_\theta > 0\} \subseteq X$). De loss-functie straft schendingen van de barrière-beperking en de set-grenzen af.

Belangrijkste Bijdragen

1. Systematische Constructie van CBF's via Voorwaartse Bereikbaarheid:
   Het artikel is het eerste dat aantoont dat CBF's systematisch kunnen worden geconstrueerd door voorwaartse bereikbaarheid te gebruiken, in plaats van de traditionele terugwaartse benadering. De voorgestelde waardefunctie is begrensd, continu en uniek gedefinieerd, en voldoet natuurlijk aan de barrière-beperking.

2. Nieuwe Koppeling tussen Supersoluties en CBF's:
   Er wordt een fundamentele link gelegd tussen supersoluties van de HJ-FRT-VI en CBF's. Het bewijs toont aan dat elke $C^1$ supersolutie een geldige CBF is die een robuust controle-invariante set karakteriseert die de inevitable FRT omvat. Dit geeft supersoluties een concrete veiligheidsinterpretatie.

3. Rol van de Disconteringsfactor:
   De auteurs tonen aan dat de disconteringsfactor $\gamma$ in de voorwaartse formulering fungeert als een "knop" die de conservatisme van het beleid regelt en de barrière-beperking in de HJ-vergelijking induceert. Dit is uniek in vergelijking met terugwaartse methoden waar $\gamma$ binnen de invariante set geen invloed heeft op het beleid.

4. Neurale FRT-CBF:
   Er wordt een nieuwe, datagedreven methode gepresenteerd om CBF's te leren die een invariante set opleveren die de FRT van een gegeven initiële set omhult, zelfs als die initiële set zelf niet invariante is.

Resultaten

• Theoretisch: De auteurs bewijzen dat de inevitable FRT een robuust controle-invariante set is als de rand differentieerbaar is. Als de rand niet differentieerbaar is, kan de FRT invariance verliezen, maar elke gladde supersolutie van de bijbehorende HJ-PDE garandeert invariance.
• Numeriek: In een voorbeeld met een dubbele integrator (double integrator) wordt getoond dat de methode succesvol een CBF leert voor een initiële set die niet invariante is (een cirkel). De geleerde set is een overbenadering van de FRT en voldoet aan de veiligheidsvoorwaarden.
• Vergelijking: De resultaten tonen aan dat de voorwaartse aanpak leidt tot een waardefunctie die binnen de invariante set positief blijft (in tegenstelling tot de terugwaartse BRT die daar nul wordt), waardoor de afgeleide niet nul is en de functie bruikbaar blijft voor regelgeving.

Betekenis en Impact

Dit werk vult een cruciale lacune in de literatuur over veiligheidskritieke besturing. Het biedt een theoretisch onderbouwd raamwerk dat de drie pijlers van veilig besturen—bereikbaarheid, controle-invariantie en CBF's—met elkaar verbindt.

• Oplossing voor Bestaande Problemen: Het lost het probleem op van niet-unieke of onbegrensde oplossingen in terugwaartse HJ-methoden voor CBF-doeleinden.
• Nieuwe Ontwerpparadigma: Het stelt onderzoekers in staat om CBF's te ontwerpen door te kijken naar wat "niet te vermijden" is (voorwaartse bereikbaarheid) in plaats van wat "kan blijven" (terugwaartse bereikbaarheid).
• Toepasbaarheid: De voorgestelde neurale leer-methode biedt een schaalbare manier om complexe, niet-lineaire systemen veilig te besturen, zelfs wanneer de initiële veiligheidsset niet perfect is.

Samenvattend verschuift dit artikel het perspectief van "wat kunnen we vermijden?" naar "wat is onvermijdelijk?", en gebruikt deze inzichten om robuuste, differentieerbare veiligheidsfuncties te construeren die direct bruikbaar zijn voor real-time regelgeving.