Learning Safe-by-Design Neural Network Controllers

Technische Samenvatting: Veiligheid door Ontwerp Leren voor Neuronale Netwerkregelaars

Probleemstelling
Neuronale netwerken (NN's) worden steeds vaker ingezet als feedback-regelstrategieën om complexe, hoogdimensionale niet-lineaire dynamica te hanteren. Echter, puur geleerde regelaars missen vaak formele veiligheidsgaranties en kunnen acties genereren die kritieke beperkingen schenden, zoals botsingsvermijding of actuatorlimieten. Een veelvoorkomende mitigatiestrategie bestaat uit het toevoegen van een veiligheidsfilter, doorgaans gebaseerd op Control Barrier Functions (CBF's), aan een vooraf getrainde regelaar. In standaardkaders lost dit filter online een kwadratisch programma (QP) op om veiligheidsbeperkingen af te dwingen die worden gedefinieerd door een CBF-kandidaat $h(x)$ en een uitgebreide klasse-$\mathcal{K}$-functie $\alpha(\cdot)$.

Deze ontkoppelde ontwerpaanpak kent twee primaire beperkingen:

1. Conservatisme en Suboptimaliteit: De $\alpha(\cdot)$-functie is vaak vast (bijvoorbeeld $\alpha(h) = \omega h$) met handmatig afgestelde parameters. Slechte afstelling leidt tot overdreven conservatief gedrag, wat de regelprestaties verslechtert, terwijl agressieve afstelling veiligheidschendingen riskeert.
2. Rekenkundige Overhead: Het oplossen van een QP tijdens runtime introduceert rekenkundige latentie en betrouwbaarheidsproblemen, wat de real-time implementatie belemmert, vooral voor systemen met hoogdimensionale toestandsruimten of talrijke beperkingen.

Hoewel recente werken zoals BarrierNet en CAffNet proberen veiligheid in het leerproces te integreren, behouden ze ofwel de dure online QP-laag of lijden ze onder schaalbaarheidsproblemen door de exponentiële complexiteit van het projecteren van uitkomsten op toelaatbare verzamelingen die worden gedefinieerd door vele beperkingen.

Methodologie
De auteurs stellen een "Veiligheid door Ontwerp"-kader voor dat een neuronale netwerkregelaar en CBF-condities geparametriseerd door een neuronale netwerk gezamenlijk leert, waarbij veiligheidsbeperkingen direct in de regelaararchitectuur worden ingebed om de noodzaak van online QP-oplossers te elimineren.

1. CAffNet-Lite Architectuur:
   De kernbijdrage is CAffNet-Lite, een lichtgewicht extensie van de bestaande CAffNet-architectuur. Het integreert een lineaire beperkingslaag met een trainbaar projectiemodule om toestandsafhankelijke lineaire beperkingen $A(x)u \leq b(x)$ per constructie te voldoen.

   • Lichtgewicht Beperkingsdecompositie: In tegenstelling tot CAffNet, dat alle mogelijke combinaties van actieve beperkingen enumereren (wat leidt tot exponentiële complexiteit $O(2^{n_c})$), hanteert CAffNet-Lite een gereduceerde decompositiestrategie. Het beschouwt alleen subbeperkingen met de minimale orde ($k=1$) of de maximale orde ($k=\min(n_c, m)$). Dit reduceert de worst-case complexiteit tot polynoom $O(n_c^m)$, wat de schaalbaarheid voor systemen met vele beperkingen aanzienlijk verbetert.
   • Projectiemechanisme: Het netwerk geeft een onbeperkt regelsignaal $f_\theta(x)$ uit. Als dit signaal beperkingen schendt, berekent een projectielaag een toelaatbare kandidaatverzameling door projectie op de subbeperkingshypervlakken. De uiteindelijke uitkomst is het onbeperkte signaal (indien toelaatbaar) of de dichtstbijzijnde toelaatbare projectie, waardoor het garanderen van harde beperkingen wordt gewaarborgd zonder dat volledige rang of lineair onafhankelijke beperkingen vereist zijn.

2. Gezamenlijke Lering van CBF-parameters:
   In plaats van de vervalfunctie $\alpha(\cdot)$ vast te leggen, vervangt het kader deze door een trainbare neuronale netwerkparametrisatie $\alpha_\vartheta(x, h(x))$. Dit stelt het systeem in staat een "optimale-verval"-eigenschap te leren die zich aanpast aan het gedrag van de regelaar en de systeemdynamica. De veiligheidsbeperkingen worden geformuleerd als:
   $$A(x)u \leq b_\vartheta(x)$$
   waarbij $b_\vartheta(x)$ het geleerde $\alpha_\vartheta$ incorporateert.

3. Theoretische Garanties:
   Aangezien de projectielaag een $\arg\min$-operatie omvat die kan leiden tot discontinu regelsignalen, stellen de auteurs veiligheid vast in de Filippov-zin. Zij bewijzen dat de resulterende stuksgewijs continue regelwet sterke voorwaartse invariantie van de veilige verzameling garandeert, waardoor wordt gewaarborgd dat als het systeem binnen de veilige verzameling start, het daar voor alle toekomstige tijden blijft.

Kernbijdragen

1. CAffNet-Lite: Introductie van een lichtgewicht projectiearchitectuur die de rekenkundige complexiteit reduceert van exponentieel naar polynoom met betrekking tot het aantal beperkingen, terwijl het het garanderen van harde lineaire beperkingen en universele benaderingseigenschappen behoudt.
2. Gezamenlijke Optimalisatie: Een kader dat een neuronale netwerkregelaar en CBF-parameters (specifiek de vervalfunctie) gezamenlijk traint, waardoor het voldoen aan veiligheidsbeperkingen per constructie mogelijk wordt zonder online QP-oplossers.
3. Theoretisch Bewijs: Bewijs dat de voorgestelde regelaar voldoet aan sterke voorwaartse invariantie van de veilige verzameling in de Filippov-zin, waarmee de discontinuïteit die wordt geïntroduceerd door de projectielaag wordt aangepakt.

Experimentele Resultaten
Het kader werd geëvalueerd op twee simulatiescenario's:

1. Enige Integrator met Botsingsvermijding:

   • Opzet: Een 2D-integratorsysteem dat drie convexe polyhedrale obstakels vermijdt.
   • Vondsten: CAffNet en CAffNet-Lite behaalden de laagste gemiddelde kosten (dichtst bij de nominale regelaar) terwijl ze strikt voldeden aan alle veiligheidsbeperkingen (0% schending). Daarentegen vertoonden standaard NN's en HardNet beperkingsschendingen, en QP-gebaseerde methoden met vaste parameters waren ofwel te conservatief (niet in staat het doel te bereiken) of vereisten hogere rekentijd.
   • Efficiëntie: CAffNet-Lite kwam overeen met de prestaties van CAffNet maar met een gereduceerde testtijd, wat de efficiëntie van de lichtgewicht decompositie aantoont.

2. Vaste-Vleugel Vliegtuig Geofencing:

   • Opzet: Een 7-toestand, 3-ingang vliegtuigmodel dat geofence-beperkingen afdwingt.
   • Vondsten: Zowel CAffNet als CAffNet-Lite leerden succesvol veilige snelheidscommando's die geofences vermijden.
   • Efficiëntie: CAffNet-Lite vertoonde aanzienlijk lagere trainings- en testtijden in vergelijking met de originele CAffNet, wat zijn superioriteit in schaalbaarheid voor hoger dimensionale systemen bevestigt. Hoewel CAffNet iets sneller convergeerde in termen van kosten vanwege meer projectiekandidaten, bood CAffNet-Lite een betere afweging voor real-time toepasbaarheid.

Betekenis en Claims
Het artikel claimt dat door lineaire veiligheidsbeperkingen direct in de neurale regelaar in te bedden en de CBF-parameters gezamenlijk te leren, de voorgestelde methode het conservatisme van filters met vaste parameters en de rekenkundige last van online QP-oplossers overwint. De auteurs benadrukken dat CAffNet-Lite een schaalbare, real-time implementeerbare oplossing biedt die harde veiligheidsbeperkingen per constructie garandeert. Het werk positioneert zich als een stap richting "Veiligheid door Ontwerp"-regeling, waarbij veiligheid geen nagedachte of runtime-filter is, maar een intrinsieke eigenschap van de geleerde strategie. De auteurs merken bescheiden op dat toekomstig werk zal onderzoeken om het kader uit te breiden naar bredere klassen van beperkingen en de prestaties te evalueren op real-world systemen.