Technische Samenvatting: Leren wanneer te handelen via Run-Time Assurance

Probleemstelling

Veiligheidsgerichte versterkende leer (RL) heeft zich grotendeels gericht op het bepalen wat een agent moet doen, waarbij vaak de kritieke vraag wanneer het moet handelen wordt verwaarloosd. In veiligheidskritieke cyberfysische systemen wordt vaste-tijdregeling uitgevoerd bij elke tijdstap, ongeacht veranderingen in de toestand, wat onnodige kosten met zich meebrengt voor sensing, berekening en bandbreedte. Hoewel klassieke analytische methoden zoals Self-Triggered Control (STC) en Event-Triggered Control (ETC) sterke stabiliteitsgaranties bieden, vertrouwen ze vaak op conservatieve Lyapunov- of modelgebaseerde triggerregels die communicatiebesparingen niet optimaal benutten in niet-lineaire, ondergeactiveerde of hoogdimensionale systemen. Omgekeerd missen bestaande leergebaseerde benaderingen vaak formele veiligheidsgaranties voor de triggerbeslissing, vertrouwen ze op geleerde dynamische modellen, of behandelen ze continu-tijdscenario's zonder harde timing-veiligheidsmechanismen.

De kernuitdaging die wordt aangepakt, is het opheffen van de aanname van vaste snelheid zonder veiligheid op te offeren. Het doel is een beleid te leren dat besturingselementen en intervallen tussen samples (de tijd tot de volgende update) gezamenlijk optimaliseert om de gemiddelde interval tussen samples (MSI) te maximaliseren, terwijl gesloten-lusstabiliteit wordt gegarandeerd.

Methodologie

De auteurs stellen een verenigd RL-kader voor dat wordt begeleid door een Run-Time Assurance (RTA)-laag die fungeert als een veiligheidschild. Het systeem werkt in discrete-tijd STC, waarbij bij elk beslismoment $t_k$ de agent een besturingselement $u_k$ en een duur $\tau_k$ kiest uit een discrete verzameling $\mathcal{T} = \{\tau_{min}, 2\tau_{min}, \dots, N\tau_{min}\}$.

1. Run-Time Assurance (RTA)-laag

De RTA-laag biedt een harde veiligheidsoverride, die verschilt van MDP-methoden met beperkingen die veiligheid alleen in verwachting afdwingen.

• Voorspelling: Bij elke stap berekent het systeem een lineaire voorspelling één stap vooruit van een veiligheidskritieke scalair $q_k = c^\top x_k$:
  $$\hat{q}_{k+1} = q_k + \tau_k \dot{q}_k + \frac{1}{2}\tau_k^2 \ddot{q}_k(x_k, u_k)$$
• Override-mechanisme: Als de voorspelde toestand een veiligheidsthorde schendt ($|\hat{q}_{k+1}| > \theta_{RTA}$) of de positiegrenzen overschrijdt, wordt de RL-actie onmiddellijk overschreven. Het systeem vervangt dit door een vooraf berekende Lineair-Kwadratische Regelaar (LQR) back-upbesturing $u_k = -Kx_k$ en reset het interval naar de minimale veilige duur $\tau_{min}$.
• Veiligheidsgarantie: De back-upregelaar is zo ontworpen dat, als deze niet verzadigd is, de Lyapunov-functie $V(x)$ puntsgewijs gegarandeerd afneemt. Dit biedt een strikt sterkere garantie dan op verwachting gebaseerde beperkingen.

2. Leerframework

• Lyapunov-beloning: Het framework maakt gebruik van een Lyapunov-functie $V(x) = x^\top P x$ afgeleid van de Continue Algebraïsche Riccati-vergelijking (CARE) van het gelineariseerde proces. De beloningsfunctie bevat een stabiliteitsterm gebaseerd op de afname van $V(x)$ en een term voor communicatie-efficiëntie die evenredig is met het kwadraat van de genormaliseerde interval tussen samples.
• Actieruimte: De agent leert een gezamenlijk beleid voor $(u_k, \tau_k)$. Voor Single-Input Single-Output (SISO)-systemen wordt een Deep Q-Network (DQN) gebruikt; voor Multi-Input Multi-Output (MIMO)-systemen met grote actieruimtes (bijvoorbeeld de 3D-quadcopter) wordt Soft Actor-Critic (SAC) ingezet op een continue actieruimte.
• Voorkeur-geconditioneerde extensie: Om te voorkomen dat er aparte modellen worden getraind voor verschillende afwegingen tussen stabiliteit en communicatie, wordt een voorkeur-geconditioneerd agent getraind waarbij een gewicht $w_c$ (dat de afweging regelt) aan het begin van elke episode wordt bemonsterd. Hierdoor kan één enkel model de volledige afwegingsgrens herstellen.

Belangrijkste bijdragen

1. Gezamenlijke RL-formulering met harde veiligheid: Een nieuwe formulering die gelijktijdig besturingselementen en intervallen tussen samples leert onder een hard puntsgewijs veiligheidscertificaat. In tegenstelling tot eerdere beschermde RL die werkt op vaste tijdstappen, werkt dit schild direct op de timingbeslissing $\tau_k$.
2. CARE-afgeleide Lyapunov-beloning: Een overdraagbaar beloningssignaal afgeleid van CARE-oplossingen dat werkt in zowel SISO- als MIMO-omgevingen zonder herontwerp, waardoor één enkel gewicht $w_c$ de volledige afwegingsgrens tussen stabiliteit en communicatie kan traceren.
3. Systematische empirische validatie: Uitgebreide evaluatie op vier omgevingen (Omgekeerde Slinger, CartPole, Planaire Quadcopter en 3D-Quadcopter) die aantonen:
   • Prestatiewinst: Het geleerde beleid bereikt 1,45× tot 3,51× een hogere MSI in vergelijking met klassieke Lyapunov-STC-basismethoden.
   • Noodzaak van adaptieve timing: Een vaste LQR-regelaar die werkt op dezelfde gemiddelde snelheid als het geleerde beleid is instabiel op alle geteste processen, wat bewijst dat adaptieve timing (snel bemonsteren bij instabiliteit en langzaam bij evenwicht) essentieel is voor veiligheid, niet alleen een verlaagde gemiddelde snelheid.
   • Noodzaak van RTA: Ablatiestudies tonen aan dat het verwijderen van het RTA-schild de MSI met 1,27–1,84× verlaagt en de normen van de toestand aanzienlijk verslechtert, wat de rol van het schild in het vormgeven van de haalbare beleidsruimte bevestigt.
   • Vergelijking met Lagrangiaanse methoden: In tegenstelling tot Lagrangiaanse-DQN-basismethoden die veiligheid in verwachting afdwingen, bereikt de voorgestelde methode nul harde veiligheidschendingen, terwijl Lagrangiaanse methoden tot 35% harde schendingen accumuleren en 21–52% lagere MSI bereiken.
4. Schaalbaarheid naar hoge dimensies: Een case study op een 12-toestand 3D-quadcopter waarbij analytisch STC-ontwerp ondoenlijk is. Het framework bereikt een MSI van 0,302 s (94% van het maximaal mogelijke interval) met 0% RTA-activering, terwijl klassieke STC blijft vastzitten op het minimale interval $\tau_{min}$.

Resultaten

• Communicatie-efficiëntie: Op de Omgekeerde Slinger, CartPole en Planaire Quadcopter presteert het RL-STC-beleid aanzienlijk beter dan klassieke analytische basismethoden. De Planaire Quadcopter bereikt bijvoorbeeld een verbetering van 3,51× in MSI ten opzichte van klassieke STC.
• Robuustheid: Het framework toont een genadevolle degradatie onder $\pm 30\%$ variatie in de procesmassa en additieve verstoringen. Hoewel de RTA-activering toeneemt met de amplitude van verstoringen, blijft het systeem stabiel en absorbeert de RTA-laag verstoringen die het geleerde beleid alleen niet aankan.
• Algoritme-onafhankelijkheid: Resultaten zijn consistent tussen DQN (discrete acties) en SAC (continue acties), wat de geldigheid van het framework bevestigt over verschillende optimalisatieparadigma's.
• Berekeningsefficiëntie: De voorkeur-geconditioneerde extensie herstelt de volledige afwegingsgrens uit één enkel model dat is getraind met slechts 2/11 van de rekenkracht die nodig is voor een volledige gewichtssweep.

Betekenis en claims

Het artikel beweert dat de vraag wanneer te handelen even consequent is als wat te doen. Door een hard RTA-schild te integreren met gezamenlijke RL-optimalisatie, stelt het framework agenten in staat niet-geconservativeerde intervallen tussen samples te ontdekken die analytisch moeilijk af te leiden zijn, met name in hoogdimensionale of niet-lineaire systemen.

De auteurs benadrukken dat hun aanpak formele puntsgewijze veiligheidsgaranties biedt (via de Lyapunov-verminderende back-up) die methoden voor beperkingen op basis van verwachting per constructie niet kunnen bieden. Het framework is gericht op stabilisatie rond bekende evenwichten waar CARE-oplossingen en gelineariseerde voorspellingen goed gedefinieerd zijn, maar de empirische resultaten op de 12-toestand Quadcopter suggereren dat de aanpak kan worden uitgebreid naar regimes waar formele certificaten niet strikt van toepassing zijn op het gekozen minimale interval, en in plaats daarvan vertrouwen op het signaal voor vormgeving tijdens de training om veiligheidspredicaten te respecteren.

Het werk stelt vast dat adaptieve timing de sleutelfactor is voor veilige spaarzaamheid; statische vermindering van besturingsfrequenties is onvoldoende en leidt vaak tot instabiliteit. Het voorgestelde framework biedt een hanteerbare weg naar communicatie-efficiënte besturing in veiligheidskritieke systemen zonder de rigoureuze veiligheidsgaranties op te offeren die nodig zijn voor implementatie.