Technische Samenvatting: Stabiliteitsmarges van Neurale Netwerkregelaars

Probleemstelling

Standaard neurale netwerk (NN) regelaars die getraind zijn via reinforcement learning (RL) missen vaak garanties met betrekking tot closed-loop stabiliteit, wat hun inzetbaarheid beperkt in veiligheidskritische domeinen zoals de luchtvaart, waar regelgevende instanties specifieke robuustheidsmetrieken vereisen. Hoewel recent werk zich heeft gericht op de verificatie en synthese van NN-regelaars voor asymptotische stabiliteit, is er een gat in methoden die NN-regelaars kunnen trainen om prestatiebeloningen te maximaliseren terwijl ze strikt voldoen aan klassieke robuustheidseisen, specifiek schijfmarges (disk margins).

Het artikel behandelt het geoptimaliseerde trainingsprobleem waarbij een neuraal netwerkregelaar $K$ wordt getraind om een verwachte cumulatieve beloning over een traject te maximaliseren, onder de voorwaarde dat het closed-loop systeem stabiel blijft voor een klasse van planten $\mathcal{M}_\alpha$. Deze klasse vertegenwoordigt een nominale Lineaire Tijd-Invariante (LTI) plant verbonden met onzekerheden (zowel LTI als niet-lineair) die begrensd worden door een schijfمarge $D(\alpha, \sigma)$. De schijfmarge is gekozen omdat deze rekening houdt met gelijktijdige variaties in versterking (gain) en fase, wat een striktere robuustheidsgarantie biedt dan klassieke gain- en phasemarges alleen.

Methodologie

1. Systeemmodellering

De auteurs modelleren de controlearchitectuur als een interconnectie van een nominale LTI-plant en een neuraal netwerkregelaar, beide onderhevig aan onzekerheidsblokken.

• Plant: De nominale plant is LTI. Onzekerheid wordt gemodelleerd als een input multiplicatief blok $H_{\Delta p}$, waarbij de onzekerheid $\Delta_p$ $L_2$-norm begrensd is door $\alpha$.
• Regelaar: Het neurale netwerk wordt gemodelleerd als een Recurrent Implicit Neural Network (RINN). Het bestaat uit een LTI-systeem $G_k$ verbonden met statische, elementgewijze activatiefuncties $\phi$ (bijv. tanh, ReLU). Deze formulering stelt de regelaar in staat om geheugen (dynamica) te hebben en omvat diverse architecturen, inclusief feedforward- en residual networks.
• Karakterisering van onzekerheid: Zowel de plantonzekerheid $\Delta_p$ als de activatiefuncties $\phi$ van de regelaar worden gekarakteriseerd met behulp van Integral Quadratic Constraints (IQC's). De onzekerheid $\Delta_p$ voldoet aan een sector-bound IQC gerelateerd aan zijn $L_2$-gain, terwijl de activatiefuncties voldoen aan sector- en hellingsrestrictie-IQC's.

2. Stabiliteitscertificering

De kern van de theoretische bijdrage is een voorwaarde om te certificeren dat een specifieke RINN-regelaar de schijfmarge $D(\alpha, \sigma)$ voldoet.

• Het closed-loop systeem wordt geherformuleerd als een LTI-systeem verbonden met een samengesteld onzekerheidsblok dat zowel $\Delta_p$ als $\phi$ bevat.
• Met behulp van een Lyapunov-functie benadering in combinatie met IQC-theorie leiden de auteurs een Linear Matrix Inequality (LMI) conditie af (Lemma 3.1). Deze conditie houdt in dat er een positief definiete matrix $X$ en diagonale multiplier-matrices $\Lambda_p$ en $\Lambda_k$ gevonden moeten worden zodat een specifieke matrix-ongelijkheid standhoudt.
• Directe toepassing van deze LMI voor training is computationeel onhaalbaar omdat de ongelijkheid bilineair is in de parameters van de regelaar $\theta$ en de Lyapunov-matrix $X$.

3. Trainingsalgoritme met Projectie

Om een regelaar te synthetiseren die de beloning maximaliseert terwijl de stabiliteitsrestrictie wordt nageleefd, stellen de auteurs een iteratief trainingsalgoritme voor (Algoritme 1) dat afwisselt tussen twee stappen:

1. Reinforcement Learning Stap: Een standaard RL-stap (bijv. Proximal Policy Optimization) werkt de parameters $\theta$ van de regelaar bij om de beloning te maximaliseren. De resulterende parameters $\theta'$ kunnen de stabiliteitsmarge schenden.
2. Stabiliteitsmarge-afdwingende Stap: Indien $\theta'$ de marge niet voldoet, wordt deze teruggeprojecteerd naar de verzameling van stabiliserende regelaars.
   • Om deze projectie convex te maken, maken de auteurs gebruik van een verandering van variabelen (geïnspireerd door [8]) om de parameters van de regelaar $\theta$ en de Lyapunov-matrix $X$ te transformeren naar nieuwe variabelen $\hat{\theta}$ (inclusief matrices $S, R, N_A, \dots$).
   • In deze getransformeerde ruimte wordt de stabiliteitsconditie affien in $\hat{\theta}$, waardoor de projectie kan worden geformuleerd als een Semidefinite Program (SDP).
   • Het algoritme lost een SDP op om de dichtstbijzijnde geldige $\hat{\theta}$ te vinden bij de huidige $\hat{\theta}'$, en reconstrueert vervolgens de parameters van de regelaar $\theta$ vanuit de oplossing.
   • Het algoritme wisselt ook de multiplier $\Lambda_p$ af om conservatisme te verminderen, waarbij geprobeerd wordt de marge direct te certificeren voordat er wordt teruggevallen op de volledige projectie indien de certificering faalt.

Belangrijkste Bijdragen

• Trainingsframework: Een nieuwe methode om neurale netwerkregelaars te trainen die de schijfmarge-restricties expliciet afdwingen tijdens het reinforcement learning-proces.
• Wiskundige Formulering: De afleiding van LMI-condities voor de certificering van de schijfmarge van RINN-regelaars met behulp van IQC's voor zowel de plantonzekerheid als de activatiefuncties.
• Convex Projectie: De ontwikkeling van een computationeel hanteerbare projectiestap via een verandering van variabelen en SDP, wat het mogelijk maakt om niet-convexe stabiliteitsrestricties af te dwingen binnen een gradiënt-gebaseerde trainingslus.
• Generalisatie: De aanpak strekt zich uit voorbij statische regelaars naar dynamische (recurrent) regelaars en behandelt onzekerheden beschreven door IQC's, wat zowel LTI als niet-lineaire tijdvariërende dynamica dekt.

Experimentele Resultaten

De methode werd geëvalueerd op een simulatie van een flexibele staaf op een kar, een systeem met complexe dynamica.

• Vergelijkingsmodellen: De voorgestelde methode (SM-RINN) werd vergeleken met:
  • Een ongeconstrainte Recurrent Implicit Neural Network (U-RINN).
  • Een standaard Fully Connected Neural Network (FCNN).
  • Een LTI-regelaar getraind met dezelfde stabiliteitsrestricties.
• Restricties: Alle geconstrainde regelaars (SM-RINN en LTI) moesten voldoen aan een schijfmarge met $\alpha = 0.353$ en $\sigma = 0$, wat overeenkomt met ondergrenzen van 3 dB gainmarge en 20° phasemarge.
• Prestaties:
  • De ongeconstrainde regelaars (U-RINN en FCNN) behaalden de hoogste beloningen (~3000), maar boden geen stabiliteitsgaranties.
  • De geconstrainde SM-RINN behaalde een beloning van ongeveer 2250.
  • De geconstrainde LTI-regelaar behaalde de laagste beloning (~1500).
• Trade-off: De resultaten demonstreren de typische performance-robustness trade-off. Echter, de SM-RINN presteerde aanzienlijk beter dan de geconstrainde LTI-regelaar (een verbetering van ~50% in beloning) terwijl zij exact dezelfde robuustheidsgaranties handhaafde.

Betekenis en Claims

Het artikel claimt dat deze methode het gebruik van neurale netwerken in veiligheidskritische toepassingen mogelijk maakt waar regelgevende instanties stabiliteitsmarges voorschrijven. Door robuustheidsrestricties direct in de trainingslus te integreren via SDP-projectie, tonen de auteurs aan dat NN-regelaars superieure prestatie-metrieken (beloning) kunnen bereiken vergeleken met traditionele lineaire regelaars, terwijl ze aan dezelfde strikte robuustheidseisen voldoen. Het werk overbrugt de kloof tussen de flexibiliteit van deep learning en de veiligheidsgaranties die vereist zijn door de klassieke regeltechniek.