Technische Samenvatting: Een Adjoint-gebaseerde Neurale Regulator voor Real-Time Optimale Controle met Toestandsrestricties

1. Probleemstelling

Real-time beperkte optimale controle van niet-lineaire systemen vormt een aanzienlijke uitdaging in de robotica en autonome systemen, waarbij controllers een balans moeten vinden tussen prestaties en strikte naleving van restricties onder milliseconde-niveau computationele limieten.

• Nonlinear Model Predictive Control (NMPC): Hoewel effectief, vereist NMPC het online oplossen van een beperkt niet-lineair optimalisatieprobleem bij elke tijdstap. In veiligheidskritische of snel-dynamische omgevingen maakt de herhaalde optimalisatie en de solver-latentie deze aanpak computationeel onhaalbaar.
• Reinforcement Learning (RL): RL biedt snelle online inferentie door berekeningen offline te ammortiseren in training. Standaard RL-benaderingen (bijv. Soft Actor-Critic) worstelen echter vaak met de steekproefefficiëntie (sample efficiency), generalisatie naar out-of-distribution (OOD) condities en strikte naleving van restricties. Veelgebruikte veiligheidsfilters (bijv. Control Barrier Functions of CBF's) die op RL-policies worden toegepast, kunnen leiden tot conservatieve of agressieve correcties als de nominale policy de optimaliteitsstructuur van het probleem niet inherent codeert.

Het kernprobleem dat wordt aangepakt, is de ontwikkeling van een controleframework dat de computationele snelheid van leergebaseerde methoden bereikt, terwijl het de optimaliteitsstructuur van optimale controle behoudt en veiligheidsrestricties garandeert zonder de zware online optimalisatiebelasting van NMPC.

2. Methodologie: Adjoint-gebaseerde Neurale Regulator (ANR)

Het artikel stelt de Adjoint-gebaseerde Neurale Regulator (ANR) voor, een leergebaseerd framework dat een neurale co-state (adjoint) policy leert in plaats van een directe control law. Deze aanpak is geworteld in de Pontryagins Minimumprincipe (PMP).

A. Kernarchitectuur

Het framework bestaat uit twee fasen: offline training en online implementatie.

1. Co-State Parameterisatie (CoNN):

   • Een neuraal netwerk, de Co-State Neural Network (CoNN) genoemd, brengt de huidige systeemtoestand $x_i$ in kaart naar een eindig-horizontale co-state (adjoint) traject $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$.
   • In tegenstelling tot RL, dat een policy $\pi(u|x)$ leert, leert de CoNN de mapping van toestand naar adjoint variabelen, die de gevoeligheid van de waarde-functie met betrekking tot de toestand vertegenwoordigen.

2. Offline Training:

   • Rollout: Gegeven een voorspelde co-state sequentie, wordt de controle-input sequentie afgeleid door de Hamiltonian puntgewijs te minimaliseren. Voor kwadratische kosten levert dit een expliciete control law op: $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$.
   • Loss Functie: Het netwerk wordt end-to-end getraind met een driedelige loss-functie:
     • Stage Cost: De som van de lopende kosten ($x^\top Q x + u^\top R u$) over de horizon.
     • Terminal Cost: Kosten aan de uiteindelijke toestand.
     • Co-State Regularisatie: Een $\ell_1$-norm straf op de co-state traject om minimum-norm voorspellingen aan te moedigen.
   • De loss wordt via de horizon rollout teruggepropageerd om de netwerkparameters bij te werken.

3. Online Implementatie (Real-Time Controle):

   • Bij elke tijdstap $t_k$ voorspelt de CoNN een co-state sequentie vanuit de huidige toestand $x_k$.
   • De eerste voorspelde co-state $\hat{\lambda}_{0|k}$ wordt gebruikt om de controle-input te berekenen.
   • Veiligheid en Haalbaarheid: In plaats van een eenvoudige projectie, wordt de controle-input bepaald door een beperkte Hamiltonian minimalisatie in real-time op te lossen. Deze optimalisatie incorporeert:
     • Actuatorenlimieten ($u \in \mathcal{U}$).
     • Toestandsveiligheidsrestricties die worden afgedwongen via High-Order Control Barrier Functions (HOCBF's).
   • De resulterende control law is:
     $$u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$$
     onderworpen aan input-restricties en HOCBF-condities die veiligheid waarborgen.

3. Belangrijkste Bijdragen

• Nieuw Framework: Introductie van de ANR, die de optimaliteitsleer (via de adjoint) ontkoppelt van de restrictie-afdwinging (via real-time beperkte minimalisatie).
• Behoud van Optimaliteit: Door de adjoint in plaats van de actie te leren, codeert het framework expliciet de indirecte optimaliteitsstructuur van het beperkte controleprobleem, waardoor de "nominal-then-project" valkuilen van standaard RL-CBF methoden worden vermeden.
• Verenigde Veiligheid en Haalbaarheid: De methode behandelt harde toestandsrestricties (via HOCBF's) en input-restricties simultaan binnen de Hamiltonian minimalisatie stap, wat haalbaarheid garandeert zonder complexe reward engineering te vereisen.
• Computationele Efficiëntie: De aanpak bereikt prestaties vergelijkbaar met NMPC, maar met een aanzienlijk lagere computationele kosten door online niet-lineaire optimalisatie te vervangen door een enkele neurale netwerk inferentie en een kleine Quadratic Program (QP).

4. Experimentele Resultaten

Het framework werd geëvalueerd op een unicycle robotmodel met dynamica $\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$, met de taak om een referentie te volgen en cirkelvormige obstakels te vermijden. Vergelijkingen werden gemaakt met NMPC (gebruikmakend van IPOPT) en RL (Soft Actor-Critic met een HOCBF-QP veiligheidsfilter).

Prestatie-metrieken

• Computationele Snelheid:
  • RL: Snelst (~0.5 ms).
  • ANR: ~1.2–1.4 ms (ongeveer 250x sneller dan NMPC).
  • NMPC: ~350–1200 ms (afhankelijk van de complexiteit van het scenario).
• Generalisatie (Out-of-Distribution):
  • RL: Faalde in het betrouwbaar generaliseren naar ongeziene beginstanden of referenties, zelfs binnen de distributie van de training, waarbij lage succespercentages werden behaald (bijv. 30% in in-distribution tests, volledig falend in OOD tests).
  • ANR: Vertoonde bijna invariante prestaties over ongeziene scenario's, inclusief OOD beginstanden en niet-nul referenties. Succespercentages waren vergelijkbaar met NMPC (bijv. 98% succes in OOD obstakel scenario's).
• Nauwkeurigheid:
  • ANR bereikte Absolute Convergence Errors (ACE) en Mean Squared Derivatives (MSD) vergelijkbaar met NMPC, hoewel iets hoger dan RL in in-distribution gevallen waar RL overfitte.
  • In OOD scenario's presteerde ANR significant beter dan RL, dat faalde om doelen te bereiken of restricties na te leven.

Specifieke Bevindingen

• In obstakelvrije OOD scenario's mat de ANR de NMPC-prestaties met een computationele kosten die twee ordes van grootte lager is.
• In scenario's met veel obstakels behield ANR hoge succespercentages (98% in gerandomiseerde dichte obstakel tests) waar RL faalde.
• De ANR handelde succesvol niet-nul referentie tracking taken af in OOD settings, een scenario waar RL-baselines niet werden geëvalueerd vanwege eerdere slechte prestaties.

5. Betekenis en Claims

Het artikel claimt dat het ANR-framework erin slaagt de kloof te overbruggen tussen de computationele efficiëntie van leergebaseerde controle en de rigoureuze optimaliteit en veiligheidsgaranties van optimale controletheorie.

• Betekenis: De methode biedt een levensvatbaar alternatief voor NMPC voor toepassingen die milliseconde-niveau controlebeslissingen vereisen, zoals snel-dynamische systemen en veiligheidskritische robotica, waar herhaalde online optimalisatie prohibitief is.
• Robuustheid: In tegen tegenover standaard RL, dat vaak uitgebreide reward engineering vereist en moeite heeft met generalisatie, maakt de ANR gebruik van de structurele eigenschappen van PMP om effectief te generaliseren naar ongeziene begincondities en referenties.
• Veiligheid: Door HOCBF's direct te integreren in de Hamiltonian minimalisatie, garandeert het framework de strikte naleving van toestands- en inputrestricties zonder de structurele beperkingen van post-hoc veiligheidsfilters die op niet-optimale nominale policies worden toegepast.

De auteurs concluderen dat de voorgestelde aanpak prestaties op par met NMPC bereikt tegen een fractie van de computationele kosten, terwijl het significant beter presteert dan RL in out-of-training-distribution regimes. Toekomstig werk wordt geïdentificeerd als het uitbreiden van het framework naar dynamische obstakels en hogere-dimensionale systemen.