Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

Technische Samenvatting: Leren van een Lokale Optimale Controller voor een Klasse van Nietlineaire Systemen via Impuls-Gesuperviseerde Exploratie

Probleemformulering
Het artikel behandelt de uitdaging van het leren van optimale controlebeleid voor een klasse van tweede-orde nietlineaire systemen met behulp van continu-tijd Approximate Dynamic Programming (ADP). Hoewel ADP en Reinforcement Learning (RL) krachtige kaders bieden voor het oplossen van optimale controleproblemen door de oplossing van de Hamilton-Jacobi-Bellman (HJB) vergelijking te benaderen, bestaat er een kritieke bottleneck voor nietlineaire systemen: de vereiste van persistentie van excitatie (PE).

In continu-tijd ADP is PE noodzakelijk om de convergentie van de gewichten van het criticus-neuraal netwerk naar hun ideale waarden te waarborgen. Het afdwingen van PE veroorzaakt echter doorgaans grote afwijkingen in de toestand. Voor nietlineaire systemen zijn dergelijke afwijkingen problematisch, omdat de optimale waardefunctie vaak wordt benaderd met een lokale linearisatie van de dynamica. Als de toestandsbaan door het excitatiesignaal te ver van het evenwicht wordt gedreven, kan de lokale lineaire benadering ongeldig worden, wat potentieel leidt tot systeeminstabiliteit of een "finite escape" waarbij de baan de regio van geldigheid verlaat. Bestaande methoden zoals concurrent learning vertrouwen op rijke offline data, die niet altijd beschikbaar zijn. Het doel van dit werk is om een lokaal optimaal controlebeleid te leren voor het lineaire model, terwijl de toestandsbaan strikt binnen een buurt wordt gehouden waar de lineaire benadering geldig blijft.

Methodologie
De auteurs stellen een impuls-gesuperviseerd geconfineerd exploratiekader voor dat continu-tijd ADP integreert met een superviserende laag van impulsieve controle. De kernmethodologie bestaat uit de volgende componenten:

1. Systeemmodel en Lokale Linearisatie: Het systeem wordt gemodelleerd als $\dot{x} = F(x) + G(x)u$, waarbij de driftterm $F(x)$ wordt gedecomposeerd in een lineair deel $Ax$ en hogere-orde nietlineaire termen $\phi(x)$. Het controle-objectief is het leren van het optimale beleid voor de lokale Lineaire Tijdinvariante (LTI) benadering $\dot{x} = Ax + Bu$ binnen een kleine buurt $S_1$ van de oorsprong.
2. ADP-kader: Een criticus-neuraal netwerk benadert de optimale waardefunctie $J^*(x) \approx \hat{W}^T \sigma(x)$. De gewichten $\hat{W}$ worden online bijgewerkt met behulp van een genormaliseerde gradiëntwet om de Bellman-residue te minimaliseren. Een persistent exciterend signaal $u_{PE}$ wordt toegevoegd aan de controle-input om aan de PE-conditie te voldoen die vereist is voor gewicht convergentie.
3. Impulsieve Superviserende Laag: Om te voorkomen dat de toestand de geldige regio $S_1$ verlaat als gevolg van het excitatiesignaal, maakt het kader gebruik van impulsieve rem-inputs. Deze inputs worden gemodelleerd als Dirac-deltafuncties die op specifieke tijdstippen $t = \tau_k$ worden toegepast.
   • Mechanisme: De impulsieve input werkt onmiddellijk in op de snelheidstoestand ($x_2$), waarbij deze wordt gereset naar nul ($x_2^+ = 0$), terwijl de positietoestand ($x_1$) onveranderd blijft.
   • Effect: Deze "remmende" actie vermindert de waarde van een Lyapunov-functie $V(x) = x_1^2 + x_2^2$, waardoor wordt gegarandeerd dat de post-jump toestand binnen de geconfineerde verzameling $S_1$ blijft.
4. Hybride Automaat Formulering: Het gesloten lus systeem wordt gemodelleerd als een hybride automaat met vier discrete modi:
   • $q_1, q_2$: Continue evolutie met actieve ADP-controle en gewicht-adaptatie (binnen de binnenste verzameling $S_2$ en de buitenste annulus $S_1 \setminus S_2$, respectievelijk).
   • $q_3$: Grensregime waarbij de baan de $\partial S_1$ bereikt.
   • $q_4$: Post-braking herstelfase waarbij controle en gewicht-adaptatie worden opgeschort en het systeem autonoom evolueert onder ongedwongen dynamica totdat het $S_2$ opnieuw binnentreedt.
   • Transities: Toestand-getriggerde guards bepalen wanneer impulsieve remming plaatsvindt (wanneer de baan de $\partial S_1$ raakt met een naar buiten gerichte snelheid) en wanneer het systeem wisselt tussen actieve leer- en herstelmodi.

Belangrijkste Bijdragen

• Impuls-Gesuperviseerde Exploratie: Het artikel introduceert een nieuw mechanisme waarbij impulsieve remming fungeert als een superviserende beperking om verzameling-invariantie af te dwingen. In tegenstelling tot veiligheidsgeconstreerde RL, die vaak harde restricties oplegt aan controle-inputs, gebruikt deze aanpak discrete resets om de toestand te confineren, wat agressieve excitatie mogelijk maakt die nodig is voor leren zonder de lokale geldigheid van het lineaire model te schenden.
• Hybride Dynamica voor Leren: Het werk vestigt een theoretisch kader dat continu-tijd ADP combineert met toestand-getriggerde impulsieve resets. Het bewijst dat het resulterende hybride gesloten lus systeem de geconfineerde exploratieverzameling $S_1$ positief invariant maakt.
• Theoretische Garanties: De auteurs leveren een bewijs dat de impulsieve remmap niet-expansief is met betrekking tot de Lyapunov-functie, wat garandeert dat de toestand $S_1$ nooit verlaat. Verder beargumenteren zij dat de tijd tussen opeenvolgende impulsen begrensd is boven nul, wat de Zeno-fenomenen uitsluit.

Simulatie-resultaten
Het voorgestelde kader werd gevalideerd op een nietlineair mechanisch systeem (een massa-veer-demper met kubische nietlineariteiten).

• Confinement: Simulatie-resultaten tonen aan dat de toestandsbaan gedurende het leerproces strikt geconfineerd blijft binnen de verzameling $S_1$. Telkens wanneer de baan de grens naderde door de excitatie, werd de impulsieve remming getriggerd, wat de snelheid resette en de toestand terug naar het binnenste trok.
• Convergentie: De criticus-gewichten convergeerden naar waarden die nauw overeenkomen met de optimale gewichten afgeleid van de algebraïsche Riccati-vergelijking voor het lokale lineaire model. De gewichten bleven constant tijdens de herstelfases (modus $q_4$) en werden bijgewerkt tijdens de exploratiefases.
• Vergelijking: Een vergelijkende simulatie zonder de impulsieve superviserende laag toonde aan dat de baan de regio van lineaire geldigheid verliet, wat leidde tot systeeminstabiliteit en een finite escape, waarmee de noodzaak van het confinement-mechanisme werd benadrukt.

Betekenis en Claims
Het artikel claimt dat deze aanpak succesvol de kloof overbrugt tussen de behoefte aan persistentie van excitatie in ADP en de vereiste van lokale geldigheid in nietlineaire controle. Door de exploratie te beperken tot een buurt waar de lineaire benadering geldig is, stelt de methode het leren van een lokaal optimale controller mogelijk die anders onbereikbaar zou zijn vanwege het risico op grote toestandsafwijkingen.

De auteurs merken bescheiden op dat het huidige werk uitgaat van kennis van de lokale lineaire dynamica en dat de impulsieve inputs geïdealiseerd zijn. Zij identificeren toekomstige richtingen als het uitbreiden van het kader naar model-vrije scenario's, hogere-dimensie systemen en experimentele validatie met praktische benaderingen van impulsieve inputs (bijv. high-gain feedback of solenoid brakes). Het werk onderscheidt zich van "safe RL" door specifiek te focussen op confinement voor leer-geldigheid in plaats van algemene veiligheidsrestricties, waarbij impulsieve controle als een specifiek superviserend instrument hiervoor wordt gebruikt.