Technische Samenvatting: Het verbeteren van de transiënte prestaties van referentie-volgende controllers met neurale netwerken

Probleemformulering

Referentie-tracking (het volgen van een referentie) is een fundamenteel doel in controlesystemen binnen domeinen zoals elektrotechnische systemen, robotica en luchtvaart. Hoewel traditionele controllers (bijv. PID) zorgen voor nauwkeurigheid in de stationaire toestand, falen ze vaak in het expliciet optimaliseren van transiënte prestatie-indicatoren, zoals het minimaliseren van energieverbruik, het verminderen van overschot (overshoot) of het vermijden van obstakels in aanwezigheid van nonlineariteiten en verstoringen.

Bestaande benaderingen om nietlineaire tracking te verbeteren zijn onder meer Model Predictive Control (MPC), wat flexibiliteit biedt maar lijdt onder hoge computationele kosten in real-time; adaptieve controle, die vaak slechts lokale garanties biedt; en methoden gebaseerd op neurale netwerken (NN), die een gebrek hebben aan formele garanties voor closed-loop stabiliteit en prestaties. De auteurs beogen dit gat te overbruggen door een framework te ontwikkelen dat de flexibiliteit van neurale netwerken benut om willekeurige transiënte kostenfuncties te optimaliseren, terwijl de $L_p$-stabiliteit en referentie-volgende eigenschappen strikt worden gewaarborgd.

Methodologie

Het artikel introduceert rPB (reference Performance Boosting), een uitbreiding van het bestaande Performance Boosting (PB) framework, specifiek afgestemd op referentie-volgende taken. De methodologie steunt op een Internal Model Control (IMC) architectuur en de volgende cruciale theoretische stappen:

1. Volledige parametrisatie van tracking controllers:
   De auteurs karakteriseren de volledige verzameling nietlineaire controllers die de tracking-eigenschappen van een gegeven baseline-controller behouden. Zij demonstreren dat elke dergelijke controller geparametriseerd kan worden door een vrije causale operator $M$ binnen een IMC-structuur. In deze structuur wordt de besturingsinput $u$ berekend als $u = M(\hat{w}, x_{ref})$, waarbij $\hat{w}$ de interne schatting van de verstoring is, afgeleid van het verschil tussen de werkelijke systeemtoestand en de nominale modelvoorspelling.

2. Stabiliteit en tracking garanties:

   • Exact Model Case: Indien de operator $M$ $\ell_p$-signalen genereert voor $\ell_p$ inputs, behoudt het closed-loop systeem de $L_p$-stabiliteit van het baseline-systeem en wordt asymptotische referentie-tracking gegarandeerd voor elk referentiekanaal in de verzameling $X_{ref}$.
   • Robuustheid tegen modelmismatch: Het framework wordt uitgebreid om imperfecte modelkennis te behanden. Door de mismatch te modelleren als een incrementeel eindige-gain $\ell_p$-stabiele (i.f.g $\ell_p$-stabile) operator, bewijzen de auteurs dat referentie-tracking behouden blijft, mits de incrementele gain van $M$ voldoende klein is ten opzichte van de gain van de mismatch en de systeemdynamica.

3. Implementatie van Neurale Netwerken:
   Om de optimalisatie hanteerbaar te maken, wordt de oneindig-dimensionale operator $M$ gedecomposeerd in twee componenten: $M = M_1 \circ M_2$.

   • $M_1$ wordt gekozen uit een klasse van geparametriseerde $L_p$-stabiele operatoren (specifiek, contractieve Recurrent Equilibrium Networks of RENs) om stabiliteit te garanderen.
   • $M_2$ is een Multi-Layer Perceptron (MLP) met begrensde outputs (bijv. gebruikmakend van sigmoid activaties) om het referentiesignaal te verwerken.
     Deze decompositie maakt het mogelijk om het probleem te herformuleren als een ongestrengde optimalisatie over de netwerkparameters $\theta$. De auteurs maken gebruik van backpropagation-through-time om een finite-horizon loss-functie te minimaliseren die tracking-fouten, botsingen en andere transiënte kosten bestraft.

Belangrijkste Bijdragen

• rPB Framework: De introductie van een nieuwe neurale netwerk-controlemethode specifiek voor referentie-tracking die prestatie-optimalisatie ontkoppelt van stabiliteitsrestricties.
• Generalisatie: In tegen tegenstelling tot standaard PB, dat mogelijk hertraining vereist voor specifieke referenties, is de rPB-karakterisering onafhankelijk van het specifieke signaal dat gevolgd moet worden. Dit maakt een enkel trainingsproces mogelijk dat generaliseert over een breed scala aan referentiesignalen.
• Robuustheidsgaranties: Theoretisch bewijs dat garanties voor referentie-tracking behouden blijven onder modelmismatch, mits de mismatch voldoet aan specifieke voorwaarden van incrementele stabiliteit.
• Ongestrengde Optimalisatie: Een formulering die het beperkte nietlineaire optimale contropprobleem transformeert naar een ongestrengd probleem over neurale netwerkparameters, wat het gebruik van efficiënte gradiënt-gebaseerde optimizers mogelijk maakt.

Experimentele Resultaten

De auteurs hebben het rPB-framework gevalideerd met behulp van een gesimuleerd coöperatief robotica-scenario met twee puntmassa-robots onderhevig aan nietlineaire weerstandskrachten en een integrale baseline-controller.

1. Benchmark tegenover Standaard PB (bPB):
   In een "tight corridor" taak faalde de standaard PB-controller (getraind op een specifieke doelpaar-configuratie) om te generaliseren naar nieuwe doelconfiguraties, wat resulteerde in botsingen met obstakels. In contrast hiermee genereerde rPB, getraind op een distributie van referentieparen, succesvol botsingsvrije, bijna-optimale trajecten voor ongeziene doelen, wat superieure generalisatie en transiënte prestaties demonstreert.

2. Complexe Omgeving (Bergketen):
   In een complexere omgeving met een reeks obstakels werd rPB getraind op 2.000 rollouts. De resultaten lieten zien dat de controller door diverse openingen tussen obstakels kon navigeren om de padlengte te minimaliseren. In 500 testscenario's met variërende begincondities en doelen behaalde de rPB-controller nul botsingen, terwijl de baseline-controller alleen tot botsingen leidde. Het systeem optimaliseerde succesvol het transiënte gedrag (het vermijden van obstakels) terwijl de stationaire tracking-capaciteit van de baseline behouden bleef.

Betekenis en Claims

Het artikel claimt dat rPB een principiële manier biedt om generieke transiënte kosten te optimaliseren in nietlineaire referentie-volgende problemen zonder formele stabiliteitsgaranties op te offeren. De primaire betekenis ligt in de mogelijkheid om:

• Transiënten te optimaliseren: Complexe, niet-convexe kostenfuncties (zoals het vermijden van obstakels) expliciet te minimaliseren die traditionele controllers niet kunnen afhandelen.
• Veiligheid te waarborgen: $L_p$-stabiliteit en referentie-volgende garanties te handhaven, zelfs bij het gebruik van expressieve neurale netwerkmodellen.
• Efficiënt te generaliseren: Robuuste prestaties te bereiken over een breed scala aan referentiesignalen met een enkele trainingsfase, wat een belangrijke beperking vormt voor standaard PB en andere leer-gebaseerde controlemethoden.

De auteurs concluderen dat deze benadering een significante verbetering vormt ten opzichte van standaard PB-frameworks en potentieel heeft voor complexe real-world toepassingen waar zowel veiligheid als prestatie-optimalisatie cruciaal zijn. Toekomstig werk wordt gesuggereerd om rPB uit te breiden naar gedistribueerde controle-architecturen en systemen met input-naar-output representaties.