Technische Samenvatting: Leren om te besturen van schakelende nietlineaire systemen met Koopman Operator Regressie

Probleemstelling

Dit werk behandelt de uitdaging van het identificeren en aansturen van nietlineaire dynamische systemen waarbij de controle-ruimte $U$ eindig is. De systeemdynamica wordt beheerst door een nietlineaire schakelende flow-afbeelding $f: X \times U \to X$, beschreven door de verschilvergelijking $x_{t+1} = f(x_t, u_t)$. De primaire moeilijkheden bij het aansturen van dergelijke systemen zijn tweeledig:

1. Nietlineariteit en onbekende dynamica: De flow-afbeelding $f$ is over het algemeen onbekend en nietlineair, waardoor de oplossing van het optimal control-probleem over een oneindige horizon computationeel onhandelbaar is.
2. Eindige controle-sets: De eindigheid van de controle-set kan leiden tot gesloten-lus dynamica die weliswaar begrensd zijn, maar niet asymptotisch stabiel in de limiet, wat potentieel kan resulteren in onbegrensde optimale controlekosten.

Om deze problemen aan te pakken, stellen de auteurs een data-gedreven raamwerk voor dat het nietlineaire schakelprobleem transformeert naar een lineair schakelprobleem binnen een Reproducing Kernel Hilbert Space (RKHS), waarbij gebruik wordt gemaakt van de Koopman operator-formalismen.

Methodologie

1. Koopman Lifting in RKHS

De kern van de methodologie bestaat uit het 'liften' van de toestandsruimte $X$ naar een hoog-dimensionale (potentieel oneindig-dimensionale) observabele ruimte $\mathcal{H}$ via een feature-map $\psi: X \to \mathcal{H}$.

• Lineaire schakelende dynamica: Voor een eindige controle-set $U$ worden de nietlineaire dynamica gerepresenteerd als een familie van lineaire operatoren $\{K_u\}_{u \in U}$ die werken op de gelifte toestand $z_t = \psi(x_t)$. De evolutie wordt beheerst door $z_{t+1} = K_{u_t} z_t$.
• Operatorconstructie: De auteurs definiëren de Koopman-operatoren $K_u$ op de RKHS $\mathcal{H}$ door de pre-Koopman operatoren, gedefinieerd op de afbeelding van de toestandsruimte, uit te breiden. Deze uitbreiding berust op de aanname dat de kernel strikt positief definiet is en dat de operatoren uniform begrensd zijn op een dichte deelruimte van $\mathcal{H}$.
• Vermijden van invariante maten: In tegenstelling tot sommige bestaande literatuur vereist deze aanpak niet de aanwezigheid of kennis van een invariante maat (bijv. voor ergodische dynamica) om de operatoren te definiëren.

2. Data-gedreven Identificatie via Regressie

Aangezien de operatoren $K_u$ onbekend zijn, worden ze geschat uit eindige datastalen met behulp van niet-parametrische regressie in de RKHS.

• Leerprobleem: Voor elke controle $u$ wordt de operator $\hat{K}_u$ geleerd door een geregulariseerd operator-waardig regressieprobleem (Tikhonov-regularisatie) op te lossen om de fout te minimaliseren tussen de voorspelde gelifte toestand en de geobserveerde volgende toestand.
• Convergentiegaranties: De paper leidt leersnelheden af voor de benaderingsfout $\|\hat{K}_u - K_u\|$. Deze snelheden zijn afhankelijk van de steekproefomvang $n$, de kernel-eigenschappen en een "source condition"-parameter $r \in (1/2, 1]$ die de gladheid van de doel-operator kwantificeert ten opzichte van de kernel-geometrie. De analyse berust niet op ergodiciteit- of tijdsomkeerbaarheids-aannames.

3. Model Predictive Control (MPC)

Om het optimal control-probleem over een oneindige horizon in de gelifte ruimte op te lossen, gebruiken de auteurs Model Predictive Control (MPC).

• Tijdvariërende Stage Cost: Om de potentiële afwezigheid van asymptotische stabiliteit door eindige acties op te vangen, is de stage cost $\ell(t, z, u)$ expliciet tijdvariërend (bijv. door een kortingsfactor op te nemen). Dit zorgt ervoor dat de optimale controlekosten begrensd blijven.
• Exacte versus Inexacte MPC:
  • Exacte MPC: Gaat ervan uit dat de ware Koopman-operatoren bekend zijn. De paper stelt vast dat de sub-optimaliteitskloof exponentieel afneemt met de voorspellingshorizon $T$, mits er aan een controleerbaarheidsaanname wordt voldaan.
  • Inexacte MPC: Gebruikt de geleerde surrogaatmodellen $\hat{K}_u$. De paper kwantificeert de sub-optimaliteitskloof door de statistische leerfout (uit de Koopman-regressie) te combineren met de robuustheidseigenschappen van het MPC-algoritme.

Belangrijkste Bijdragen

1. Lineair Schakelmodel voor Eindelijke Controles: De studie formaliseert een lineair, Koopman-gebaseerd predictief model specifiek voor nietlineaire dynamica met eindige controle-ruimten, waarbij de veelvoorkomende bilineaire of lineair tijd-invariante aannames worden vermeden.
2. Niet-parametrisch Leren met Convergentiebounds: De auteurs demonstreren hoe deze Koopman-modellen geleerd kunnen worden via niet-parametrische regressie in RKHS's. Ze leiden leersnelheden af die niet afhankelijk zijn van ergodiciteit of tijdsomkeerbaarheid, wat een algemener theoretisch raamwerk biedt.
3. Robuuste MPC-formulering: De paper formuleert een optimal control-probleem over een oneindige horizon zonder beperkingen met een tijdvariërende stage cost om eindige actie-sets te accommoderen. Dit wordt opgelost met behulp van MPC en biedt een theoretische prestatieanalyse.
4. Sub-optimaliteitsanalyse:
   • Voor exacte Koopman-dynamica leidt de paper sub-optimaliteitsbounds af die een exponentiële afname laten zien met de lengte van de horizon.
   • Voor geleerde (surrogaat) dynamica biedt de paper een hoog-waarschijnlijkheid bound die de statistische leerfout koppelt aan de robuustheid van de closed-loop controleprestaties. Dit overbrugt de kloof tussen statistische leertheorie en robuuste regeling.
5. Empirische Validatie: De voorgestelde algoritmen worden geïmplementeerd en getest op een Duffing-oscillator benchmark, waarmee de theoretische bevindingen met betrekking tot de impact van de voorspellingshorizon en het aantal trainingsstalen op de controleprestaties empirisch worden gevalideerd.

Resultaten en Bevindingen

• Leersnelheden: De theoretische analyse toont aan dat de één-stap voorspellingsfout van het benaderde Koopman-model schaalt als $O(n^{-1/6})$ in het snelste regime (afhankelijk van de source condition parameter $r$). Dit komt overeen met de snelheden gevonden in supervised learning, wat suggereert dat de schattingen scherp zijn.
• MPC-Prestaties:
  • De sub-optimaliteitskloof voor het exacte MPC-algoritme neemt exponentieel af met de voorspellingshorizon $T$.
  • Bij het gebruik van geleerde modellen wordt de sub-optimaliteitskloof begrensd door een term die afhankelijk is van de leerfout $\epsilon(n, \delta)$. Naarmate het aantal stalen $n$ toeneemt, wordt het geleerde model nauwkeuriger en nadert de closed-loop kosten de optimale waarde.
• Numerieke Simulaties: Experimenten op de Duffing-oscillator bevestigen dat:
  • Het vergroten van de voorspellingshorizon $T$ de controleprestaties verbetert, wat leidt tot een betere stabilisatie nabij de oorsprong.
  • Het vergroten van het aantal trainingsstalen $n$ de controlekosten vermindert, wat de theoretische leerbounds valideert.
  • De methode effectief werkt met zowel symmetrische als asymmetrische controle-sets, waarbij de laatste een snellere benadering van schakeloppervlakken vertoont.

Betekenis en Claims

De paper claimt een rigoureus theoretisch raamwerk te bieden voor het aansturen van schakelende nietlineaire systemen met data-gedreven Koopman-operatoren. De betekenis ligt in:

• Het Verbinden van Theorie en Praktijk: Het verbindt statistische leertheorie (RKHS-regressie) met regelingstheorie (MPC) om bewijsbare prestatiegaranties te bieden voor data-gedreven regeling.
• Generalisatie: Door af te zien van aannames zoals ergodiciteit of specifieke systeemstructuren (bijv. bilineariteit), is de aanpak toepasbaar op een bredere klasse van nietlineaire systemen met eindige controle-inputs.
• Kwantificeerbare Robuustheid: Het werk kwantificeert expliciet hoe schattingsfouten uit eindige data doorwerken in de controleprestaties, wat een "hoog-waarschijnlijkheid brug" vormt tussen leren en regelen.
• Praktische Implementatie: De auteurs bieden een open-source implementatie en tonen aan dat de theoretische sub-optimaliteitsbounds relevant zijn in de praktijk, zoals blijkt uit de simulaties van de Duffing-oscillator.

De auteurs blijven bescheiden in hun claims en merken op dat de theoretische analyse steunt op specifieke aannames (bijv. begrensdheid, source conditions) en dat toekomstig werk deze resultaten naar andere bemonsteringsstrategieën zou kunnen uitbreiden of de aannames voor specifieke klassen van nietlineaire systemen zou kunnen verifiëren. Ze erkennen ook dat real-time toepassing mogelijk benaderingen vereist voor de combinatorische zoektocht die inherent is aan het optimale controleprobleem.