Online learning of Koopman operator using streaming data from different dynamical regimes

Titel: Online leren van de Koopman-operator met behulp van streamende data uit verschillende dynamische regimes

1. Probleemstelling

De toenemende beschikbaarheid van sensoren leidt tot een overvloed aan streamende meetdata van complexe systemen. Hoewel data-gedreven modellering en controle wenselijk zijn, brengen deze grote datastromen aanzienlijke computationele uitdagingen met zich mee. Bestaande methoden, zoals Dynamic Mode Decomposition (DMD) en Extended DMD (EDMD), vereisen vaak grote datasets en zware berekeningen (zoals singuliere waarden decompositie en matrixinversie) die niet schaalbaar zijn voor continue datastromen.

Een specifiek probleem is dat streamende data soms afkomstig is uit verschillende dynamische regimes of zeldzame gebeurtenissen. Traditionele aanpassingsmethoden met een "vergeten factor" (forgetting factor) kunnen oudere data, die uit een ander regime komt, onterecht negeren, terwijl deze data juist cruciaal kan zijn voor het modelleren van kritieke fenomenen in de toekomst. Anderzijds vereist het behouden van een volledige historische archief voor continue updates een onhoudbaar groot geheugen en rekenkracht. Er is dus behoefte aan een methode die:

• Data selecteert op basis van "novelty" (nieuwheid).
• De modelorde en basisfuncties adaptief leert.
• Computationeel efficiënt blijft door redundantie te elimineren.

2. Methodologie

De auteurs stellen een raamwerk voor dat Online Leren van de Koopman-operator combineert met Recursieve Subruimte-Identificatie (R-SSID) en Grassmanniaanse afstand.

• Koopman-operator en Lifting: Het niet-lineaire dynamische systeem wordt benaderd als een lineair tijd-invariant (LTI) systeem in een verhoogde (lifted) ruimte. De observabelen worden gemodelleerd als een lineaire combinatie van basisfuncties. In plaats van deze basisfuncties vooraf te definiëren, worden ze geleerd via Gaussian Process (GP) regressie.
• Subruimte-Identificatie (SSID): Het systeem wordt geïdentificeerd door de uitbreidingsobservabiliteitsmatrix ($\Gamma$) te schatten. Dit gebeurt via de projectie van Hankel-matrices van de input-output data.
• Recursieve Update (R-SSID): In plaats van de volledige dataset opnieuw te verwerken, wordt een recursief algoritme gebruikt (gebaseerd op de matrixinversie-lemma) om de symmetrische data-matrix $\Xi$ en de projectie-matrix bij te werken wanneer nieuwe data binnenkomt.
• Grassmanniaanse Afstand als Filter: Dit is de kerninnovatie. Voor elke nieuwe data-segment wordt de Grassmanniaanse afstand ($G$) berekend tussen de huidige subruimte van de observabiliteitsmatrix en de subruimte die zou worden gevormd door de nieuwe data.
  • Als $G < \epsilon$ (drempelwaarde): De data is "redundant" (komt uit hetzelfde dynamische regime) en wordt verworpen.
  • Als $G > \epsilon$: De data vertegenwoordigt een nieuw dynamisch regime of een zeldzame gebeurtenis. Deze data wordt opgeslagen in een archief en gebruikt om de Koopman-operator en de systeemorde te updaten.
• Adaptieve Systeemorde: Door de singuliere waarden van de bijgewerkte matrix $\Xi$ te analyseren, kan de orde van het systeem ($r$) dynamisch worden aangepast als nieuwe regimes worden gedetecteerd.

3. Belangrijkste Bijdragen

1. Data-Selectie op Basis van Subruimte: Een nieuwe methode om redundantie in streamende data te detecteren via Grassmanniaanse afstand, waardoor alleen "nieuwe" informatie wordt verwerkt.
2. Adaptief Leren van Basisfuncties: Het vermogen om de basisfuncties (lifted states) te leren via Gaussian Process regressie zonder een vooraf gedefinieerde dictionary, terwijl de systeemorde automatisch wordt aangepast.
3. Computationele Efficiëntie: Het vermijden van het opslaan en verwerken van enorme datasets door alleen relevante data-segmenten te archiveren.
4. Robuustheid tegen Regime-wisselingen: Het systeem kan dynamische verschuivingen (bijv. van single-well naar double-well oscillaties) detecteren en het model daarop aanpassen zonder de prestaties te verliezen.

4. Resultaten

De auteurs testen hun algoritme (Algorithm 2: R-SSID met Grassmanniaanse geleide data-pruning) in twee simulaties:

• Voorbeeld 1: Niet-lineair systeem met eenvoudige Koopman-embedding:

  • Van 100 gestreamde datasets werden er slechts 10 geselecteerd voor updates (90% redundantie).
  • De Grassmanniaanse afstand nam af tot nul, wat aantoont dat het geïdentificeerde model convergeerde naar de ware lineaire dynamiek.
  • De systeemorde werd correct geïdentificeerd als 3.

• Voorbeeld 2: Duffing-oscillator met controle-input (Complex scenario):

  • Het systeem vertoonde eerst single-well oscillaties (eerste 600 datasets) en daarna double-well oscillaties (datasets 601-900).
  • Op dataset 601 werd een scherpe stijging in de Grassmanniaanse afstand gedetecteerd, wat de overgang naar een nieuw regime signaleerde.
  • Het algoritme pastte de systeemorde aan (van 9 naar 11) om de nieuwe dynamiek te vangen.
  • Vergelijking met EDMD: Het R-SSID-algoritme met slechts 11 basisfuncties presteerde beter (lagere RMSE) dan K-EDMD-methoden met 27 en 102 basisfuncties.
  • Het model dat na 900 datasets was getraind ($K_{900}$) had een lagere voorspellingsfout dan het model dat na 600 datasets was gestopt ($K_{600}$), wat het belang van online updates bevestigt.

5. Betekenis en Conclusie

Deze paper biedt een oplossing voor het dilemma tussen het behoud van historische data voor accurate modellering en de beperkingen van rekenkracht bij streamende data. Door de Grassmanniaanse afstand te gebruiken als maatstaf voor "novelty", kan het systeem:

• Zelfstandig beslissen welke data relevant is.
• De complexiteit van het model (orde en basisfuncties) dynamisch optimaliseren.
• Hoogwaardige voorspellingen behouden in systemen met wisselende dynamische regimes.

Dit is van groot belang voor toepassingen in complexe engineering-systemen waar sensoren continu data genereren en waar kritieke, zeldzame gebeurtenissen correct moeten worden gemodelleerd zonder dat de rekenkracht wordt overbelast.