⚡ electrical engineering

Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

Dit paper introduceert Kernel-SPV en Approximate Kernel-SPV-algoritmen die het prunen van Koopman-deelruimten mogelijk maken in Reproducing Kernel Hilbert Spaces door het gebruik van hoofdvectorberekeningen, waarmee de beperking tot Euclidische omgevingen wordt overwonnen.

Oorspronkelijke auteurs: Dhruv Shah, Jorge Cortes

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dhruv Shah, Jorge Cortes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel complexe machine probeert te begrijpen, zoals een weermodel of de beweging van een pendel. Deze systemen zijn vaak niet-lineair: ze doen dingen die niet lineair gaan, zoals een bal die van een heuvel rolt en dan ineens van richting verandert.

Wetenschappers gebruiken een slimme wiskundige truc, de Koopman-operator, om deze chaotische bewegingen om te zetten in iets dat lijkt op een rechte lijn. Het is alsof je een gekronkeld pad platwrijft tot een rechte weg, zodat je makkelijker kunt voorspellen waar de bal over een uur zal zijn.

Maar hier zit een probleem: om die "rechte weg" te tekenen, moet je een keuze maken uit duizenden mogelijke richtingen (een "woordenlijst" van functies). Als je de verkeerde richtingen kiest, is je voorspelling onnauwkeurig. Je wilt alleen die richtingen houden die echt stabiel zijn en goed samenwerken met de beweging van de machine.

Hier komt dit paper om de hoek kijken. Het lost twee grote problemen op:

1. Het probleem van de "Grote Boek" (RKHS)

Stel je voor dat je een woordenlijst hebt die zo groot is dat hij in een heel gebouw past. Dat is wat een Reproducing Kernel Hilbert Space (RKHS) is: een oneindig grote, maar slimme woordenlijst die perfect past bij je data.

Het probleem: Als je probeert te rekenen met zo'n groot gebouw, duurt het eeuwen. De computer "smelt" van de warmte (de berekening is $O(N^3)$ , wat betekent dat als je dubbel zoveel data hebt, het 8 keer langer duurt).
De oplossing: De auteurs gebruiken een trucje (de Nyström-approximatie). In plaats van het hele gebouw te bezoeken, kiezen ze een paar "landmarken" (belangrijke punten) uit de data. Het is alsof je in plaats van elke boom in een groot bos te tellen, alleen de bomen langs de rand bekijkt om te weten hoe het bos eruitziet. Hierdoor wordt de berekening snel en haalbaar, zelfs voor enorme datasets.

2. Het probleem van de "Verkeerde Richtingen" (Subspace Pruning)

Stel je voor dat je een kompas hebt met 200 naalden die allemaal in verschillende richtingen wijzen. Maar je merkt dat 195 van die naalden heel erg trillen en onstabiel zijn. Ze wijzen niet waar de wind echt naartoe gaat. Je wilt die trillende naalden weggooien en alleen de stabiele houden.

De methode: De auteurs gebruiken een meetinstrument genaamd hoofdhoecken (principal angles). Dit is een manier om te meten hoe goed een richting "in de pas loopt" met de toekomstige beweging.
- Als een richting perfect in de pas loopt, is de hoek 0 graden.
- Als een richting erg scheef loopt, is de hoek groot.
De "Schaar": Hun algoritme (genaamd Kernel-SPV) is als een slimme schaar. Het kijkt naar alle 200 naalden, meet welke er het meest scheef staan, en knipt die eruit. Daarna meet het opnieuw en knipt nog een paar weg, totdat alleen de allerstabielste, meest betrouwbare richtingen overblijven.

De Analogie: Het Orkest

Stel je een orkest voor dat een symfonie speelt (de dynamische systemen).

De Koopman-operator is de dirigent die probeert het geluid lineair te houden.
De RKHS is een orkest met 10.000 muzikanten. Dat is te veel om te regelen!
De "Pruning" (Snoeien) is het proces waarbij de dirigent kijkt welke muzikanten vals spelen of uit de pas lopen. Hij stopt ze niet in de pauze, maar haalt ze volledig uit het orkest.
Het nieuwe algoritme is een slimme assistent die snel kan horen wie er vals speelt, zelfs als het orkest gigantisch groot is. Hij gebruikt een paar "hoorders" (de landmarks) om te weten wie er vals speelt, in plaats van naar elke muzikant te luisteren.

Wat levert dit op?

Door deze "snoeibeurten" te doen:

Betere voorspellingen: Het model maakt minder fouten omdat het niet wordt afgeleid door de "ruis" van de slechte richtingen.
Snellere computers: Je hoeft niet meer met het hele enorme orkest te rekenen, maar alleen met de beste 5 of 10 muzikanten.
Toepasbaar op grote data: Het werkt nu ook voor systemen met miljoenen datapunten, wat voorheen onmogelijk was.

Kortom: De auteurs hebben een manier bedacht om in een oneindig grote, complexe wiskundige wereld snel de "beste" richtingen te vinden en de "slechte" eruit te knippen, zodat we complexe systemen (zoals weer, robotica of stromingen) veel nauwkeuriger en sneller kunnen voorspellen.

1. Probleemstelling

De Koopman-operator biedt een krachtig raamwerk om niet-lineaire dynamische systemen te analyseren door ze te representeren als oneindig-dimensionale lineaire operatoren op functieruimten. Een veelgebruikte data-gedreven methode om deze operator te benaderen is Extended Dynamic Mode Decomposition (EDMD). Om de rekenkosten te beperken, projecteert EDMD de operator op een eindig-dimensionale deelruimte, opgespannen door een woordenboek van observabelen.

Een kritieke beperking van bestaande methoden is dat de nauwkeurigheid van de benadering sterk afhangt van de invariantie van deze deelruimte onder de Koopman-operator. Als de deelruimte niet invariant is, ontstaan er projectiefouten die de voorspellende nauwkeurigheid verminderen.

Subspace Pruning: Bestaande technieken voor "subspace pruning" (het systematisch verwijderen van slecht uitgelijnde richtingen uit het woordenboek om de invariantie te verbeteren) zijn tot nu toe beperkt tot Euclidische ruimten met een empirische $L_2$ -inproduct.
Kernel EDMD (kEDMD): Deze methode werkt in een Reproducing Kernel Hilbert Space (RKHS), wat een rijker, data-afhankelijk woordenboek biedt en de hyperparameter-tuning vereenvoudigt. Echter, kEDMD heeft een rekencomplexiteit van $O(N^3)$ (waarbij $N$ het aantal datapunten is), wat het onuitvoerbaar maakt voor grote datasets.
De Kruis: Er ontbreekt een methode om subspace pruning toe te passen binnen de RKHS-geometrie, en er is een schaalbare oplossing nodig om de $O(N^3)$ -barrière te doorbreken.

2. Methodologie

De auteurs ontwikkelen een raamwerk om hoofdhoecken (principal angles) en hoofdvector (principal vectors) te berekenen in een RKHS, specifiek voor het doel van subspace pruning.

A. Exacte Berekening in RKHS

De auteurs leiden een exacte procedure af om de invariantie-proximaliteit ( $\delta(S)$ ) te kwantificeren, gedefinieerd als de sinus van de grootste hoofdhhoek tussen de deelruimte $S$ en zijn beeld onder de Koopman-operator $KS$.

Gram-matrices: Ze construeren Gram-matrices voor de basis $V$ van $S$ en het beeld $KV$. Omdat $KV$ impliciet is gedefinieerd via de kernel, lossen ze een lineaire systeem op om de coëfficiënten $W_{KV}$ te vinden die $KV$ uitdrukken in termen van de dataset-kernsecties.
Orthonormalisatie: Omdat de Gram-matrices rang-deficiënt kunnen zijn, gebruiken ze een spectrale truncatie (via eigendecompositie) om orthonormale bases te construeren zonder de functies expliciet te hoeven evalueren.
SVD: De hoofdhhoeken en -vectoren worden verkregen via de Singular Value Decomposition (SVD) van de "cosinus-matrix", afgeleid van de orthonormale bases.
Algoritme Kernel-SPV: Dit exacte algoritme (Algorithm 1) implementeert de pruning door iteratief de vector met de grootste hoofdhhoek (minst invariant) te verwijderen totdat een tolerantie $\epsilon$ is bereikt.

B. Schaalbare Benadering via Nyström

Om de $O(N^3)$ -complexiteit van de exacte methode te overwinnen, introduceren ze een Nyström-benadering:

Landmark-punten: Er wordt een klein subset van $D$ "landmark"-punten ( $D \ll N$ ) uit de dataset gehaald.
Feature Mapping: Een expliciete, eindig-dimensionale feature map $\psi: \mathbb{R}^n \to \mathbb{R}^D$ wordt geconstrueerd die de kernmatrix benadert. Hierdoor kunnen berekeningen worden uitgevoerd in de ruimte van dimensie $D$ in plaats van $N$ .
Doelmatrices: In plaats van de volledige kernelmatrix te invertëren, worden "doelmatrices" ( $Z_V$ en $Z_{KV}$ ) geconstrueerd die de Gram-matrices benaderen. Voor $Z_{KV}$ wordt een Tikhonov-geregulariseerde oplossing gebruikt om stabiliteit te garanderen en rang-deficiëntie te voorkomen.
Rank-separatie: Om artefacten door de benadering te elimineren, worden de doelmatrices onderworpen aan een gecensureerde SVD (truncated SVD) met data-afhankelijke drempels. Dit zorgt ervoor dat de berekende rang overeenkomt met de werkelijke rang van de onderliggende geometrie.
Algoritme Approximate Kernel-SPV: Dit algoritme (Algorithm 2) voert de pruning uit in de benaderde feature-ruimte, met een complexiteit van $O(NDs + D^3)$ , wat lineair is in $N$ .

3. Belangrijkste Bijdragen

Theoretische Uitbreiding: De eerste methode om hoofdhhoeken en -vectoren te berekenen specifiek voor subspace pruning binnen een RKHS-geometrie, in plaats van de beperkte Euclidische setting.
Exacte Routine: Een wiskundig rigoureuze afleiding (Lemma 4.1, Theorema 4.5) om de invariantie-proximaliteit exact te berekenen zonder de functies expliciet te hoeven evalueren, uitsluitend gebaseerd op kernelmatrices.
Schaalbaar Algoritme: De ontwikkeling van een Nyström-gebaseerde benadering die de $O(N^3)$ -barrière doorbreekt, waardoor de methode toepasbaar wordt op grote datasets en complexe systemen.
Kernel-SPV en Approximate Kernel-SPV: Twee geïntegreerde algoritmen die gerichte subspace-verfijning mogelijk maken, wat leidt tot betere eigenfuncties en voorspellende prestaties.

4. Resultaten

De auteurs valideren hun aanpak met simulaties op een gedempte Duffing-oscillator:

Dataset: $N=5000$ datapunten, woordenboekgrootte $s=200$ .
Nauwkeurigheid van Benadering: De orthonormaliteitsresiduen van de benaderde bases nemen af naarmate het aantal Nyström-landmarks ( $D$ ) toeneemt.
Vergelijking: Met slechts $D=2000$ landmarks (40% van de dataset) levert de Approximate Kernel-SPV bijna identieke resultaten op als de exacte Kernel-SPV wat betreft de berekende hoofdhhoeken.
Voorspellende Prestaties: Na het toepassen van pruning (reductie van $s=200$ naar $s^*=5$ ) wordt de 5-staps voorspellingsfout van de belangrijkste eigenfunctie (eigenwaarde $\lambda \approx 1$ ) aanzienlijk verlaagd. De gepruned subspace levert een veel nauwkeurigere dynamische model dan de ongepruned versie.

5. Betekenis en Conclusie

Dit werk vormt een brug tussen de theoretische voordelen van Kernel EDMD (rijke, data-gedreven dictionaries) en de praktische noodzaak van modelreductie en invariantie-optimalisatie.

Modelreductie: De methode biedt een krachtige techniek om de dimensie van het verheven toestandsdynamisch model te reduceren, wat essentieel is voor het ontwerpen van beheersbare controllers.
Schaalbaarheid: Door de Nyström-benadering wordt het mogelijk om subspace pruning toe te passen op datasets die te groot zijn voor exacte kernel-methoden.
Toekomstperspectief: De auteurs wijzen op de potentie voor het afleiden van voorspellingsfoutgrenzen gebaseerd op de berekende hoofdhhoeken en het ontwikkelen van geavanceerdere pruning-strategieën.

Samenvattend biedt dit artikel een robuust, data-gedreven raamwerk om de kwaliteit van Koopman-benaderingen in RKHS-systemen te maximaliseren door geometrisch misalignement systematisch te elimineren, zelfs bij grote datasets.