⚡ electrical engineering

Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

Diese Arbeit stellt Algorithmen vor, die die Koopman-Unterraum-Pruning-Technik durch die Berechnung von Hauptvektoren und -winkeln in Reproduzierenden Kernel-Hilberträumen (RKHS) erweitern, um die Invarianz von datengetriebenen Modellen zu verbessern und dabei sowohl exakte als auch skalierte Näherungsverfahren für große Datensätze bereitstellen.

Ursprüngliche Autoren: Dhruv Shah, Jorge Cortes

Veröffentlicht 2026-04-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dhruv Shah, Jorge Cortes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Wetter in Ihrer Stadt vorherzusagen. Die echten Wettergesetze sind unglaublich komplex, chaotisch und schwer zu verstehen. Aber was, wenn Sie einen Zaubertrick anwenden könnten, der das Chaos in eine einfache, gerade Linie verwandelt? Genau das ist die Idee hinter dem Koopman-Operator. Er ist wie ein magischer Übersetzer, der komplizierte, nicht-lineare Bewegungen (wie ein schwingendes Pendel oder ein fliegender Vogel) in eine einfache, lineare Sprache übersetzt, die wir leichter berechnen können.

Das Problem ist nur: Um diesen Zaubertrick mit echten Daten durchzuführen, brauchen wir einen riesigen Werkzeugkasten. Je genauer wir sein wollen, desto größer wird dieser Kasten. Und wenn er zu groß wird, bricht unser Computer zusammen – er braucht zu viel Zeit und Speicher.

Hier kommt diese wissenschaftliche Arbeit ins Spiel. Die Autoren (Dhruv Shah und Jorge Cortés) haben einen cleveren Weg gefunden, diesen Werkzeugkasten zu entschlacken, ohne die Genauigkeit zu verlieren.

Hier ist die Erklärung in einfachen Schritten mit ein paar Bildern:

1. Das Problem: Der überfüllte Werkzeugkasten

Stellen Sie sich vor, Sie haben einen riesigen Koffer voller Werkzeuge (Werkzeuge sind hier mathematische Funktionen, die wir nutzen, um das System zu beschreiben).

Der alte Weg (EDMD): Man nimmt einfach alle Werkzeuge mit. Das funktioniert, aber der Koffer ist so schwer, dass man ihn kaum tragen kann.
Der neue Weg (RKHS): Die Autoren nutzen einen speziellen "Kleber" (einen sogenannten Kernel), der die Werkzeuge so anordnet, dass sie perfekt auf die Daten passen. Das ist super effizient, aber der Koffer wird dadurch noch riesig und schwer.

2. Die Lösung: Der "Garten-Pruner" (Subspace Pruning)

Statt den ganzen Koffer zu schleppen, wollen wir nur die besten Werkzeuge behalten. Aber welche sind die besten?

Die Metapher des Gartens: Stellen Sie sich Ihren Werkzeugkasten als einen wild wuchernden Garten vor. Manche Pflanzen (Werkzeuge) wachsen genau in die Richtung, in die das Wetter sich bewegt (das ist gut). Andere wachsen schief, in die falsche Richtung, oder sind einfach nur Unkraut.
Das Ziel: Wir wollen das Unkraut entfernen, damit nur die Pflanzen übrig bleiben, die perfekt mit dem Wind (der Dynamik des Systems) mitwachsen.

3. Die Schwierigkeit: Unsichtbare Winkel

Um zu wissen, welche Pflanzen schief wachsen, müssten wir die Winkel zwischen den Pflanzen messen. In einer normalen Welt (einem flachen Feld) ist das einfach. Aber in der Welt dieser Forscher (der "Reproduzierenden Kernel Hilbert-Raum" oder RKHS) ist der Boden krumm und verzerrt. Die Werkzeuge sind dort nicht direkt sichtbar; sie sind wie Schatten an einer Wand.

Die Herausforderung: Wie misst man den Winkel zwischen zwei Dingen, die man gar nicht direkt sehen kann, sondern nur durch ihre Schatten?

4. Der Trick: Die "Landmarken"-Methode (Nyström-Approximation)

Hier kommt der geniale Teil der Arbeit:

Der alte Weg: Um die Winkel zu messen, müssten wir jeden einzelnen Punkt im riesigen Datensatz berechnen. Das wäre wie der Versuch, jeden einzelnen Sandkorn am Strand zu zählen, um die Form des Strandes zu verstehen. Unmöglich für große Datenmengen.
Der neue Weg (Nyström): Die Autoren sagen: "Wir brauchen nicht jeden Sandkorn zu zählen!" Stattdessen nehmen wir eine kleine Auswahl an Landmarken (z. B. 2000 repräsentative Punkte).
- Stellen Sie sich vor, Sie wollen die Form eines riesigen Berges verstehen. Statt jeden Zentimeter zu vermessen, messen Sie nur die Gipfel und einige wichtige Täler (die Landmarken). Aus diesen wenigen Punkten können Sie den Rest des Berges sehr gut rekonstruieren.
- Dieser Trick erlaubt es ihnen, die "Winkel" (die Hauptachsen) auch in diesem krummen, unsichtbaren Raum zu berechnen, ohne den ganzen Koffer zu schleppen.

5. Das Ergebnis: Ein schlanker, schneller Koffer

Durch diese Methode (die sie Kernel-SPV nennen) können sie:

Die "schiefen" Werkzeuge identifizieren und entfernen.
Einen viel kleineren, leichteren Werkzeugkasten zurücklassen.
Trotzdem fast genauso genaue Vorhersagen treffen wie mit dem riesigen Koffer.

Zusammenfassend:
Die Autoren haben einen Weg gefunden, wie man in einer komplexen, mathematischen Welt (dem RKHS) den "Winkel" zwischen verschiedenen Datenrichtungen misst, selbst wenn man nicht alle Daten direkt sehen kann. Sie nutzen einen cleveren Trick mit wenigen Stichproben (Landmarken), um den Rechenbedarf von "unmöglich" auf "machbar" zu reduzieren. Das Ergebnis ist ein System, das komplexe Bewegungen (wie ein schwingendes Pendel) schneller und effizienter vorhersagen kann, indem es den "Müll" aus den Daten entfernt und nur das Wesentliche behält.

Es ist wie das Entfernen von Rauschen aus einem alten Radio: Das Signal wird klarer, lauter und verständlicher, ohne dass man den ganzen Sender umbauen muss.

1. Problemstellung

Die Analyse nichtlinearer dynamischer Systeme mittels des Koopman-Operators erfolgt häufig durch Projektion auf einen endlichdimensionalen Unterraum, der durch einen Wörterbuch von Observablen aufgespannt wird. Eine etablierte Methode hierfür ist die Extended Dynamic Mode Decomposition (EDMD). Um die Abhängigkeit von der manuellen Auswahl des Wörterbuchs zu verringern, wurde Kernel EDMD (kEDMD) eingeführt, welche die Projektion im Rahmen eines Reproducing Kernel Hilbert Space (RKHS) durchführt. Dies ermöglicht eine datengetriebene, implizite Definition des Wörterbuchs und verbessert die Approximationsgüte.

Trotz dieser Vorteile bestehen zwei Hauptprobleme:

Rechenaufwand: Die exakte Kernel-EDMD hat eine kubische Komplexität von $O(N^3)$ (wobei $N$ die Anzahl der Trajektorien-Snapshots ist), was sie für große Datensätze unbrauchbar macht.
Invarianz-Problematik: Die Genauigkeit der Koopman-Approximation hängt stark davon ab, wie „invariant" der gewählte Unterraum unter dem Operator ist. Wenn der Unterraum nicht invariant ist, entstehen Projektionsfehler. Bestehende Techniken zur Unterraum-Beschneidung (Subspace Pruning), die geometrisch fehljustierte Richtungen entfernen, um die Invarianz zu maximieren, sind bisher nur für euklidische Räume (Standard-EDMD) entwickelt worden. Es fehlt ein Ansatz, der diese Pruning-Methoden auf die RKHS-Geometrie überträgt, um die Vorteile beider Welten zu vereinen.

2. Methodik

Das Paper entwickelt einen rigorosen Rahmen, um Hauptwinkel (Principal Angles) und Hauptvektoren zwischen einem Unterraum $S$ und seinem Bild unter dem Koopman-Operator $KS$ im RKHS zu berechnen. Dies dient als Grundlage für das gezielte Beschneiden des Unterraums.

A. Exakte Berechnung im RKHS (Kernel-SPV)

Um die Hauptwinkel im unendlichdimensionalen RKHS zu bestimmen, wird ein exakter Algorithmus hergeleitet:

Darstellung: Der Unterraum $S$ wird durch Koeffizientenvektoren bezüglich empirischer Kernel-Sektionen $\Phi_X$ dargestellt.
Basis-Transformation: Da das Bild $KS$ nicht explizit bekannt ist, wird eine lineare Abbildung $W_{KV}$ hergeleitet, die $KS$ als Linearkombination der Kernel-Sektionen $\Phi_X$ ausdrückt. Dies erfordert die Lösung eines linearen Gleichungssystems unter Verwendung der Kernel-Matrizen $K_{X,X}$ und $K_{T(X),X}$ .
Gram-Matrizen & QR-Zerlegung: Es werden Gram-Matrizen für $S$ und $KS$ konstruiert. Da diese Matrizen rangdefizient sein können, werden durch Eigenwertzerlegung (Spectral Truncation) stabile orthonormale Basen extrahiert.
Hauptwinkel: Die Hauptwinkel werden durch eine Singulärwertzerlegung (SVD) der „Cosine-Matrix" berechnet, die aus den orthonormalen Basen von $S$ und $KS$ abgeleitet wird.
Algorithmus: Dieser Ansatz führt zum Kernel-SPV-Algorithmus.

B. Skalierbare Approximation via Nyström (Approximate Kernel-SPV)

Um das $O(N^3)$ -Problem zu lösen, wird eine Nyström-Approximation eingeführt:

Landmark-Punkte: Anstatt mit allen $N$ Datenpunkten zu arbeiten, wird eine kleine Teilmenge von $D$ „Landmark"-Punkten ( $D \ll N$ ) ausgewählt.
Explizite Feature-Map: Basierend auf den Landmarks wird eine explizite, endlichdimensionale Feature-Map $\psi: \mathbb{R}^n \to \mathbb{R}^D$ konstruiert. Dies erlaubt die Arbeit mit expliziten Matrizen anstelle der vollen Kernel-Matrix.
Zielmatrizen: Es werden Zielmatrizen $Z_V$ und $Z_{KV}$ definiert, die die Gram-Matrizen approximieren. Für $Z_{KV}$ wird eine Tikhonov-Regularisierung verwendet, um numerische Stabilität zu gewährleisten und die Notwendigkeit der expliziten Berechnung von $W_{KV}$ zu umgehen.
Rang-Trennung: Um die durch die Approximation eingeführten künstlichen Dimensionen zu entfernen, werden die Zielmatrizen mittels SVD mit datenabhängigen Schwellenwerten (Thresholding) getrimmt.
Komplexität: Der resultierende Approximate Kernel-SPV-Algorithmus reduziert die Komplexität auf $O(NDs + D^3)$ , was linear in $N$ skaliert und somit für große Datensätze praktikabel ist.

C. Subspace Pruning (SPV)

Basierend auf den berechneten Hauptwinkeln wird die Single Principal Vector (SPV)-Methode angewendet:

Der Unterraum wird iterativ um die Hauptvektoren reduziert, die den größten Hauptwinkel (d.h. die größte Abweichung von der Invarianz) aufweisen.
Dieser Prozess wird wiederholt, bis die Invarianz-Nähe (definiert als $\sin(\theta_{\max})$ ) eine vorgegebene Toleranz $\epsilon$ unterschreitet.

3. Wichtige Beiträge

Theoretische Herleitung: Erste rigorose Formulierung zur Berechnung von Hauptwinkeln und -vektoren speziell für die Geometrie eines RKHS, was eine Erweiterung bestehender euklidischer Pruning-Methoden darstellt.
Skalierbarkeit: Entwicklung einer Nyström-basierten Approximation, die die rechenintensive Inversion großer Kernel-Matrizen umgeht und den Ansatz auf große Datensätze anwendbar macht.
Algorithmen: Vorstellung von Kernel-SPV (exakt) und Approximate Kernel-SPV (skalierbar) für das gezielte Verfeinern von Unterräumen.
Validierung: Numerische Experimente, die die Konvergenz der Nyström-Approximation und die Wirksamkeit der Pruning-Strategie belegen.

4. Ergebnisse

Die Simulationen wurden an einem gedämpften Duffing-Oszillator mit $N=5000$ Datenpunkten durchgeführt:

Konvergenz: Die Approximationsfehler (Orthogonalitätsresiduen der Basen) nehmen mit steigender Anzahl der Landmarks $D$ stetig ab.
Genauigkeit: Bei $D=2000$ Landmarks liefert der Approximate Kernel-SPV fast identische Hauptwinkel wie die exakte Kernel-SPV-Methode, obwohl die Basen noch nicht perfekt orthonormal sind. Dies zeigt, dass die Nyström-Methode die für das Pruning notwendige Geometrie effizient erfasst.
Vorhersagequalität: Nach dem Beschneiden des Unterraums (Reduktion von $s=200$ auf $s^*=5$ ) verbesserte sich die Vorhersagegenauigkeit der führenden Koopman-Eigenfunktion signifikant. Der relative Vorhersagefehler über 5 Zeitschritte wurde drastisch reduziert.

5. Bedeutung und Ausblick

Das Paper schließt eine wichtige Lücke zwischen der theoretischen Stärke von Kernel-Methoden (RKHS) und der praktischen Notwendigkeit effizienter, invarianter Unterraum-Approximationen.

Modellreduktion: Die Methode dient nicht nur der Verbesserung der Vorhersagegenauigkeit, sondern ist ein leistungsfähiges Werkzeug zur Dimensionsreduktion, was für die Synthese von Reglern auf Basis gehobener Zustandsdynamiken (lifted state dynamics) entscheidend ist.
Zukunft: Die Autoren planen, Fehlergrenzen für Vorhersagen basierend auf den berechneten Hauptwinkeln herzuleiten und noch ausgefeiltere Pruning-Strategien zu entwickeln.

Zusammenfassend bietet das Paper einen robusten, datengetriebenen Rahmen, um die Genauigkeit von Koopman-Modellen in RKHS durch systematische geometrische Optimierung der Unterräume zu steigern, ohne dabei an Skalierbarkeit zu verlieren.