⚡ electrical engineering

Deep Koopman Learning using Noisy Data

Diese Arbeit stellt ein datengesteuertes Framework vor, das durch die Charakterisierung und Kompensation von Messrauschen eine robuste, endliche Approximation des Koopman-Operators für dynamische Systeme ermöglicht und dabei lediglich eine beschränkte Rauschamplitude voraussetzt.

Ursprüngliche Autoren: Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou

Veröffentlicht 2026-03-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die verrückte Kamera

Stell dir vor, du versuchst, das Wetter vorherzusagen. Du hast ein supergeniales mathematisches Modell, das sagt: "Wenn es heute regnet, wird es morgen wahrscheinlich auch regnen." Das ist dein Koopman-Operator. Er ist wie ein Übersetzer, der die chaotische, nicht-lineare Sprache der Natur (z. B. wie ein Windstoß einen Baum schüttelt) in eine einfache, lineare Sprache übersetzt, die wir leicht verstehen und berechnen können.

Aber hier kommt das Problem: Deine Wetterdaten kommen von einer Kamera, die wackelt.
In der echten Welt sind unsere Messgeräte nie perfekt. Sie haben Rauschen, Störungen oder "Verzerrungen".

Wenn du versuchst, das Wettermodell mit diesen wackeligen Daten zu trainieren, ist das, als würdest du versuchen, eine Landkarte zu zeichnen, während du auf einem Karussell sitzt. Die Linien werden krumm, und das Modell lernt die falschen Muster.

Bisherige Methoden haben oft versucht, das Rauschen einfach zu ignorieren oder es mit schweren mathematischen Werkzeugen (wie "Total Least Squares") zu bekämpfen, was oft kompliziert und rechenintensiv war.

Die Lösung: Der "Rausch-Filter" im Gehirn

Die Autoren dieses Papers (Wenjian Hao und Kollegen) haben eine clevere Idee entwickelt, die sie DKND (Deep Koopman Learning using Noisy Data) nennen.

Stell dir vor, dein Modell ist ein junger Schüler, der versucht, die Regeln eines Spiels zu lernen.

Das alte Problem: Der Schüler sieht das Spiel durch eine beschlagene Brille (das Rauschen). Wenn er versucht, die Regeln zu lernen, lernt er versehentlich auch die Beschlagene der Brille mit. Er denkt, das Rauschen ist Teil des Spiels.
Die neue Methode (DKND): Die Autoren sagen dem Schüler: "Hey, wir wissen, dass deine Brille beschlagen ist. Wir werden nicht versuchen, die Brille zu reinigen (was unmöglich ist), sondern wir werden dein Gehirn so trainieren, dass es den Unterschied zwischen dem echten Spiel und dem Beschlagen erkennt."

Wie machen sie das?
Sie nutzen ein künstliches neuronales Netz (ein digitales Gehirn). Normalerweise lernt dieses Netz nur, die Vorhersage so nah wie möglich an die gemessenen (verrauschten) Daten heranzubringen.
Die Autoren haben dem Netz aber einen neuen Befehl gegeben:

"Trainiere dich nicht nur darauf, die verrückten Messwerte vorherzusagen. Trainiere dich auch darauf, dass dein inneres Modell so stabil bleibt, als hättest du keine verrückten Messwerte gesehen."

Sie fügen eine Zusatzstrafe in den Lernprozess ein. Wenn das Modell anfängt, sich zu sehr an das Rauschen anzupassen (z. B. wenn es denkt, ein zufälliger Wackler ist ein wichtiger Trend), wird es "bestraft". Es muss also lernen, die wahre Struktur hinter dem Chaos zu finden, indem es die Parameter des neuronalen Netzes so justiert, dass das Rauschen herausgefiltert wird.

Die zwei Hauptvorteile (in Alltagssprache)

Keine perfekten Daten nötig: Du musst nicht wissen, wie genau das Rauschen ist (ob es ein leises Summen oder ein lautes Krachen ist). Es reicht zu wissen, dass es begrenzt ist. Das Rauschen darf nicht unendlich groß werden. Das ist wie bei einem Autofahrer: Solange die Straße nicht ins All führt, kann er fahren, auch wenn es regnet.
Einfach zu bauen: Statt neue, komplizierte mathematische Formeln zu erfinden, haben sie einfach die bestehenden Werkzeuge (Deep Learning) ein bisschen "umprogrammiert". Sie haben dem neuronalen Netz gesagt: "Pass auf, wenn du die Daten hochskalierst (in einen höheren Raum transformierst), verzerre das Rauschen nicht noch mehr."

Was haben sie getestet?

Sie haben ihre Methode an vier verschiedenen "Spielen" getestet:

Ein einfaches 2D-System (wie ein Billardball).
Ein Cartpole (ein Stab, der auf einem Wagen balanciert wird – ein Klassiker für KI).
Ein Lunar Lander (ein Mondlander, der landen muss).
Ein Unbemanntes Wasserfahrzeug (ein Boot, das auf dem Wasser fährt).

In allen Fällen haben sie die Daten absichtlich mit drei Arten von "Schmutz" (Rauschen) verseucht:

Gaußsches Rauschen: Wie statisches Rauschen im Radio.
Poisson-Rauschen: Wie zufällige Impulse.
Gleichverteiltes Rauschen: Wie ein wildes, zufälliges Wackeln.

Das Ergebnis:
Wenn man die anderen Methoden (die alten Modelle) mit diesen schmutzigen Daten fütterte, wurden sie schnell unscharf und machten große Fehler. Das neue Modell (DKND) blieb aber stabil. Es konnte die wahre Bewegung des Systems viel genauer vorhersagen, selbst wenn die Messdaten total verrauscht waren.

Fazit

Stell dir vor, du versuchst, ein Lied zu hören, das von einem lauten Ventilator übertönt wird.

Die alten Methoden versuchten, das Ventilator-Geräusch mathematisch zu berechnen und zu subtrahieren. Das war schwer und oft ungenau.
Die neue Methode (DKND) hat das Ohr (das neuronale Netz) so trainiert, dass es automatisch lernt, sich auf die Melodie zu konzentrieren und das Ventilator-Geräusch als "Hintergrundrauschen" zu ignorieren, ohne es explizit berechnen zu müssen.

Das ist ein großer Schritt, um KI-Systeme in der echten Welt (wo alles immer ein bisschen verrauscht ist) robuster und zuverlässiger zu machen.

Titel: Deep Koopman Learning using Noisy Data (DKND)

Autoren: Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou
Veröffentlicht in: Transactions on Machine Learning Research (04/2025)

1. Problemstellung

Die Modellierung und Kontrolle komplexer nichtlinearer dynamischer Systeme stellt eine große Herausforderung dar. Ein etablierter Ansatz ist die Verwendung des Koopman-Operators, der nichtlineare Systeme durch eine lineare Darstellung in einem höherdimensionalen (gelifteten) Raum approximiert. Moderne Methoden, wie die Deep Koopman Operator (DKO)-Methode, nutzen tiefe neuronale Netze (DNNs), um die Observablen (Lifting-Funktionen) zu lernen.

Das zentrale Problem, das in diesem Paper adressiert wird, ist die Existenz von Messrauschen in realen Anwendungen.

In der Praxis sind die gemessenen Zustände $y(t)$ durch Rauschen $w(t)$ verfälscht ( $y(t) = x(t) + w(t)$ ).
Herkömmliche DKO-Methoden gehen oft von perfekten Messungen aus oder behandeln Rauschen nicht explizit.
Wenn Rauschen in die nichtlinearen Transformationen der DNNs eingeht, entstehen komplexe Korrelationen und Verzerrungen im gelifteten Raum. Dies führt zu verzerrten Schätzungen der Systemdynamik und kann die Stabilität und Genauigkeit von darauf basierenden Reglern beeinträchtigen.
Bisherige Ansätze (z. B. Total Least Squares oder robuste Optimierung) sind oft rechenintensiv oder erfordern spezifische Annahmen über das Rauschen, die in der Praxis schwer zu erfüllen sind.

2. Methodik: Deep Koopman Learning mit verrauschten Daten (DKND)

Das Paper schlägt einen datengesteuerten Rahmen vor, der die DKO-Methode so erweitert, dass sie mit unbekanntem, aber beschränktem Messrauschen umgehen kann.

Kernidee und Verlustfunktion

Statt direkt den Fehler zwischen dem wahren Zustand $x(t)$ (der unbekannt ist) und der Schätzung zu minimieren, wird eine obere Schranke des Fehlers minimiert.

Problemformulierung: Das Ziel ist es, eine Darstellung (DKR) zu finden, die Matrizen $A, B, C$ und DNN-Parameter $\theta$ bestimmt, sodass die Dynamik im gelifteten Raum auch unter Rauschen gültig bleibt.
Herleitung der Verlustfunktion:
- Die Autoren definieren zwei Modelle: Eines für den rauschfreien Fall ( $\tilde{f}$ ) und eines für den verrauschten Fall ( $\bar{f}$ ).
- Durch Anwendung der Dreiecksungleichung wird gezeigt, dass der Gesamtfehler durch die Summe aus dem Vorhersagefehler im verrauschten Raum und der Diskrepanz zwischen dem verrauschten und dem idealen Modell begrenzt werden kann.
- Der entscheidende Schritt ist die Substitution des unbekannten Rauschterms $\|w\|^2$ durch die Differenz der Dynamikmodelle $\|\tilde{f} - \bar{f}\|^2$ .
Optimierungsziel: Es wird eine neue Verlustfunktion $\hat{L}_f$ $\hat{L}_{f}$ definiert, die aus zwei Teilen besteht:
- Teil 1 ( $\hat{L}_{f,1}$ ): Minimierung des Rekonstruktionsfehlers im gelifteten Raum basierend auf den verrauschten Daten.
- Teil 2 ( $\hat{L}_{f,2}$ ): Minimierung der Diskrepanz, die durch das Rauschen in den DNN-Transformationen entsteht. Dieser Term wird theoretisch hergeleitet (Theorem 1) und hängt von der Lipschitz-Stetigkeit der DNN-Funktion und der Rauschgrenze $w_{max}$ ab.

Algorithmus (DKND)

Der vorgeschlagene Algorithmus (Algorithm 1) folgt einem iterativen Prozess:

Initialisierung: Startwerte für die DNN-Parameter $\theta_0$ .
Iteration:
- Bei festgehaltenen $\theta_k$ werden die linearen Matrizen $A, B, C$ analytisch mittels Pseudoinversen berechnet (basierend auf den Datenmatrizen).
- Anschließend wird der Gradient der gesamten Verlustfunktion $\hat{L}_f$ bezüglich $\theta$ berechnet.
- Die Parameter $\theta$ werden mittels Gradientenabstieg aktualisiert, um die Rauschempfindlichkeit zu minimieren.
Vorteil: Der Ansatz erfordert nur, dass das Rauschen beschränkt ist ( $\|w(t)\| \leq w_{max}$ ), ohne spezifische Verteilungsannahmen (wie Gaußverteilung) zu benötigen.

3. Wichtige Beiträge

Robuste Formulierung: Entwicklung eines Frameworks, das die Auswirkungen von Messrauschen explizit in die Lernfunktion der Deep Koopman-Operatoren integriert.
Theoretische Herleitung: Beweis, dass die Minimierung der abgeleiteten oberen Schranke (Gleichung 22) zu einer robusten Schätzung führt, solange das Rauschen beschränkt ist.
Praktische Implementierbarkeit: Der Algorithmus ist leicht zu implementieren, da er auf Standard-Gradientenabstiegsverfahren und analytischen Lösungen für die linearen Matrizen basiert.
Erweiterte Anwendbarkeit: Die Methode ist nicht auf lineare Systeme beschränkt, sondern funktioniert für nichtlineare, zeitinvariante Systeme mit Eingangsgrößen.

4. Ergebnisse und Evaluation

Die Leistung des DKND-Verfahrens wurde auf vier verschiedenen Benchmarks getestet:

Ein 2D-lineares diskretes System.
Cartpole (OpenAI Gym).
Lunar Lander (OpenAI Gym).
Ein reales Beispiel: Unbemanntes Oberflächenfahrzeug (USV).

Versuchssetup:

Es wurden drei Arten von Rauschen simuliert: Gaußsches Rauschen, Poisson-Verteilung und Gleichverteilung.
Die Rauschamplitude wurde durch Clipping begrenzt.
Vergleichsmethoden: Standard Deep Koopman (DK), DMD mit Total Least Squares (DMDTLS) und ein reines Multi-Layer Perceptron (MLP).

Ergebnisse:

Genauigkeit: DKND erzielte in allen Szenarien die niedrigste mittlere quadratische Abweichung (RMSD) auf den Testdaten, insbesondere bei höherem Rauschpegel und nicht-Gaußschem Rauschen.
Robustheit: Während die Standard-DKO-Methode (DK) und DMDTLS bei starkem Rauschen (insbesondere Gleichverteilung) stark an Genauigkeit verloren (RMSD stieg drastisch an), blieb DKND stabil.
Beispiel: Beim Cartpole-Beispiel mit Gleichverteilungsrauschen lag der RMSD von DKND bei ca. 2.13, während DMDTLS Werte über 40 erreichte und DK bei ca. 2.32 lag.
Visualisierung: Die Fehlerplots zeigen, dass DKND über die Zeit konsistent niedrigere Vorhersagefehler aufweist als die Baseline-Methoden.

5. Bedeutung und Fazit

Dieses Paper adressiert eine kritische Lücke in der Anwendung von Koopman-Methoden in der Praxis: die Robustheit gegenüber Messunsicherheiten.

Signifikanz: Da reale Sensordaten fast immer verrauscht sind, macht diese Methode Deep Koopman-Modelle erst wirklich einsatzfähig für sicherheitskritische Anwendungen wie die Regelung von Robotern oder autonomen Fahrzeugen.
Innovation: Durch die explizite Modellierung des Rauscheinflusses auf die DNN-Observablen und die Ableitung einer neuen Verlustfunktion wird die Notwendigkeit von aufwendigen Rauschfiltern oder perfekten Messungen umgangen.
Einschränkungen: Die Methode setzt eine bekannte Obergrenze für das Rauschen voraus. Zudem bleibt die Optimierung der DNN-Parameter nicht-konvex, was die Gefahr lokaler Minima birgt.

Zusammenfassend bietet DKND einen effizienten und theoretisch fundierten Weg, um dynamische Systeme aus verrauschten Daten zu lernen, und übertrifft bestehende State-of-the-Art-Methoden in Bezug auf Genauigkeit und Robustheit.