💻 computer science

Simultaneous model discovery and state estimation under high data corruption

Diese Arbeit stellt eine sparse-Regression-Strategie vor, die unter Verwendung einer statistisch fundierten Likelihood-Funktion und eines iterativen Auswahlalgorithmus sowohl die Parameter von gewöhnlichen Differentialgleichungen als auch die Zustandsvariablen aus unvollständigen und verrauschten Daten gleichzeitig schätzt.

Ursprüngliche Autoren: Teddy Meissner, Karl Glasner

Veröffentlicht 2026-02-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Teddy Meissner, Karl Glasner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Detektivarbeit: Wie man die verborgenen Gesetze der Natur aus chaotischen Daten findet

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, das Gesetz zu erraten, das eine bestimmte Bewegung regelt. Vielleicht ist es ein Pendel, das schwingt, oder ein Wettermodell, das einen Sturm vorhersagt. Normalerweise würden Sie die physikalischen Gesetze kennen und einfach die Zahlen einfügen. Aber in der echten Welt haben Sie oft nur schlechte, verrauschte und unvollständige Daten.

Es ist, als ob Sie versuchen würden, die Melodie eines Songs zu erraten, indem Sie nur ein paar Sekunden einer Aufnahme hören, die stark von statischen Störungen (Rauschen) durchsetzt ist und an manchen Stellen komplett ausfällt.

Die Autoren dieses Papiers haben eine neue Methode entwickelt, um genau dieses Problem zu lösen. Sie nennen es „Simultane Modellentdeckung und Zustandsschätzung". Klingt kompliziert? Lassen Sie es uns mit ein paar Bildern erklären.

1. Das Problem: Der „schmutzige" Datensatz

Bisherige Methoden (wie der bekannte „SINDy"-Algorithmus) funktionieren gut, wenn die Daten sauber sind. Aber sobald das Rauschen stark wird, geraten sie ins Wanken.

Die alte Methode: Sie nehmen die verrauschten Daten, versuchen, sie zu glätten (wie ein Filter), und dann raten sie die Formel. Das Problem: Wenn das Rauschen zu stark ist, filtert man oft das eigentliche Signal mit heraus oder erfindet falsche Muster.
Das neue Problem: Oft fehlen Daten auch noch. Vielleicht hat der Sensor für 10 Minuten ausgefallen.

2. Die Lösung: Der „Zwischenmensch" (Hybrid-Ansatz)

Die Autoren schlagen vor, zwei Dinge gleichzeitig zu tun, statt sie nacheinander zu machen:

Die Formel (das physikalische Gesetz) zu finden.
Den wahren Zustand (was wirklich passiert ist) zu rekonstruieren.

Die Analogie:
Stellen Sie sich vor, Sie versuchen, die Route eines Wanderers zu rekonstruieren, der durch einen dichten Nebel gewandert ist.

Sie haben nur ein paar verwaschene Fotos (die verrauschten Daten), die zeigen, wo er ungefähr war.
Sie wissen nicht genau, wie schnell er gelaufen ist oder welche Wege er genommen hat (die unbekannten Parameter).
Der Trick: Anstatt nur die Fotos zu analysieren, stellen Sie sich einen virtuellen Wanderer vor. Dieser Wanderer versucht, eine perfekte, glatte Route zu finden, die:
- Den physikalischen Gesetzen folgt (er stolpert nicht durch Wände).
- Aber trotzdem nah an Ihren verwaschenen Fotos vorbeikommt.

Die Methode passt nun sowohl die Regeln der Wanderung (die Gleichung) als auch die Route des virtuellen Wanderers (den Zustand) so lange an, bis beides perfekt zusammenpasst. Sie „interpolieren" also zwischen den verrauschten Daten und einer perfekten, glatten Lösung.

3. Das „Sparsamkeits-Prinzip" (Warum nicht jede Formel passt)

Wenn man versucht, eine Formel zu finden, könnte man theoretisch jede denkbare Kombination von Zahlen und Buchstaben ausprobieren. Das würde aber zu einer riesigen, unnötig komplizierten Formel führen (Überanpassung).

Die Autoren nutzen ein Prinzip namens Sparsity (Sparsamkeit).

Die Analogie: Stellen Sie sich einen riesigen Werkzeugkasten vor, voll mit Schraubenschlüsseln, Hämmer, Säge und Bohrern. Sie wissen, dass der Wanderer nur ein oder zwei Werkzeuge benutzt hat, um seine Route zu bestimmen.
Die Methode prüft alle Werkzeuge, aber sie ist sehr streng: Sie wirft alle Werkzeuge weg, die nicht unbedingt nötig sind. Sie sucht nach der einfachsten Erklärung, die trotzdem funktioniert.
Um das zu tun, nutzen sie einen statistischen „Schiedsrichter" (Bayesian Information Criterion), der entscheidet: „Ist dieses zusätzliche Werkzeug wirklich nötig, oder macht es die Formel nur komplizierter ohne Nutzen?"

4. Der Motor: Der „Super-Rechner"

Um all das gleichzeitig zu berechnen, brauchen sie einen sehr starken Rechenmotor.

Die Autoren nutzen eine Methode, die wie ein Bergsteiger ist, der den tiefsten Punkt in einem Tal sucht (Optimierung).
Viele alte Methoden gehen nur Schritt für Schritt (wie jemand, der im Dunkeln tappt).
Die neue Methode nutzt eine Karte des Geländes (die sogenannte Hesse-Matrix), um zu sehen, wo der Abhang steil ist und wo es flach wird. Dank moderner Technik (automatische Differentiation) können sie diese Karte extrem schnell erstellen, selbst wenn das Gelände sehr komplex ist. Das macht sie viel schneller und genauer als die Konkurrenz.

5. Die Ergebnisse: Robuster als alles andere

Die Autoren haben ihre Methode an klassischen Beispielen getestet:

Der Van-der-Pol-Oszillator: Ein elektrisches Schwingungssystem.
Das Lorenz-System: Ein berühmtes chaotisches Wettermodell (der „Schmetterlingseffekt").
Der Colpitts-Oszillator: Ein elektronischer Schaltkreis mit nichtlinearen Teilen.

Das Ergebnis: Selbst wenn 50 % der Daten verrauscht waren oder ganze Zeitabschnitte fehlten, konnte ihre Methode die ursprünglichen Gesetze fast perfekt wiederherstellen. Sie war deutlich besser als die aktuellen Besten (wie WSINDy), besonders bei starkem Rauschen.

Fazit in einem Satz

Die Autoren haben einen cleveren Algorithmus entwickelt, der wie ein erfahrener Detektiv ist: Er ignoriert nicht das Rauschen, sondern rekonstruiert gleichzeitig die wahre Geschichte (den Zustand) und die Regeln, die diese Geschichte antreiben, indem er nach der einfachsten, aber genauesten Erklärung sucht.

Warum ist das wichtig?
In der echten Welt (Medizin, Klimaforschung, Ingenieurwesen) sind Daten fast immer unvollständig und verrauscht. Diese Methode erlaubt es uns, verlässliche Modelle aus „schmutzigen" Daten zu bauen, ohne dass wir die Daten vorher mühsam reinigen müssen.

1. Problemstellung und Motivation

Das Ziel der Arbeit ist die Entdeckung von gewöhnlichen Differentialgleichungen (ODEs) aus unvollständigen und stark verrauschten Daten. Dies ist eine zentrale Herausforderung in der wissenschaftlichen Modellierung, da reine physikalische Ableitungen oft für komplexe Systeme (z. B. in der Biologie oder Materialwissenschaft) unzureichend sind und auf Beobachtungsdaten angewiesen sind.

Herausforderungen, die in der Literatur oft unzureichend gelöst werden:

Rauschen: Herkömmliche Methoden, die auf der Minimierung des Residuums basieren (wie der bekannte SINDy-Algorithmus), sind extrem empfindlich gegenüber Rauschen, da sie direkte Differentiation der Daten erfordern.
Unvollständige Daten: Oft fehlen Datenpunkte in bestimmten Bereichen des Zeitverlaufs oder für bestimmte Zustandsvariablen.
Zustandsschätzung: In chaotischen Systemen führt die bloße Integration eines gefundenen Modells oft zu einer schnellen Divergenz vom wahren Zustand, selbst bei kleinen Anfangsfehlern.
Nichtlinearität in Parametern: Viele Methoden setzen voraus, dass die Gleichungen linear in den Parametern sind, was die Modellvielfalt einschränkt.

2. Methodik

Die Autoren schlagen einen hybriden Ansatz vor, der gleichzeitig die Parameter der Differentialgleichung ( $\theta$ ) und den Systemzustand ( $u$ ) schätzt.

A. Statistische Formulierung (Likelihood-Funktion)

Statt nur das Residuum zu minimieren, wird eine Likelihood-Funktion verwendet, die Unsicherheiten sowohl in den Daten als auch im Modell berücksichtigt.

Das Problem wird als Minimierung einer Verlustfunktion $L_\lambda(\theta, u)$ formuliert:
$L_\lambda(\theta, u) = \|N(u; \theta)\|_2^2 + \lambda \| \hat{u} - u|_D \|_2^2$
Dabei ist $N(u; \theta) = 0$ die diskretisierte Differentialgleichung, $\hat{u}$ die verrauschten Messdaten und $D$ die Menge der verfügbaren Datenpunkte.
Der Parameter $\lambda$ (Verhältnis der Varianzen) steuert das Gewicht zwischen der Modelltreue und der Anpassung an die Daten.
Vorteil: Dieser Ansatz interpoliert zwischen nichtlinearem Kleinste-Quadrate-Fitting (wenn $\lambda$ klein ist) und reiner Residuenminimierung (wenn $\lambda$ groß ist), vermeidet aber die direkten Nachteile beider Extreme bei hohem Rauschen.

B. Sparsity-Erzwungung (Modellselektion)

Um ein parsimonious (sparsames) Modell zu finden, wird eine Sparsity-Penalty-Funktion $R(\theta)$ hinzugefügt.

Anstatt hartes Schwellenwert-Screening zu verwenden, nutzen die Autoren eine glatte Approximation der $L_0$ -Norm (basierend auf Mohimani et al.), die gradientenbasierte Optimierung erlaubt.
Selektionsalgorithmus: Ein adaptiver Algorithmus (Algorithmus 3.1) entfernt oder fügt Terme basierend auf dem Bayesian Information Criterion (BIC) hinzu.
- Der Algorithmus startet mit allen Kandidatentermen.
- Er führt einen „Forward Refinement"-Schritt durch (Entfernen von Termen, wenn BIC sinkt).
- Falls dies nicht funktioniert, wechselt er in einen „Backward Recovery"-Modus (Hinzufügen von Termen zurück), um lokale Minima zu vermeiden.
- Dies ermöglicht eine effiziente Suche im Raum der möglichen Modelle ohne exhaustive Suche.

C. Optimierung und Diskretisierung

Diskretisierung: Die Zustandsvariablen werden mittels eines zweiten Ordnung Mittelpunktsverfahrens (Midpoint Method) diskretisiert. Dies ermöglicht eine genaue Approximation der Zeitableitung ohne direkte Differentiation der verrauschten Daten.
Optimierungsalgorithmus: Zur Lösung des hochdimensionalen, nicht-konvexen Optimierungsproblems wird eine zweite Ordnung Variante des Levenberg-Marquardt (LM) Algorithmus verwendet.
Effizienz: Da die Hesse-Matrix (zweite Ableitungen) aufgrund der lokalen Diskretierung sehr dünnbesetzt (sparse) ist, wird sie mittels Automatischer Differentiation (AD) und Graph-Färbungstechniken effizient berechnet. Dies macht den Einsatz von zweiten Ableitungen auch bei großen Systemen praktikabel.

3. Hauptbeiträge

Hybride Regression mit Unsicherheitsmodellierung: Ein Rahmenwerk, das Daten- und Modellunsicherheit gleichzeitig behandelt, was zu robusteren Ergebnissen bei stark verrauschten Daten führt als reine Residuenmethoden.
Adaptive Sparsity-Auswahl: Ein Algorithmus, der BIC verwendet, um die optimale Modellkomplexität zu finden, anstatt auf willkürliche Schwellenwerte angewiesen zu sein.
Effiziente zweite Ordnung Optimierung: Demonstration, dass LM mit automatischer Differentiation und Graph-Färbung für Systemidentifikation effizienter ist als erste Ordnung Methoden (wie L-BFGS oder Gradient Descent).
Allgemeingültigkeit: Die Methode ist nicht auf lineare Parameterbeschränkungen beschränkt und kann auch nichtlineare Terme (z. B. Exponentialfunktionen mit unbekannten Parametern) behandeln.
Zustandswiederherstellung: Die Fähigkeit, den wahren Systemzustand (Ground Truth) auch in chaotischen Systemen und bei unvollständigen Daten präzise zu rekonstruieren.

4. Ergebnisse

Die Methode wurde an mehreren Standard-Beispielen getestet und mit dem State-of-the-Art-Algorithmus WSINDy verglichen:

Van-der-Pol-Oszillator:
- Bei Rauschpegeln von 10% bis 50% übertraf die vorgeschlagene Methode WSINDy deutlich in Bezug auf Parameterfehler (RE) und die Trefferquote korrekter Terme (TPR).
- Selbst bei 50% Rauschen und kontinuierlichen Datenlücken (fehlende Zeitintervalle) wurde die Systemstruktur korrekt identifiziert.
Lorenz-System (Chaotisch):
- Die Methode konnte die chaotischen Dynamiken auch bei 50% Rauschen und 30% zufällig fehlenden Datenpunkten erfolgreich rekonstruieren.
- Die geschätzten Parameter und der rekonstruierte Zustand stimmten sehr gut mit dem Ground Truth überein.
Lorenz-96 System (Hochdimensional):
- Bei einem System mit 5 Dimensionen und 105 Kandidatentermen blieb die Trefferquote (TPR) auch bei 40% Rauschen über 0,9.
Colpitts-Oszillator (Nichtlineare Parameter):
- Ein Testfall, bei dem ein Parameter in einer Exponentialfunktion ( $\exp(ax)$ ) unbekannt war. Die Methode konnte sowohl die Struktur als auch den nichtlinearen Parameter erfolgreich schätzen, was lineare Bibliotheken nicht leisten können.
Gitterverfeinerung:
- Studien zeigten, dass eine Verfeinerung des Rechengitters die Genauigkeit verbessert, bis ein Sättigungspunkt erreicht ist, der von der Abtastrate der Daten abhängt.

5. Bedeutung und Fazit

Das Paper stellt einen signifikanten Fortschritt in der datengetriebenen Modellentdeckung dar. Der vorgeschlagene Ansatz löst das Problem der Empfindlichkeit gegenüber Rauschen und unvollständigen Daten, indem er die Zustandsschätzung und Parameterschätzung koppelt.

Robustheit: Die Methode ist besonders geeignet für reale Anwendungen, wo Daten oft lückenhaft und verrauscht sind.
Flexibilität: Durch die Vermeidung von linearen Parameternannahmen und die Nutzung von automatischer Differentiation ist der Ansatz auf eine breite Klasse von Problemen anwendbar.
Vergleich: Die Ergebnisse zeigen eine klare Überlegenheit gegenüber etablierten Methoden wie WSINDy, insbesondere in extremen Szenarien (hoher Rauschpegel, Datenlücken).

Die Autoren betonen, dass ihre Implementierung durch die Nutzung von automatischer Differentiation leicht auf andere Probleme (z. B. partielle Differentialgleichungen) übertragbar ist, obwohl die Optimierung bei sehr hohen Dimensionen weiterhin eine Herausforderung darstellt.