🤖 machine learning

Learning partially observed systems with neural Hamiltonian ordinary differential equations

Dieser Beitrag stellt Neural Hamiltonian Ordinary Differential Equations (NHODE) vor, ein Rahmenwerk, das Hamiltonsche neuronale Netze mit neuronalen ODEs kombiniert, um teilweise beobachtete dynamische Systeme durch die Erzwingung von Energieerhaltung und physikalischen Randbedingungen zu erlernen und dadurch im Vergleich zu rein datengesteuerten Baselines eine überlegene Genauigkeit und Langzeitstabilität zu erreichen.

Ursprüngliche Autoren: Sunniva Meltzer, Sølve Eidnes, Alexander Johannes Stasik

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sunniva Meltzer, Sølve Eidnes, Alexander Johannes Stasik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, vorherzusagen, wie sich eine komplexe Maschine bewegt. Normalerweise würden Sie dem Roboter ein Video der gesamten Maschine zeigen und sagen: „Schauen Sie sich das an, lernen Sie die Regeln und sagen Sie mir dann, was als Nächstes passiert."

Aber was, wenn die Maschine ein geheimes Fach hat? Sie können die Zahnräder an der Außenseite drehen sehen, aber Sie können die verborgenen Zahnräder im Inneren nicht sehen. Die äußeren Zahnräder bewegen sich wegen der verborgenen, aber Sie haben keine Kamera im Inneren, um sie zu sehen. Wenn Sie versuchen, einen Standardroboter (einen „reinen Daten"-Lernenden) nur durch das Zeigen des Äußeren zu unterrichten, wird er schließlich verwirrt. Er wird falsche Annahmen über die verborgenen Zahnräder treffen, und bald wird seine Vorhersage der gesamten Maschine auseinanderfallen und wild vom Kurs abdriften.

Diese Arbeit stellt eine neue Art von Roboterlehrer namens NHODE (Neural Hamiltonian Ordinary Differential Equations) vor. Sie wurde speziell entwickelt, um dieses „blinde Fleck"-Problem zu lösen, indem sie dem Roboter beibringt, die Gesetze der Physik zu respektieren, anstatt nur Muster auswendig zu lernen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „blinde" Lernende

In der realen Welt können wir oft nicht alles messen. Vielleicht können wir die Geschwindigkeit eines Autos sehen, aber nicht den Kraftstoffstand, oder wir können die Position eines Planeten sehen, aber nicht die unsichtbare Schwerkraft, die ihn zieht.

Der alte Weg (reine Daten): Stellen Sie sich einen Schüler vor, der versucht, einen Tanz zu lernen, indem er nur die Füße des Tänzers beobachtet. Wenn der Oberkörper des Tänzers etwas Unerwartetes tut, gerät der Schüler in Verwirrung, weil er den Zusammenhang zwischen den Füßen und dem Rest des Körpers nicht versteht. In der Arbeit scheiterten diese „reinen Daten"-Modelle schnell, insbesondere bei chaotischen Systemen (wie dem „Drei-Körper-Problem", das wie drei Planeten ist, die einen wilden, unvorhersehbaren Walzer tanzen).

2. Die Lösung: Der „Physik-zuerst"-Lehrer

Das NHODE-Framework ist wie ein Lehrer, der sagt: „Schauen Sie nicht nur auf die Füße; denken Sie daran, dass Energie weder erzeugt noch zerstört werden kann."

Die Energiebank (Hamilton-Funktion): Die Arbeit verwendet ein Konzept namens „Hamilton-Funktion", das im Wesentlichen ein Bankkonto für die Gesamtenergie des Systems ist. In einem geschlossenen System muss dieses Energiegleichgewicht immer gleich bleiben.
Der Trick: Das NHODE-Modell ist so aufgebaut, dass es diese Regel nicht brechen kann. Es zwingt die Mathematik, die Energieerhaltung einzuhalten. Selbst wenn der Roboter die verborgenen Zahnräder nicht sehen kann, weiß er, dass, wenn die sichtbaren Zahnräder schneller werden, die verborgenen irgendwo anders müssen langsamer werden, um das Gesamtenergiegleichgewicht korrekt zu halten.

3. Wie es mit den „versteckten" Teilen umgeht

Die Arbeit beschreibt einen klugen Zwei-Schritte-Prozess:

Der Detektiv (Encoder): Zuerst betrachtet das Modell die kurze Geschichte der sichtbaren Teile (die „beobachtete Geschichte"). Es agiert wie ein Detektiv, der anhand der sichtbaren Hinweise errät, was die verborgenen Teile gerade tun. Es schließt auf den „Anfangszustand" der unsichtbaren Zahnräder.
Der Simulator (Rollout): Sobald es eine Vermutung für die verborgenen Teile hat, führt es eine Simulation vorwärts in der Zeit durch. Entscheidend ist, dass es seine Hausaufgaben nur gegen die Teile überprüft, die es tatsächlich sehen kann. Es wird nicht dafür bestraft, die verborgenen Teile direkt falsch zu erraten; es wird nur bestraft, wenn die sichtbaren Teile nicht mit dem echten Video übereinstimmen.
- Analogie: Stellen Sie sich ein Spiel „Simon sagt" vor, bei dem Sie nur Simons Hände sehen können. Sie müssen erraten, was seine Füße tun. Wenn Ihre Vermutung über die Füße dazu führt, dass Ihre Vorhersage der Hände falsch ist, verlieren Sie. Aber wenn Ihre Vermutung über die Füße dafür sorgt, dass die Hände korrekt bewegt werden, gewinnen Sie.

4. Zusätzliche Regeln hinzufügen (Symmetrie)

Die Autoren hörten nicht nur bei der Energie auf. Sie fügten weitere „gesunde Menschenverstand"-Regeln hinzu:

Translationsinvarianz: Wenn Sie die gesamte Maschine einen Fuß nach links bewegen, sollte sich die Physik nicht ändern. Das Modell lernt, auf den Abstand zwischen den Teilen zu achten, anstatt auf ihre absolute Position.
Trennbare Energie: Sie gingen davon aus, dass die Energie in „Bewegungsenergie" (für die sie die Formel kennen) und „potenzielle Energie" (die die KI lernt) aufgeteilt ist. Dies macht die Aufgabe einfacher und genauer.

5. Die Ergebnisse: Stabilität im Chaos

Die Arbeit testete dies an drei Szenarien, von einfach bis sehr schwierig:

Zwei Massen an Federn: Ein einfaches System. Alle Methoden funktionierten einigermaßen, aber das physikbasierte war etwas besser.
Drei Massen in einem Dreieck: Etwas komplexer. Die reinen Daten-Modelle begannen zu driften und machten große Fehler. Das physikbasierte Modell blieb auf Kurs.
Das Drei-Körper-Problem: Dies ist das „Boss-Level". Drei Planeten, die sich in einem chaotischen Tanz gegenseitig anziehen.
- Das Ergebnis: Die reinen Daten-Modelle (die „blinden" Lernenden) wurden verrückt, und ihre Vorhersagen explodierten sehr schnell in Unsinn.
- Der Gewinner: Das NHODE-Modell, insbesondere das mit allen zusätzlichen physikalischen Regeln (Erhaltung von Energie, Impuls und Drehimpuls), sagte den Tanz sehr lange korrekt voraus. Es riet nicht nur; es verstand die Regeln des Tanzes, sodass es, selbst wenn es einen Tänzer nicht sehen konnte, wusste, wie er sich müssen bewegen, um den Tanz am Laufen zu halten.

Zusammenfassung

Die Arbeit behauptet, dass wir durch den direkten Einbau von physikalischen Gesetzen in das Gehirn der KI sie lehren können, Systeme zu verstehen, selbst wenn wir nicht alle Teile sehen können. Es verwandelt einen „blinden Rater" in einen „physikversierten Detektiv", der das Unsichtbare aus dem Sichtbaren ableiten kann und seine Vorhersagen auch in chaotischen, unvorhersehbaren Umgebungen stabil hält.

Die Autoren stellen fest, dass das Modell zwar die sichtbaren Teile perfekt vorhersagen kann, der genaue Zustand der versteckten Teile jedoch nicht eindeutig sein muss (es könnte ein paar verschiedene versteckte Szenarien geben, die von außen gleich aussehen), aber das Modell findet eine Version, die physikalisch konsistent und genau für die Teile ist, die uns interessieren.

Technische Zusammenfassung: Lernen teilweise beobachteter Systeme mit Neuronalen Hamiltonschen Gewöhnlichen Differentialgleichungen

Problemstellung

Die Arbeit adressiert die Herausforderung, dynamische Systeme aus Daten zu lernen, wenn der Systemzustand nur teilweise beobachtet wird. In vielen physikalischen Szenarien sind bestimmte Zustandsvariablen für Messungen unzugänglich, beeinflussen jedoch die Entwicklung der beobachteten Variablen. Standardmodelle des physik-informierten maschinellen Lernens, wie Hamiltonsche Neuronale Netze (HNNs), erfordern typischerweise den Zugriff auf den vollständigen Systemzustand (alle Positionen und Impulse) sowie deren Zeitableitungen, um die Verlustfunktion zu definieren. Diese Anforderung macht sie für teilweise beobachtete Settings unanwendbar, in denen latente Variablen ohne direkte Überwachung inferiert werden müssen. Umgekehrt versagen rein datengetriebene Ansätze, wie Standard-Neuronale Gewöhnliche Differentialgleichungen (Neural ODEs), in diesen Settings oft bei der Generalisierung oder der Aufrechterhaltung der Stabilität, insbesondere für komplexe oder chaotische Systeme, da ihnen die physikalischen Zwangsbedingungen fehlen, die den Lösungsraum einschränken.

Methodik

Die Autoren schlagen Neuronale Hamiltonsche Gewöhnliche Differentialgleichungen (NHODE) vor, ein Framework, das die strukturellen Garantien der Hamiltonschen Mechanik mit den flexiblen Trainingsverfahren von Neural ODEs integriert.

Kernframework

Das System wird als kanonisches Hamiltonsches System modelliert:
$\dot{x} = S \nabla H(x)$
wobei $x = (q, p)^T$ generalisierte Position und Impuls darstellt, $H$ die Hamilton-Funktion (Gesamtenergie) ist und $S$ die kanonische symplektische Matrix.

Das NHODE-Framework zeichnet sich durch drei Schlüsselkomponenten aus:

Rollout-basiertes Training mit teilweisem Verlust: Im Gegensatz zu Standard-HNNs, die den Verlust basierend auf dem Residuum der Hamiltonschen Gleichungen zu jedem Zeitpunkt berechnen (was vollständige Zustandsdaten erfordert), übernimmt NHODE das Trainingsparadigma der Neural ODEs. Das Modell integriert das gelernte Vektorfeld von einer Anfangsbedingung vorwärts, um eine vollständige Trajektorie zu generieren. Die Verlustfunktion ist ausschließlich auf den beobachteten Komponenten des Zustands ( $x_{obs}$ ) zu den Datenzeitpunkten definiert. Die latenten Komponenten ( $x_{hid}$ ) werden von der Verlustberechnung ausgeschlossen, was bedeutet, dass ihr Einfluss auf das Training indirekt ist und ausschließlich über die Entwicklung der beobachteten Variablen vermittelt wird.
Inferenz des latenten Zustands: Um die Integration zu initialisieren, verwendet das Framework einen neuronalen Encoder, um den Anfangszustand der unbeobachteten Variablen ( $x_{hid}(t_0)$ ) basierend auf der Anfangshistorie der beobachteten Variablen zu inferieren. Dieser Encoder und das Hamiltonsche Netz werden gemeinsam unter Verwendung einer gemeinsamen Verlustfunktion trainiert.
Physikalische Zwangsbedingungen durch Symmetrie und Separierbarkeit: Um den Lösungsraum weiter einzuschränken und die Generalisierung zu verbessern, integrieren die Autoren spezifische physikalische Priorisierungen:
- Koordinatentransformationen: Für Systeme mit Translationsinvarianz werden absolute Koordinaten vor dem Eingeben in das neuronale Netz in paarweise relative Abstände transformiert. Dies erzwingt Translationsinvarianz und stellt die Erhaltung des linearen Impulses sicher.
- Separierbare Hamilton-Funktionen: Das Framework unterstützt Modelle, bei denen die Hamilton-Funktion als separierbar angenommen wird ( $H = T(p) + V(q)$ ) mit einem bekannten kinetischen Energie-Term ( $T(p) = p^2/2m$ ). In dieser Konfiguration lernt das neuronale Netz nur die potentielle Energie $V(q)$ . In Kombination mit relativen Koordinaten erzwingt diese Formulierung auch die Erhaltung des Drehimpulses.

Die Autoren definieren zwei primäre Modellvarianten:

NHODEtot: Lernt die Gesamtenergie direkt über ein neuronales Netz.
NHODEpot: Lernt nur die potentielle Energie unter der Annahme einer bekannten Form der kinetischen Energie und der Teilchenmassen.

Hauptbeiträge

Neues Framework für teilweise Beobachtbarkeit: Die Arbeit stellt NHODE vor, das erste Framework, das erfolgreich Hamiltonsche Struktur mit Neural ODE-Training kombiniert, speziell um Systeme mit vollständig unbeobachteten Zustandsvariablen zu handhaben.
Demonstration physikalischer Priorisierungen: Die Arbeit zeigt systematisch, dass das Einbetten physikalischer Struktur (Energieerhaltung, Impulserhaltung durch Symmetrie) nicht nur vorteilhaft, sondern essentiell für das Lernen stabiler Dynamiken in teilweise beobachteten, hochdimensionalen und chaotischen Regimen ist.
Empirische Validierung bei steigender Komplexität: Die Methode wird an drei Systemen zunehmender Komplexität evaluiert:
- Ein lineares 1D-Zwei-Massen-zwei-Feder-System.
- Ein nichtlineares 2D-dreieckiges Drei-Massen-drei-Feder-System.
- Das chaotische 3D-Drei-Körper-Problem.
Lernen von Anfangsbedingungen: Es wird gezeigt, dass das Framework die Anfangsbedingungen versteckter Variablen effektiv ausschließlich aus beobachteten Trajektorien inferieren kann, eine Aufgabe, bei der rein datengetriebene Baselines versagen.

Ergebnisse

Die Experimente vergleichen NHODE mit zwei Baselines:

NODEvanilla: Eine Standard-Neuronale ODE.
NODEphys: Eine physik-informierte Neuronale ODE, die nur Impulsableitungen lernt.

Erkenntnisse:

Lineare Systeme: Im einfachen 1D-Massen-Feder-System schneiden alle Modelle (einschließlich der Baselines) vernünftig ab, wobei NHODE-Modelle eine leicht bessere Stabilität aufweisen.
Nichtlineare Systeme: Im 2D-nichtlinearen Massen-Feder-System vergrößert sich die Leistungslücke. Während NHODE-Modelle einen niedrigen Fehler beibehalten, beginnen die Baselines über längere Zeithorizonte zu divergieren.
Chaotische Systeme: Beim Drei-Körper-Problem ist der Unterschied drastisch. Rein datengetriebene Baselines (NODEvanilla) und sogar die teilweise physik-informierte NODEphys werden instabil und divergieren schnell. Nur das am stärksten physik-informierte NHODE-Modell (NHODEpot,rel), das die Erhaltung von Energie, linearem Impuls und Drehimpuls erzwingt, erzeugt stabile, nicht-divergierende Trajektorien über lange Horizonte.
Fehlermetriken: Über alle Beispiele hinweg verbessert die Erhöhung der eingebetteten physikalischen Struktur (z. B. der Übergang von NHODEtot zu NHODEpot oder von absoluten zu relativen Koordinaten) systematisch sowohl die Vorhersagegenauigkeit als auch die Langzeitstabilität.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ihr primärer Beitrag der Nachweis ist, dass in ein maschinelles Lernmodell eingebettetes physikalisches Wissen das genaue Lernen sowohl der beobachteten als auch der latenten Teile eines teilweise beobachteten Systems ermöglicht, eine Aufgabe, bei der rein datengetriebene Methoden versagen.

Die Autoren betonen, dass die latenten Dynamiken ohne zusätzliche Informationen (wie bekannte Systemparameter) zwar nicht eindeutig identifizierbar sein mögen, das NHODE-Framework jedoch einen latenten Zustand lernt, der physikalisch konsistent ist und genaue Vorhersagen für die beobachteten Variablen liefert. Die Arbeit hebt hervor, dass in chaotischen Regimen, in denen kleine Störungen zu exponentieller Divergenz führen, die Einbeziehung starker physikalischer Priorisierungen (Erhaltungssätze) kritisch ist, um zu verhindern, dass die gelernten Dynamiken „explodieren", und damit das nützliche Vorhersagefenster zu erweitern.

Die Arbeit schließt, dass das NHODE-Framework ein generalisierbares Werkzeug für Settings ist, in denen dynamische Systeme teilweise beobachtet werden, physikalische Struktur bekannt ist und stabile zeitliche Vorhersagen erforderlich sind, wie beispielsweise in der industriellen Überwachung, der Robotik und wissenschaftlichen Experimenten mit begrenztem Sensorzugang.