🤖 machine learning

Learning partially observed systems with neural Hamiltonian ordinary differential equations

Dit artikel introduceert Neural Hamiltonian Ordinary Differential Equations (NHODE), een raamwerk dat Hamiltoniaanse neurale netwerken combineert met neurale ODE's om deels waargenomen dynamische systemen te leren door energiebehoud en fysieke beperkingen af te dwingen, waardoor superieure nauwkeurigheid en langetermijnstabiliteit worden bereikt in vergelijking met puur datagedreven baselines.

Oorspronkelijke auteurs: Sunniva Meltzer, Sølve Eidnes, Alexander Johannes Stasik

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sunniva Meltzer, Sølve Eidnes, Alexander Johannes Stasik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe een complexe machine beweegt. Normaal gesproken zou je de robot een video van de hele machine laten zien en zeggen: "Kijk dit aan, leer de regels, en vertel me dan wat er als volgende gebeurt."

Maar wat als de machine een geheim compartiment heeft? Je kunt de tandwielen aan de buitenkant zien draaien, maar je kunt de tandwielen die erin verborgen zijn niet zien. De buitenste tandwielen bewegen vanwege de verborgen ones, maar je hebt geen camera binnenin om ze te zien. Als je probeert een standaardrobot (een "pure data"-leerder) alleen maar de buitenkant te laten zien, raakt deze uiteindelijk in de war. Het zal verkeerd gokken over de verborgen tandwielen, en binnenkort zal zijn voorspelling van de hele machine uit elkaar vallen, wild van koers afwijzend.

Dit paper introduceert een nieuw soort robotleraar genaamd NHODE (Neural Hamiltonian Ordinary Differential Equations). Het is specifiek ontworpen om dit "blinde vlek"-probleem op te lossen door de robot te leren respecteren voor de wetten van de fysica in plaats van alleen patronen te memoriseren.

Hier is hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: De "Blinde" Leerder

In de echte wereld kunnen we vaak niet alles meten. Misschien kunnen we de snelheid van een auto zien maar niet het brandstofniveau, of we kunnen de positie van een planeet zien maar niet de onzichtbare zwaartekracht die erop trekt.

De Oude Manier (Pure Data): Stel je een student voor die probeert een dans te leren door alleen naar de voeten van de danser te kijken. Als het bovenlichaam van de danser iets onverwachts doet, raakt de student de weg kwijt omdat hij het verband tussen de voeten en de rest van het lichaam niet begrijpt. In het paper faalden deze "pure data"-modellen snel, vooral in chaotische systemen (zoals het "Drie-Lichamenprobleem", wat vergelijkbaar is met drie planeten die dansen in een wilde, onvoorspelbare wals).

2. De Oplossing: De "Fysica-First" Leraar

Het NHODE-kader is als een leraar die zegt: "Kijk niet alleen naar de voeten; onthoud dat energie niet kan worden gecreëerd of vernietigd."

De Energiebank (Hamiltoniaan): Het paper gebruikt een concept dat "Hamiltoniaan" wordt genoemd, wat in wezen een bankrekening is voor de totale energie van het systeem. In een gesloten systeem moet deze energiebalans altijd gelijk blijven.
De Truc: Het NHODE-model is zo gebouwd dat het deze regel niet kan breken. Het dwingt de wiskunde om de behoudswet van energie te gehoorzamen. Zelfs als de robot de verborgen tandwielen niet kan zien, weet hij dat als de zichtbare tandwielen sneller gaan draaien, de verborgen ones ergens anders moeten vertragen om de totale energiebalans correct te houden.

3. Hoe Het Omgaat Met De "Verborgen" Delen

Het paper beschrijft een slim tweestapsproces:

De Detective (Encoder): Eerst kijkt het model naar de korte geschiedenis van de zichtbare delen (de "waargenomen geschiedenis"). Het handelt als een detective, die met behulp van de zichtbare aanwijzingen gokt wat de verborgen delen op dit moment doen. Het leidt de "initiële toestand" van de onzichtbare tandwielen af.
De Simulator (Rollout): Zodra het een gok heeft voor de verborgen delen, voert het een simulatie voorwaarts in de tijd uit. Cruciaal is dat het zijn huiswerk alleen controleert tegen de delen die het daadwerkelijk kan zien. Het wordt niet gestraft voor het verkeerd gokken van de verborgen delen direct; het wordt alleen gestraft als de zichtbare delen niet overeenkomen met de echte video.
- Analogie: Stel je een spelletje "Simon zegt" voor waarbij je alleen Simons handen kunt zien. Je moet gokken wat zijn voeten doen. Als je gok over de voeten ervoor zorgt dat je voorspelling van de handen verkeerd is, verlies je. Maar als je gok over de voeten zorgt dat de handen correct bewegen, win je.

4. Extra Regels Toevoegen (Symmetrie)

De auteurs hielden niet alleen bij energie. Ze voegden meer "gezond verstand"-regels toe:

Translatiesymmetrie: Als je de hele machine één voet naar links verplaatst, zou de fysica niet moeten veranderen. Het model leert om te kijken naar de afstand tussen delen in plaats van hun absolute positie.
Scheidbare Energie: Ze namen aan dat de energie is opgesplitst in "bewegingsenergie" (waarvoor ze de formule kennen) en "potentiële energie" (die de AI leert). Dit maakt de taak gemakkelijker en nauwkeuriger.

5. De Resultaten: Stabiliteit in Chaos

Het paper testte dit op drie scenario's, van eenvoudig tot zeer moeilijk:

Twee Massa's op Veren: Een simpel systeem. Alle methoden werkten redelijk, maar de op fysica gebaseerde methode was iets beter.
Drie Massa's in een Driehoek: Iets complexer. De pure data-modellen begonnen te drijven en maakten grote fouten. Het op fysica gebaseerde model bleef op koers.
Het Drie-Lichamenprobleem: Dit is het "baas-niveau". Drie planeten die op elkaar trekken in een chaotische dans.
- Het Resultaat: De pure data-modellen (de "blinde" leeraars) werden gek en hun voorspellingen explodeerden zeer snel in onzin.
- De Winnaar: Het NHODE-model, vooral degene met alle extra fysica-regels (behoud van energie, impuls en impulsmoment), bleef de dans zeer lang correct voorspellen. Het gokte niet alleen; het begreep de regels van de dans, dus zelfs als het één danser niet kon zien, wist het hoe ze moesten bewegen om de dans gaande te houden.

Samenvatting

Het paper beweert dat door fysische wetten direct in het brein van de AI te bouwen, we het kunnen leren systemen te begrijpen, zelfs als we niet alle delen kunnen zien. Het verandert een "blinde gokker" in een "fysica-slimme detective" die het onzichtbare kan afleiden uit het zichtbare, en zijn voorspellingen stabiel houdt, zelfs in chaotische, onvoorspelbare omgevingen.

De auteurs merken op dat hoewel het model de zichtbare delen perfect kan voorspellen, de exacte toestand van de verborgen delen misschien niet uniek is (er kunnen een paar verschillende verborgen scenario's zijn die van buitenaf hetzelfde lijken), maar het model vindt een versie die fysiek consistent en nauwkeurig is voor de delen waar we om geven.

Technische Samenvatting: Het Leren van Deels Waargenomen Systemen met Neuronale Hamiltoniaanse Gewone Differentiaalvergelijkingen

Probleemstelling

Het artikel adresseert de uitdaging om dynamische systemen te leren uit data wanneer de systeemtoestand slechts deels wordt waargenomen. In veel fysieke scenario's zijn bepaalde toestandsvariabelen ontoegankelijk voor meting, maar beïnvloeden zij toch de evolutie van de waargenomen variabelen. Standaard op fysica gebaseerde machinelearningmodellen, zoals Hamiltoniaanse Neuronale Netwerken (HNN's), vereisen doorgaans toegang tot de volledige systeemtoestand (alle posities en impulsen) en hun tijdsafgeleiden om de verliesfunctie te definiëren. Deze vereiste maakt ze ontoepasbaar in deels waargenomen situaties waar latente variabelen moeten worden afgeleid zonder directe supervisie. Omgekeerd falen puur datagedreven benaderingen, zoals standaard Neuronale Gewone Differentiaalvergelijkingen (Neural ODE's), vaak in het generaliseren of behouden van stabiliteit in deze situaties, met name voor complexe of chaotische systemen, omdat ze de fysieke beperkingen missen die nodig zijn om de oplossingsruimte te beperken.

Methodologie

De auteurs stellen Neuronale Hamiltoniaanse Gewone Differentiaalvergelijkingen (NHODE) voor, een raamwerk dat de structurele garanties van Hamiltoniaanse mechanica integreert met de flexibele trainingsprocedures van Neural ODE's.

Kernraamwerk

Het systeem wordt gemodelleerd als een canoniek Hamiltoniaans systeem:
$\dot{x} = S \nabla H(x)$
waarbij $x = (q, p)^T$ de gegeneraliseerde positie en impuls voorstelt, $H$ de Hamiltoniaan (totale energie) is, en $S$ de canonieke symplectische matrix is.

Het NHODE-raamwerk onderscheidt zich door drie kerncomponenten:

Training op Basis van Uitrollen met Gedeeltelijk Verlies: In tegenstelling tot standaard HNN's die verlies berekenen op basis van het residu van Hamiltons vergelijkingen bij elke tijdstap (wat volledige toestandsdata vereist), adopteert NHODE het trainingsparadigma van Neural ODE's. Het model integreert het geleerde vectorveld voorwaarts vanuit een beginvoorwaarde om een volledige traject te genereren. De verliesfunctie wordt uitsluitend gedefinieerd op de waargenomen componenten van de toestand ( $x_{obs}$ ) op de datapunten. De latente componenten ( $x_{hid}$ ) worden uitgesloten van de verliesberekening, wat betekent dat hun invloed op de training indirect is, uitsluitend bemiddeld door de evolutie van de waargenomen variabelen.
Afleiding van Latente Toestand: Om de integratie te initialiseren, maakt het raamwerk gebruik van een encoder in een neuronale netwerken om de begintoestand van de niet-waargenomen variabelen ( $x_{hid}(t_0)$ ) af te leiden op basis van de initiële geschiedenis van de waargenomen variabelen. Deze encoder en het Hamiltoniaanse netwerk worden gezamenlijk getraind met behulp van een gedeelde verliesfunctie.
Fysieke Beperkingen via Symmetrie en Scheidbaarheid: Om de oplossingsruimte verder te beperken en generalisatie te verbeteren, integreren de auteurs specifieke fysieke priors:
- Coördinatentransformaties: Voor systemen met translatiesymmetrie worden absolute coördinaten getransformeerd naar onderlinge relatieve afstanden voordat ze naar het neuronale netwerk worden doorgegeven. Dit dwingt translatie-invariantie af, wat de behoudswet van lineaire impuls garandeert.
- Scheidbare Hamiltonianen: Het raamwerk ondersteunt modellen waarbij de Hamiltoniaan als scheidbaar wordt verondersteld ( $H = T(p) + V(q)$ ) met een bekende kinetische energieterm ( $T(p) = p^2/2m$ ). In deze configuratie leert het neuronale netwerk uitsluitend de potentiële energie $V(q)$ . In combinatie met relatieve coördinaten dwingt deze formulering ook de behoudswet van impulsmoment af.

De auteurs definiëren twee primaire modelvarianten:

NHODEtot: Leert de totale energie direct via een neuronale netwerken.
NHODEpot: Leert uitsluitend de potentiële energie, aannemende een bekende vorm van kinetische energie en de massa's van de deeltjes.

Belangrijkste Bijdragen

Nieuw Raamwerk voor Deels Waarneming: Het artikel introduceert NHODE, het eerste raamwerk dat Hamiltoniaanse structuur succesvol combineert met Neural ODE-training, specifiek om systemen met volledig niet-waargenomen toestandsvariabelen te behandelen.
Demonstratie van Fysieke Priors: Het werk demonstreert systematisch dat het inbedden van fysieke structuur (behoud van energie, behoud van impuls via symmetrie) niet slechts gunstig is, maar essentieel voor het leren van stabiele dynamica in deels waargenomen, hoogdimensionale en chaotische regimes.
Empirische Validatie op Toenemende Complexiteit: De methode wordt geëvalueerd aan de hand van drie systemen van toenemende complexiteit:
- Een lineair 1D-tweemassa, tweeveersysteem.
- Een niet-lineair 2D-driehoekig driedrie-massa, drieveersysteem.
- Het chaotische 3D-drie-lichamenprobleem.
Leren van Beginvoorwaarden: Het raamwerk blijkt effectief de beginvoorwaarden van verborgen variabelen af te leiden uitsluitend uit waargenomen trajecten, een taak waarbij puur datagedreven baselines falen.

Resultaten

De experimenten vergelijken NHODE met twee baselines:

NODEvanilla: Een standaard Neural ODE.
NODEphys: Een op fysica gebaseerde Neural ODE die uitsluitend impulsaflgeleiden leert.

Vondsten:

Lineaire Systemen: In het eenvoudige 1D-massa-veersysteem presteren alle modellen (inclusief baselines) redelijk goed, hoewel NHODE-modellen iets betere stabiliteit vertonen.
Niet-lineaire Systemen: In het 2D-niet-lineaire massa-veersysteem verbreedt de prestatiekloof. Waar NHODE-modellen een lage fout behouden, beginnen de baselines naarmate de tijdshorizon langer wordt te divergeren.
Chaotische Systemen: In het drie-lichamenprobleem is het onderscheid scherp. Puur datagedreven baselines (NODEvanilla) en zelfs de deels op fysica gebaseerde NODEphys worden instabiel en divergeren snel. Alleen het meest op fysica gebaseerde NHODE-model (NHODEpot,rel), dat behoud van energie, lineaire impuls en impulsmoment afdwingt, produceert stabiele, niet-divergerende trajecten over lange tijdshorizons.
Foutmaten: In alle voorbeelden verbetert het verhogen van de hoeveelheid ingebedde fysieke structuur (bijvoorbeeld het verschuiven van NHODEtot naar NHODEpot, of van absolute naar relatieve coördinaten) systematisch zowel de voorspellingnauwkeurigheid als de stabiliteit op lange termijn.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage is het aantonen dat fysische kennis die in een machinelearningmodel is ingebed, het mogelijk maakt om zowel de waargenomen als de latente delen van een deels waargenomen systeem nauwkeurig te leren, een taak waarbij puur datagedreven methoden falen.

De auteurs benadrukken dat hoewel de latente dynamica zonder aanvullende informatie (zoals bekende systeemparameters) niet uniek identificeerbaar is, het NHODE-raamwerk een latente toestand leert die fysisch consistent is en nauwkeurige voorspellingen oplevert voor de waargenomen variabelen. Het werk onderstreept dat in chaotische regimes, waar kleine verstoringen leiden tot exponentiële divergentie, het inbedden van sterke fysieke priors (behoudswetten) cruciaal is om te voorkomen dat de geleerde dynamica "opblaast", waardoor het nuttige voorspellingsvenster wordt verlengd.

Het artikel concludeert dat het NHODE-raamwerk een generaliseerbaar hulpmiddel is voor situaties waarin dynamische systemen deels worden waargenomen, fysieke structuur bekend is, en stabiele tijdsvoorspellingen vereist zijn, zoals in industriële monitoring, robotica en wetenschappelijke experimenten met beperkte toegang tot sensoren.