🤖 machine learning

Learning Deterministic and Stochastic Forced Hamiltonian Systems

Dit artikel introduceert een geometrisch raamwerk en een nieuwe klasse structuurbehoudende neurale netwerken, genaamd Generalized Forced Hamiltonian Neural Networks (GFHNN's), voor het leren van zowel deterministische als stochastische gedwongen Hamiltoniaanse systemen, waarbij superieure lange-termijnstabiliteit, nauwkeurigheid en data-efficiëntie worden aangetoond in vergelijking met niet-geometrische alternatieven.

Oorspronkelijke auteurs: Benedikt Brantner, Tomasz Tyranowski

Gepubliceerd 2026-08-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benedikt Brantner, Tomasz Tyranowski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de fysieke wereld volgen veel systemen een verborgen ritme, een reeks regels die bepalen hoe energie beweegt en verandert. Denk aan een zwaaiende slinger of een planeet die rond een ster draait; dit zijn voorbeelden van wat wetenschappers Hamiltonianische systemen noemen. Eeuwenlang hebben wiskundigen geweten dat deze systemen een speciale geometrische structuur hebben, een soort interne architectuur die ze over lange perioden stabiel houdt. De werkelijkheid is echter zelden perfect. Wrijving vertraagt de boel, en externe duwen of trekken grijpen voortdurend in. Wanneer deze externe krachten op een systeem inwerken, breken de elegante regels van de ideale wereld af en wisselt het systeem energie uit met zijn omgeving. Het voorspellen van hoe zo'ng systeem zich in de loop van de tijd zal gedragen, is moeilijk omdat standaard wiskundige instrumenten vaak afwijken van de waarheid en aan nauwkeurigheid verliezen naarmate de simulatie langer loopt.

Decennialang hebben wetenschappers geprobeerd kunstmatige intelligentie te gebruiken om deze problemen op te lossen. Ze hebben computerprogramma's geleerd om de vergelijkingen te begrijpen die beweging beschrijven, in de hoop dat de machines de toekomstige staat van een systeem konden voorspellen. Hoewel deze methoden goed werken voor korte periodes, falen ze vaak op de lange termijn. De computer leert de onmiddellijke stappen, maar vergeet de onderliggende geometrie die het systeem stabiel houdt. Als gevolg hiervan kan het voorspelde pad er voor een moment correct uitzien, maar over uren of dagen wijkt het wild uiteen, waarbij de basiswetten van de natuurkunde die het systeem zou moeten volgen, worden geschonden. Dit is een aanzienlijke hindernis voor velden zoals robotica, waar een robotarm jarenlang nauwkeurig moet bewegen, of de plasmaphysica, waar wetenschappers het gedrag van superheet gas in fusiereactoren modelleren.

Een team van onderzoekers uit Duitsland en Nederland heeft een nieuwe manier ontwikkeld om computers deze complexe systemen te leren, een manier die de verborgen geometrie vanaf het begin respecteert. In plaats van een neuraal netwerk te vragen om de regels van beweging te raden, hebben ze het netwerk gebouwd uit de regels zelf. Ze hebben een nieuw type architectuur voor kunstmatige intelligentie ontwikkeld: Generalized Forced Hamiltonian Neural Networks. Deze netwerken zijn niet simpelweg 'black boxes' die leren door vallen en opstaan; ze zijn geconstrueerd door het aan elkaar naaien van kleine, bewezen wiskundige stappen die bekend staan om het behoud van de structuur van het systeem. De onderzoekers hebben wiskundig bewezen dat deze aanpak het gedrag van elk dergelijk systeem met extreme precisie kan benaderen, mits het netwerk groot genoeg is.

Het team heeft hun nieuwe methode getest tegenover traditionele, niet-geometrische neurale netwerken met behulp van verschillende uitdagende voorbeelden. Ze begonnen met een eenvoudige gedempte harmonische oscillator, een systeem dat een veer met wrijving nabootst. In deze tests leerden de nieuwe geometrische netwerken de beweging met veel minder datapunten dan de traditionele netwerken. Belangrijker nog, toen de onderzoekers de netwerken vroegen om het gedrag van het systeem ver in de toekomst te voorspellen, faalden de traditionele netwerken. Hun voorspellingen raakten uit de bocht, waarbij de juiste energiebalans verloren ging. De nieuwe geometrische netwerken bleven echter op koers en behielden de juiste fysische eigenschappen, zelfs na het simuleren van duizenden tijdstappen. Het verschil was groot: de traditionele netwerken hadden enorme hoeveelheden trainingsdata nodig om in de buurt te komen van de nauwkeurigheid die de nieuwe netwerken bereikten met slechts een fractie van de informatie.

De onderzoekers stopten niet bij eenvoudige, voorspelbare systemen. Ze breidden hun methode uit om systemen aan te kunnen die in de loop van de tijd veranderen en systemen die worden beïnvloed door willekeurige ruis, zoals de onvoorspelbare trillingen die men vindt in moleculaire dynamica. Door de willekeurige fluctuaties te behandelen als een set parameters die het netwerk kan leren, lieten ze zien dat hun geometrische kader net zo goed werkt voor deze chaotische scenario's. In een test met een stochastische oscillator, waarbij het systeem wordt gebuffet door willekeurige krachten, presteerde het nieuwe netwerk opnieuw beter dan de standaardbenadering. Het legde het subtiele, langetermijngedrag van het systeem veel nauwkeuriger vast, terwijl het traditionele netwerk moeite had om het bij te houden en fouten produceerde die snel toenamen over de tijd.

De kern van dit succes ligt in de manier waarop de netwerken zijn gebouwd. De onderzoekers gebruikten een principe uit de natuurkunde dat bekend staat als het principe van Lagrange-d'Alembert, dat beschrijft hoe systemen bewegen wanneer externe krachten worden uitgeoefend. Ze vertaalden dit principe naar een specifiek type wiskundige kaart, een stapsgewijze procedure die een systeem van het ene moment naar het volgende beweegt zonder de interne structuur te breken. Door deze kaarten aan elkaar te koppelen, creëerden ze een neuraal netwerk dat inherent stabiel is. In tegen tegenstelling tot andere methoden die proberen de volledige stroom van een systeem in één keer te leren, bouwt deze aanpak de stroom op uit kleine, betrouwbare bouwstenen. Dit zorgt ervoor dat de computer de fundamentele regels nooit uit het oog verliest, zelfs niet terwijl hij de specifieke details van een nieuw probleem leert.

De implicaties van dit werk zijn aanzienlijk voor iedereen die vertrouwt op langetermijnsimulaties. In de techniek en de wetenschap is het voorspellen van hoe een systeem zich over maanden of jaren zal gedragen vaak belangrijker dan weten wat de staat is voor de komende paar seconden. De nieuwe methode biedt een manier om deze langetermijnstabiliteit te bereiken zonder dat er enorme hoeveelheden data verzameld hoeven te worden, wat in sommige experimenten duur of onmogelijk kan zijn. De onderzoekers hebben aangetoond dat door de geometrie van het probleem te respecteren, het neurale netwerk een efficiëntere en betere leerling wordt. Het memoriseert niet alleen de data; het begrijpt de vorm van de beweging.

Dit onderzoek opent de deur naar robuustere modellen voor complexe fysieke systemen. De auteurs suggereren dat hun framework kan worden toegepast op robotica, waar nauwkeurige, langdurige controle essentieel is, en op computationele plasmaphysica, waar het simuleren van het gedrag van geladen deeltjes rekenintensief is. Door een manier te bieden om deze systemen met hoge nauwkeurigheid en lage datavereisten te leren, kan deze nieuwe architectuur dienen als een krachtig instrument voor wetenschappers en ingenieurs. Het vertegenwoordigt een verschuiving in hoe we denken over kunstmatige intelligentie in de wetenschap: een beweging weg van pure data-fitting en naar het bouwen van machines die geworteld zijn in de fundamentele wetten van het universum. Het werk bewijst dat wanneer we computers leren de geometrie van de natuur te respecteren, ze kunnen leren om de toekomst te voorspellen met een helderheid die voorheen onbereikbaar was.

Technische Samenvatting: Het leren van deterministische en stochastische geforceerde Hamiltoniaanse systemen

Probleemstelling

Geforceerde Hamiltoniaanse systemen, die energie uitwisselen met hun omgeving via externe inputs en dissipatieve effecten, zijn alomtegenwoordig in velden zoals robotica, plasmafysica, regeltechniek en moleculaire dynamica. In tegenstelling tot conservatieve systemen behouden deze systemen niet op de traditionele manier hun symplecticiteit, maar bezitten ze een onderliggende geometrische structuur die wordt beheerst door het Lagrange-d'Alembert-principe.

Bestaande neurale netwerkbenaderingen voor het leren van differentiaalvergelijkingen vallen vaak uiteen in twee categorieën:

Niet-geometrische integratoren: Standaardarchitecturen (bijv. MLPs, ResNets) die oplossingen benaderen maar falen in het behouden van geometrische structuren, wat leidt tot slechte stabiliteit op lange termijn en onnauwkeurige kwalitatieve gedragingen.
Structuurbehoudende methoden: Architecturen zoals Hamiltonian Neural Networks (HNNs) of Symplectic Neural Networks (SympNets) die geometrische eigenschappen behouden. Veel van deze methoden zijn echter beperkt tot conservatieve systemen, leren de leidende vergelijkingen in plaats van de flow-maps, of missen een verenigd kader voor het afhandelen van algemene externe forcering en stochastiek.

De primaire uitdaging die in dit werk wordt aangepakt, is het ontwerp van een neurale netwerkarchitectuur die in staat is om de flow van parametrische geforceerde Hamiltoniaanse systemen (zowel deterministisch als stochastisch) te leren, terwijl de onderliggende geometrische structuur, specifelijk de Lagrange-d'Alembert-structuur, strikt wordt behouden.

Methodologie

Theoretische Fundering

De auteurs vestigen een geometrisch kader geworteld in het Lagrange-d'Alembert-principe en de theorie van variatie-integratoren.

Lagrange-d'Alembert Maps: De auteurs definiëren een Lagrange-d'Alembert map als de tijd- $T$ evolutie-map van een geforceerd Hamiltoniaans systeem. In tegenstelling tot symplectische maps zijn deze maps niet noodzakelijkerwijs symplectisch, maar voldoen ze aan een variatieprincipe dat betrekking heeft op discrete krachten.
Convergentiestelling: Er wordt een $C^r$ convergentiestelling vastgesteld voor eerste-orde één-stap methoden (specifiek Lagrange-d'Alembert-Euler en Lie-Trotter splitting schema's). Deze stelling bewijst dat composities van deze integratoren convergeren naar de ware flow in de sterke $C^r$ topologie op compacte verzamelingen, wat de wiskundige basis biedt voor het benaderen van flows via neurale netwerken.
Parametrische en Stochastische Uitbreidingen: Het kader wordt uitgebreid naar parameter-afhankelijke systemen en stochastische geforceerde Hamiltoniaanse systemen. Voor stochastische systemen interpreteren de auteurs de meervoudige Stratonovich-integralen die verschijnen in de Stratonovich-Taylor-expansie als parameters. Dit maakt het mogelijk om de stochastische flow te behandelen als een parameter-afhankelijke Lagrange-d'Alembert map, mits informatie over de onderliggende Wiener-proces-incrementen beschikbaar is.

Neurale Netwerkarchitecturen

Op basis van de theoretische resultaten stellen de auteurs twee specifieke architecturen voor:

Generalized Forced Hamiltonian Neural Networks (GFHNNs):
- Ontworpen voor autonome geforceerde Hamiltoniaanse systemen.
- Geconstrueerd door het concateneren van Lagrange-d'Alembert-Euler (LDE) maps.
- Elke LDE-block benadert een stap van de flow met behulp van een scheidbare Hamiltonian ( $H = T(p) + U(q)$ ) en een forcing term $f$ .
- De kinetische energie $T$ , potentiële energie $U$ en de forcing functie $f$ worden gemodelleerd door multilayer perceptrons (MLPs).
- In tegen tegenstelling tot methoden die het vectorveld leren, leren GFHNNs direct de flow map.
Parametric Generalized Forced Hamiltonian Neural Networks (PGFHNNs):
- Een uitbreiding van GFHNNs om systemen te behandelen die afhankelijk zijn van parameters $\mu$ (inclusclusief tijd $t$ en stochastische incrementen).
- De architectuur voegt de parameter $\mu$ toe aan de input van de MLPs.
- Voor stochastische systemen worden de Wiener-proces-incrementen (en hogere-orde Stratonovich-integralen voor hogere-orde schema's) behandeld als de parametervector $\mu$ .

Universele Approximatie

De paper bewijst Universele Approximatietheorema's voor zowel GFHNNs als PGFHNNs. Deze theorema's tonteren aan dat de voorgestelde architecturen dicht liggen in de ruimte van Lagrange-d'Alembert maps (en parametrische versies daarvan) met betrekking tot de $C^r$ topologie op compacte verzamelingen. Dit garandeert dat deze netwerken, bij voldoende capaciteit, de ware flow van elk geforceerd Hamiltoniaans systeem willekeurig goed kunnen benaderen.

Belangrijkste Resultaten

De auteurs hebben de voorgestelde architecturen geëvalueerd tegenover niet-geometrische Residual Neural Networks (ResNets) op verschillende benchmarkproblemen:

Lineair gedempde harmonische oscillator:
- GFHNNs vertoonden superieure stabiliteit op lange termijn en nauwkeurigheid vergeleken met ResNets, met name bij lage dempingscoëfficiënten waar trajecten zich over lange tijdschalen ontwikkelen.
- GFHNNs hadden aanzienlijk minder trainingsdata nodig om een vergelijkbare prestatie te leveren.
Kwadratisch gedempde pendel:
- In de afwezigheid van een analytische oplossing presteerden GFHNNs, getraind op data gegenereerd door een impliciete midpoint-methode, beter dan ResNets in het reproduceren van dissipatief gedrag en de Hamiltoniaanse evolutie.
Tijdafhankelijke gedempde harmonische oscillator:
- Door PGFHNNs te gebruiken om tijdafhankelijke flows te leren (waarbij tijd als een parameter wordt behandeld), behield de geometrische architectuur de nauwkeurigheid over uitgebreide perioden waar ResNets divergeerden.
- Om de nauwkeurigheid van de PGFHNN te evenaren, had de ResNet een trainingsdataset nodig die ongeveer 7,6 keer groter was.
Geforceerde Kubo-oscillator (stochastisch):
- Het PGFHNN-kader werd toegepast op een stochastisch geforceerd Hamiltoniaans systeem door Wiener-incrementen als parameters te behandelen.
- De geometrische architectuur presteerde consistent beter dan de parametrische ResNet in zowel traject- als Hamiltonian-foutmetrieken over meerdere ruisrealisaties en initiële condities.

Betekenis en Claims

Het artikel claimt dat de voorgestelde geometrische architecturen significant verbeterde stabiliteit op lange termijn en nauwkeurigheid bieden vergeleken met niet-geometrische residual neural networks (ResNets). De belangrijkste betekenis ligt in:

Structuurbehoud: Door direct Lagrange-d'Alembert maps te leren via composities van structuurbehoudende integratoren, respecteren de modellen inherent de variationele structuur van geforceerde systemen, waardoor de drift en instabiliteit die gebruikelijk zijn bij niet-geometrische benaderingen worden vermeden.
Data-efficiëntie: De geometrische inductieve bias stelt de modellen in staat om de onderliggende dynamica te leren met aanzienlijk minder trainingsdata.
Verenigd Kader: Het werk verenigt het leren van deterministische, tijdafhankelijke en stochastische geforceerde Hamiltoniaanse systemen onder één enkel geometrisch kader gebaseerd op het Lagrange-d'Alembert-principe.
Directe Flow-lering: In tegen tegenstelling tot methoden die leidende vergelijkingen leren (die een daaropvolgende numerieke integratie vereisen), leren deze architecturen direct de flow map, wat efficiënte trajectgeneratie mogelijk maakt zonder iteratieve solvers.

De auteurs concluderen dat hoewel de aanpak kennis vereist van het onderliggende Wiener-proces voor stochastische toepassingen (wat het beperkt tot settings waar dergelijke data beschikbaar is, bijv. Monte Carlo-simulaties), het een krachtig hulpmiddel biedt voor surrogaatmodellering in de natuurkunde en techniek waar geometrische getrouwheid cruciaal is. Toekomstig werk wordt gesuggereerd voor toepassingen op manifolds (Lie-groepen) en computationele plasmafysica.