Discovery of Symbolic Hamiltonian Expressions with Buckingham-Symplectic Networks

Dit paper introduceert BuSyNet, een diep leernetwerk dat dimensie-consistente symplectische transformaties combineert om compacte, interpreteerbare symbolische Hamiltoniaanse uitdrukkingen te ontdekken die de energiebehoud en symplectische geometrie van fysische systemen nauwkeuriger en stabieler modelleren dan bestaande methoden.

De kern

Stel je voor dat je een heel ingewikkeld uurwerk probeert te begrijpen, zoals een oude, complexe klok met honderden tandwielen. Als je alleen naar de beweging van de wijzers kijkt, zie je een wirwar van cirkels en lijnen. Het is moeilijk om te voorspellen waar de wijzers over een uur, een dag of een jaar zullen staan, omdat kleine foutjes in je berekening snel oplopen.

Dit is precies het probleem waar natuurkundigen en data-wetenschappers vaak tegenaan lopen: hoe leer je een computer om de onderliggende wetten van de natuur te begrijpen, zodat hij de toekomst nauwkeurig kan voorspellen?

Deze paper introduceert een nieuwe manier om dit aan te pakken, genaamd BuSyNet (een slimme afkorting voor Buckingham-Symplectic Networks). Laten we het uitleggen met een paar alledaagse metaforen.

1. Het Probleem: De "Vreemde Eenheden" en de "Draaimolen"

Stel je voor dat je een computer leert om het weer te voorspellen. Als je de computer alleen maar cijfers geeft (bijvoorbeeld temperatuur, windkracht), zonder te vertellen wat die cijfers betekenen, kan de computer gekke dingen doen.

• Het eenheid-probleem: Stel, de computer denkt dat "kilogram" hetzelfde is als "meter". Dat is als proberen een recept te maken waarbij je suiker in liters meet en melk in kilo's. Het resultaat is onzin. Bestaande AI-modellen maken vaak deze fout: ze mengen eenheden door elkaar, waardoor ze op de lange termijn fouten maken.
• Het draaimolen-probleem: Veel natuurkundige systemen (zoals een veer die trilt of een planeet die om de zon draait) lijken chaotisch, maar ze draaien eigenlijk in perfecte cirkels rond een onzichtbaar punt. Als je de computer dwingt om die cirkels rechtstreeks te volgen, raakt hij snel de draad kwijt.

2. De Oplossing: BuSyNet

BuSyNet is als een slimme vertaler die twee dingen tegelijk doet:

Deel 1: De "Symplectic" Vertaler (De Magische Bril)
Stel je voor dat je door een speciale bril kijkt die de wereld verandert. In plaats van de ingewikkelde, kronkelende beweging van een planeet te zien, zie je door deze bril dat de planeet eigenlijk gewoon rustig rond een cirkel draait.

• BuSyNet gebruikt een wiskundige truc (een symplectische transformatie) om de chaotische beweging om te zetten in een simpele "actie-hoek" beweging.
• De metafoor: Het is alsof je een wirwar van garenknopen (de echte beweging) oplost tot een rechte lijn (de simpele beweging). In deze nieuwe wereld draait de planeet niet meer chaotisch; hij draait gewoon in een perfecte cirkel. Dit maakt het voor de computer heel makkelijk om de toekomst te voorspellen, want een cirkel is voorspelbaar.

Deel 2: De "Buckingham" Chef-kok (De Eenheidswachter)
Nu we de beweging hebben vereenvoudigd, moeten we de formule vinden die de energie beschrijft. Hier komt de tweede slimme kant van BuSyNet om de hoek kijken.

• In de natuurkunde moet je altijd opletten met eenheden. Je kunt geen appels en peren optellen.
• BuSyNet heeft een ingebouwde "chef-kok" (gebaseerd op de Buckingham-π theorema) die zorgt dat alle ingrediënten in de formule kloppen. Als de formule energie moet opleveren (in Joules), zorgt deze chef ervoor dat de computer alleen ingrediënten gebruikt die samen een Joule vormen.
• De metafoor: Het is alsof je een recept maakt. De chef zegt: "Gebruik geen 'kilogram' als je 'liter' nodig hebt." Hierdoor ontdekt de computer niet zomaar een willekeurige formule, maar een formule die logisch en fysiek correct is.

3. Wat levert dit op?

Wanneer je deze twee delen combineert, krijg je iets wonderlijks:

1. De computer leert de ware wet: In plaats van alleen maar cijfers te raden, ontdekt BuSyNet de echte, simpele wiskundige formule achter het systeem (bijvoorbeeld: "De energie is evenredig met de snelheid").
2. Geen uitdrijving: Omdat de computer de simpele cirkelbeweging begrijpt en de eenheden correct houdt, maakt hij over een lange periode (bijvoorbeeld jaren) geen fouten meer. Andere methoden "drijven" langzaam weg van de waarheid, maar BuSyNet blijft precies op het spoor.
3. Begrijpelijkheid: De formule die BuSyNet vindt, is niet een onleesbare "zwarte doos" van duizenden getallen. Het is een duidelijke, menselijke formule die natuurkundigen kunnen lezen en begrijpen.

Samenvattend

BuSyNet is als een slimme vertaler met een magische bril en een strenge chef-kok.

• De bril maakt de ingewikkelde bewegingen simpel en voorspelbaar.
• De chef-kok zorgt dat de formule die de computer bedenkt, logisch is en de juiste eenheden heeft.

Het resultaat is dat we AI-systemen hebben die niet alleen goed kunnen voorspellen, maar ook echt begrijpen hoe de natuur werkt, net als een ervaren natuurkundige die de onderliggende wetten kent. Dit is een grote stap voorwaarts voor het maken van betrouwbare modellen voor klimaat, ruimtevaart en andere complexe systemen.

Technische samenvatting

Probleemstelling

Hamiltoniaanse systemen vormen de basis voor het modelleren van de fysische wereld, waarbij de Hamiltoniaan (een scalair) zowel energiebehoud als symplectische geometrie in de fase-ruimtetrajecten encodeert. Hoewel recente deep-learning-methoden (zoals Hamiltonian Neural Networks - HNNs en SympNets) proberen deze eigenschappen te modelleren door ze in de architectuur of de verliesfunctie te integreren, negeren ze vaak twee cruciale fysieke beperkingen:

1. Dimensionale consistentie: De Hamiltoniaan moet eenheid van energie hebben (bijv. Joules) en moet bestaan uit dimensie-consistente combinaties van fysische grootheden. Bestaande netwerken mengen vaak variabelen met heterogene eenheden, wat de interpretatie en extrapolatie belemmert.
2. Integrabele structuur: Elke integreerbare Hamiltoniaan staat een canonieke transformatie toe naar actie-hoek-coördinaten (action-angle coordinates). In deze coördinaten blijven de acties constant en evolueren de hoeken lineair in de tijd, wat de dynamica reduceert tot een simpele rotatie op een invariant torus. Bestaande methoden maken vaak geen optimaal gebruik van deze vereenvoudiging voor het ontdekken van symbolische uitdrukkingen.

Het doel is om een model te ontwikkelen dat niet alleen de dynamica voorspelt, maar ook een symbolische, dimensie-consistente uitdrukking voor de Hamiltoniaan leert die direct in fysieke eenheden wordt uitgedrukt.

Methodologie: BuSyNet

De auteurs stellen BuSyNet (Buckingham-Symplectic Networks) voor, een tweestaps-architectuur die symplectische geometrie combineert met dimensie-consistentie. Het model bestaat uit de volgende componenten:

1. Symplectische Encoder (SympNet):

   • Een leerbaar symplectisch netwerk (geïnspireerd op SympNet) mapt de waargenomen trajecten van positie ($q$) en impuls ($p$) naar een latente ruimte van actie-hoek-variabelen ($I, \theta$).
   • Deze transformatie zorgt ervoor dat de dynamica in de latente ruimte lineair wordt: de acties $I$ blijven constant en de hoeken $\theta$ evolueren lineair ($\theta(t+\Delta t) = \theta(t) + \dot{\theta}\Delta t$).
   • Om de unieke transformatie te garanderen, worden de numerieke waarden van de acties $I$ eerst berekend via een integraal over de periode van de beweging (met behulp van FFT en Simpson's quadrature).

2. Dimensie-bewuste Kop (BuckiNet):

   • Een laag gebaseerd op het Buckingham-$\pi$-theorema (geïnspireerd op BuckiNet) neemt de geleerde acties $I$ en bekende systeemparameters $m$ (zoals massa of veerconstante) als input.
   • Deze laag leert de exponenten van een monomiale transformatie die de acties en parameters combineert tot een uitdrukking met de juiste eenheid (Energie).
   • De dimensie-consistentie wordt opgelegd via een zachte straffunctie (soft penalty) in de loss-functie: $\mathcal{L}_{dim} = \|D_{in}\Psi - D_{out}\|^2$, waarbij $D$ de dimensiematrices zijn en $\Psi$ de leerbare exponenten.

3. Symbolische Hamiltoniaan en Training:

   • De architectuur leert een symbolische vorm voor de Hamiltoniaan $\hat{H}(I, m)$.
   • De totale loss-functie combineert:
     • Een term voor het nauwkeurig voorspellen van de acties ($\mathcal{L}_I$).
     • Een term voor de bewegingsvergelijkingen in de actie-hoek ruimte: $\dot{\theta} = \partial H / \partial I$ en $\dot{I} = -\partial H / \partial \theta$ (waarbij $\dot{I}$ theoretisch 0 is).
   • Tijdens de inferentie wordt de dynamica voorspeld door de hoeken lineair te updaten in de latente ruimte en deze vervolgens via de inverse SympNet-transformatie terug te projecteren naar de fysieke ruimte ($q, p$).

Belangrijkste Bijdragen

• Integratie van Dimensie-analyse en Symplectische Geometrie: BuSyNet is de eerste architectuur die systematisch de Buckingham-$\pi$-theorema combineert met symplectische netwerken voor het ontdekken van Hamiltoniaanse systemen.
• Ontdekking van Symbolische Uitdrukkingen: In plaats van alleen een numerieke benadering te leren, produceert het model een gesloten vorm (closed-form) symbolische uitdrukking voor de Hamiltoniaan met de juiste fysieke eenheden.
• Verbeterde Stabiliteit en Interpretatie: Door de dynamica te reduceren tot een lineaire evolutie op een invariant torus in de latente ruimte, wordt de lange-termijnvoorspelling aanzienlijk stabieler en minder gevoelig voor cumulatieve fouten (drift).

Resultaten

Het model werd getest op twee klassieke, analytisch integreerbare systemen: de harmonische oscillator (1D) en het Kepler-tweelichamenprobleem (2D en 3D). De prestaties werden vergeleken met een standaard feed-forward netwerk (Vanilla NN), Hamiltonian Neural Networks (HNN) en SympNet.

• Symbolische Herwinning: BuSyNet herstelde exacte symbolische uitdrukkingen die overeenkwamen met de analytische grondwahrheid (bijv. $\hat{H} \propto I \cdot \sqrt{k/m}$ voor de oscillator en $\hat{H} \propto -1/(I_{tot})^2$ voor Kepler).
• Energiebehoud: BuSyNet toonde een verwaarloosbare energie-drift. De variantie van de Hamiltoniaan was in de orde van $10^{-12}$, wat 5 tot 6 ordes van grootte beter is dan de baselines (HNN en SympNet), die drift vertoonden.
• Voorspellingsnauwkeurigheid: Op lange termijn (rollouts tot 20 perioden) behield BuSyNet de fase-locking met de grondwahrheid, terwijl andere methoden aanzienlijke fasefouten opbouwden.
• Generalisatie: Het model slaagde erin om de juiste frequenties en dynamica te voorspellen op testdata die buiten het trainingsinterval lag, dankzij het leren van de onderliggende invarianten.

Significantie

Deze studie toont aan dat het inbedden van fundamentele fysica (dimensie-analyse en symplectische structuur) in deep-learning-pipelines niet slechts een esthetische keuze is, maar een praktische noodzaak voor betrouwbare modellen.

• Betrouwbaarheid: Door de hypothesruimte te beperken tot dimensie-consistente en symplectische transformaties, wordt overfitting op ruis voorkomen en wordt extrapolatie naar nieuwe regimes mogelijk gemaakt.
• Interpreteerbaarheid: Het model levert direct fysiek interpreteerbare vergelijkingen op in plaats van een "black box".
• Toekomstperspectief: Hoewel het huidige werk uitgaat van volledige fase-ruimtemetingen en integreerbare systemen, opent BuSyNet de weg voor toepassingen in complexe, chaotische systemen en multischaalproblemen (zoals turbulentie en klimaatmodellen), waarbij het respecteren van eenheden en behoudswetten cruciaal is.