🤖 machine learning

Latent Lie-Poisson Neural Networks (LLPNNs): Discovering the motion of Lie-Poisson systems through observable data and latent dynamics

Dit artikel introduceert Latent Lie-Poisson Neural Networks (LLPNNs), een structuurbehoudend raamwerk dat Lie-Poisson-dynamiek direct leert van observeerbare data door gebruik te maken van geometrische ingrediënten zoals Hamiltonian-decoders, Noether-invarianten en Lie-groep-updates om nauwkeurige langetermijnvoorspellingen te bereiken, zelfs voor degeneratieve systemen waarbij latente variabelen niet observeerbaar zijn.

Oorspronkelijke auteurs: Vakhtang Putkaradze

Gepubliceerd 2026-08-03

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vakhtang Putkaradze

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren hoe de beweging van een tol, een zwemrobot of een zwerm drones in de toekomst voorspeld kan worden. Je hebt een video van hun beweging, die hun posities en snelheden laat zien, maar je hebt geen directe inkijk in de "onzichtbare tandwielen" binnenin hen—de verborgen krachten en impulsen die de beweging daadwerkelijk aansturen. Dit is de uitdaging van physics-informed machine learning: het aanleren van de natuurwetten aan AI door simpelweg te kijken naar wat er gebeurt.

Normaal gesproken, wanneer we beweging proberen te voorspellen, kijken we naar de zichtbare zaken (waar het is en hoe snel het gaat) en raden we de volgende stap. Maar voor veel complexe systemen, zoals een star lichaam dat door de ruimte draait of een voertuig dat door een vloeistof navigeert, is de zichtbare snelheid niet genoeg om het hele verhaal te vertellen. De echte "motor" van het systeem bevindt zich in een verborgen, wiskundige ruimte die impuls (momentum) wordt genoemd. Denk aan impuls als de onzichtbare spanning in een elastiekje; je kunt de spanning zelf niet zien, alleen de beweging die het veroorzaakt. Als je de toekomst probeert te voorspellen door alleen naar de beweging te kijken, mis je misschien de verborgen spanning, en zal je voorspelling uiteindelijk afdwalen naar onzin.

Bovendien zijn sommige van deze systemen "degenerat", wat betekent dat de regels een beetje gebroken of incompleet zijn. In deze gevallen heeft de zichtbare snelheid niet eens een eigen set regels om te volgen; het is volledig afhankelijk van die verborgen spanning. Het voorspellen van de toekomst zonder die verborgen spanning te kennen, is als het proberen te raden van de volgende zet in een schaakspel wanneer je alleen de stukken op het bord kunt zien, maar niet de regels van hoe ze bewegen. Dit artikel pakt precies dat probleem aan: hoe je een computer kunt leren de verborgen regels en de onzichtbare krachten te leren kennen door simpelweg de zichtbare dans te observeren.

De Geheime Ontcijferring voor Verborgen Beweging

De auteur van dit artikel, Vakhtang Putkaradze, heeft een nieuw soort AI uitgevonden genaamd Latent Lie-Poisson Neural Networks (LLPNNs). Beschouw dit als een "geheime ontcijferring" die een computer in staat stelt om de onzichtbare, verborgen krachten die een systeem aansturen te achterhalen, zelfs wanneer de computer alleen de zichtbare resultaten kan zien.

De meeste AI-modellen die beweging proberen te voorspellen, handelen als een student die alleen het antwoordmodel uit het hoofd leert. Ze kijken naar waar een object nu is en waar het een seconde geleden was, en raden dan waar het de volgende stap zal zijn. Dit werkt redelijk voor eenvoudige zaken, maar voor complexe systemen zoals draaiende satellieten of onderwatervoertuigen, raken deze modellen uiteindelijk in de war. Ze vergeten de "behoudswetten"—de fundamentele regels die de natuur nooit breekt, zoals het feit dat een tol zijn totale draaisnelheid moet behouden, tenzij er iets tegenaan duwt. Omdat ze deze regels vergeten, dwalen hun voorspellingen langzaam af van de werkelijkheid, als een kaart die elke dag een klein beetje fout is, totdat je in de oceaan in plaats van in de stad eindigt.

Het probleem wordt nog lastiger wanneer het systeem "degenerat" is. In die gevallen is de zichtbare snelheid (zoals hoe snel een auto vooruit rijdt) constant of vaststaand, maar de verborgen impuls (de onzichtbare kracht die hem laat draaien) verandert wild. Het is alsov je een auto ziet rijden met een perfect constante snelheid van 60 mph op een rechte weg. Voor een normale waarnemer lijkt de auto saai en onveranderlijk. Maar als die auto eigenlijk op een gigantisch, onzichtbaar draaiend plateau staat, is de verborgen impuls wild aan het draaien, ook al ziet de snelheid er hetzelfde uit. Standaard AI-modellen lopen hier vast omdat ze het draaiende plateau niet kunnen zien; ze zien alleen de constante snelheid. Ze proberen een regel voor de snelheid te verzinnen, maar een dergelijke regel bestaat niet, omdat de snelheid slechts een schaduw is van de verborgen draaiing.

Hoe de Nieuwe AI het Puzzelstukje Oplost

De LLPNNs lossen dit op door te beseffen dat, hoewel we de verborgen impuls niet kunnen zien, we deze kunnen afleiden met een "magische truc" uit de natuurkunde genaamd de stelling van Noether. Deze stelling zegt dat als een systeem een bepaalde symmetrie heeft (zoals hetzelfde zijn, ongeacht hoe je het roteert), er een verborgen grootheid is die nooit verandert.

De methode van de auteur werkt als volgt:

De Verborgen Constante: De AI gaat ervan uit dat er een verborgen, onveranderlijke "ruimtelijke impulsvector" is (laten we het $p_0$ noemen) die altijd hetzelfde blijft, zelfs terwijl het object draait en beweegt.
De Reconstructie: Met behulp van het zichtbare pad van het object (de positie en oriëntatie) gebruikt de AI een wiskundige brug genaamd de coadjoint-actie om te reconstrueren wat de verborgen impuls op elk moment moet zijn om die constante $p_0$ waar te houden. Het is alsof je een schaduw over een muur ziet bewegen en beseft: "Ah, het object dat de schaduw werpt, moet op deze manier draaien om de lichtbron stabiel te houden."
De Regels Leren: Zodra de AI de verborgen impuls heeft gereconstrueerd, leert het de werkelijke regels (de Hamiltoniaan) die bepalen hoe die impuls verandert. Dit doet het met twee verschillende "benaderingen":
- De Decoder-benadering: Het leert een functie die verborgen impuls vertaalt naar zichtbare snelheid.
- De Encoder-benadering: Het leert een functie die zichtbare snelheid terug vertaalt naar verborgen impuls (maar alleen voor de delen van het systeem die mogen veranderen).

Wat Zij Hebben Gevonden

De auteur heeft deze nieuwe AI getest op drie zeer verschillende, uitdagende scenario's:

Een Draaiend Star Lichaam: Een gegeneraliseerde versie van een tol op een 3D-bol (SO(3)).
Een Onderwatervoertuig: Een complex robotvoertuig dat door water beweegt, waarbij zowel rotatie als translatie een rol spelen (SE(3)).
Een Zwerm Drones: Meerdere autonome voertuigen op een 2D-vlak, waarbij sommige bewegingsregels "degenerat" zijn (de voorwaartse snelheid is vast, maar de draaiing wordt gestuurd door verborgen krachten).

In alle drie de gevallen waren de LLPNN's in staat om de verborgen dynamica te leren en de toekomst te voorspellen met uitstekende langetermijnnauwkeurigheid.

De "Magie" van Behoud: Het meest indrukwekkende resultaat is dat de AI de "Casimir-invarianten" (de verborgen behouden grootheden) met machinaprecisie behield. Dit betekent dat de AI niet alleen de juiste getallen raadde; het garandeerde wiskundig dat de verborgen regels van het universum nooit werden geschonden.
De Concurrentie Verslaan: Bij vergelijking met andere populaire AI-methoden zoals Neural ODEs en DeepONets (die alleen naar zichtbare data kijken), bleven de LLPNN's gedurende een lange tijd op koers. De andere methoden werkten redelijk voor eenvoudige systemen, maar faalden spectaculair wanneer het systeem "degenerat" was (zoals de dronezwerm). In die gevallen weken de andere AI-modellen snel af en voorspelden ze onmogelijke paden omdat ze de verborgen krachten niet konden zien.
Robuustheid: De methode werkte goed, zelfs wanneer de data ruis bevatte (om sensorfouten in de echte wereld te simuleren).

De Limieten en de Toekomst

Het artikel merkt zorgvuldig op dat deze methode geen magische oplossing is voor alles. Het vertrouwt op het vooraf weten van de symmetriegroep van het systeem. Je moet de AI vertellen: "Dit is een tol," of "Dit is een drone op een plat vlak." Als een systeem zijn eigen symmetrie breekt (zoals een drone die een doel probeert te vinden dat de rotatieregels verbreekt), kan de methode moeite hebben. Ook is de methode specif으로 ontworpen voor systemen die de Lie-Poisson dynamica volgen; het kan niet direct worden toegepast op zomaar elk willekeurig fysiek systeem zonder die specifieke geometrische structuur.

Echter, voor de systemen die het wel beslaat, zijn de resultaten een belangrijke stap voorwaarts. De auteur laat zien dat door de diepe geometrische structuur van de natuurkunde direct in het neurale netwerk in te bedden, we AI kunnen bouwen die niet alleen data onthoudt, maar ook de onzichtbare tandwielen van het universum begrijpt. Ze hebben dit aangetoond met simulaties van starre lichamen, onderwatervoertuigen en dronezwermen, waarmee bewezen is dat zelfs wanneer de zichtbare data incompleet of de regels degenerat zijn, de verborgen waarheid kan worden teruggevonden en met hoge precisie voorspeld kan worden.

Kortom, dit artikel geeft ons een nieuwe manier om computers te leren het onzichtbare te zien, zodat hun voorspellingen van de toekomst de onbreekbare wetten van de natuurkunde respecteren.

Technisch overzicht: Latent Lie-Poisson Neural Networks (LLPNNs)

1. Probleemstelling

Het artikel behandelt een fundamentele uitdaging in de datagestuurde modellering van Hamiltoniaanse systemen: het leren van de dynamica van Lie-Poisson systemen wanneer alleen waarneembare gegevens (configuraties $g(t)$ en snelheden $\xi(t)$ ) beschikbaar zijn, terwijl de onderliggende dynamica evolueert in latente momentumvariabelen ( $\mu$ ) die niet waarneembaar zijn.

Dit probleem is bijzonder acuut in twee contexten:

Symmetrie-reductie: Veel mechanische systemen (starre lichamen, vloeistoffen, onderwatervoertuigen) vertonen symmetrie-reductie naar Lie-Poisson systemen waarbij de toestandsruimte de duale van een Lie-algebra ( $\mathfrak{g}^*$ ) is, maar gegevens worden verzameld in de configuratie-/snelheidsruimte ( $G$ en $\mathfrak{g}$ ).
Gedegenereerde Hamiltoniaanse functies in optimale controle: In optimalisatieregelingsproblemen (bijv. interagerende voertuigen) is de gereduceerde Hamiltonian vaak gedegenereerd (lineair in bepaalde momentumcomponenten). Deze degeneratie voorkomt het bestaan van een bijbehorende Lagrangiaanse formulering in waarneembare variabelen. Gevolgelijk vormen de waarneembare variabelen geen gesloten autonome dynamische systemen; de evolutie van waarneembare snelheden kan niet worden uitgedrukt als $\dot{\xi} = f(\xi)$ omdat verschillende latente momentumtoestanden identieke waarneembare snelheden kunnen opleveren maar verschillende tijdderivaten hebben.

Bestaande structuur-preserverende methoden (zoals Hamiltonian Neural Networks, Symplectic RNNs) gaan doorgaans uit van toegang tot de volledige faseruimte of een niet-gedegenereerde Legendre-transformatie, waardoor ze onbruikbaar of onnauwkeurig zijn voor deze specifieven gevallen.

2. Methodologie: Latent Lie-Poisson Neural Networks (LLPNNs)

De auteur stelt LLPNNs voor, een framework dat Lie-Poisson dynamica direct leert van waarneembare gegevens terwijl het de verborgen momentumtrajecten reconstrueert. De methode steunt op drie geometrische ingrediënten:

A. Geometrische Fundamenten

Noether's Theorema & Coadjoint Reconstructie: Voor systemen met Lie-groep symmetrie $G$ , is de ruimtelijke momentum $p_0 \in \mathfrak{g}^*$ geconserveerd. De latente lichaamsmomentum $\mu(t)$ is gerelateerd aan de constante ruimtelijke momentum via de coadjoint actie: $\mu(t) = \text{Ad}^*_{g(t)} p_0$ . Dit biedt een exacte brug tussen de waarneembare configuratie $g(t)$ en de latente momentum $\mu(t)$ .
Omgaan met Degeneratie: Het framework maakt expliciet onderscheid tussen actieve variabelen (waar de Hamiltonian niet-lineair en inversibel is) en passieve variabelen (waar snelheden constant of nul zijn). Het vereist geen globale Legendre-transformatie, waardoor het kan functioneren zelfs wanneer een Lagrangiaanse formulering niet bestaat.

B. Twee Leerbenaderingen

Het artikel presenteert twee verschillende architecturen voor het leren van het systeem:

Hamiltoniaanse Benadering (Decoder):
- Doel: Direct de Hamiltonian functie $h(\mu)$ leren.
- Mechanisme: Het netwerk parametriseert $h(\mu)$ als een som van lineaire termen voor passieve variabelen en een neuraal netwerk-residuum voor actieve variabelen.
- Training: Voor elk traject wordt een constante ruimtelijke momentumvector $p_0$ geoptimaliseerd naast de netwerkgewichten. De verliesfunctie minimaliseert het verschil tussen de waargenomen snelheden en de gradiënt van de geleerde Hamiltonian geprojecteerd op actieve componenten: $\xi_{pred} = \nabla_\mu h(\text{Ad}^*_g p_0)$ .
- Reconstructie: Gebruikt een Magnus-expansie gecombineerd met de geleerde $h(\mu)$ en de geconserveerde $p_0$ om groepelementen en momenta stap voor stap bij te werken.
Lagrangiaanse Benadering (Encoder / Pseudo-Lagrangiaan):
- Doel: Een "pseudo-Lagrangiaan" $\ell(\xi_{act})$ leren die actieve snelheden naar actieve momenta mapt.
- Mechanisme: Gaat ervan uit dat de kaart tussen actieve snelheden en actieve momenta lokaal inversibel is. Het netwerk leert $\ell(\xi_{act})$ zodanig dat $\mu_{act} = \nabla_{\xi_{act}} \ell(\xi_{act})$ .
- Training: De ruimtelijke momentum $p_0$ verschijnt lineair in de verliesfunctie (buiten de netwerkevaluatie), waardoor deze via lineaire kleinste kwadraten kan worden opgelost voor een gegeven netwerktoestand. De verliesfunctie minimaliseert de discrepantie tussen de voorspelde actieve momenta en de coadjoint projectie van $p_0$ .
- Reconstructie: Lost een impliciete vergelijking op (via wortelzoekalgoritmen) om de volgende snelheidsstap te vinden die voldoet aan de momentum-update regel afgeleid van de pseudo-Lagrangiaan.

C. Trainingsstrategie

Warm Start: Om lokale minima te vermijden, initialiseert de auteur de netwerken met een kwadratische benadering (kwadratische Hamiltonian/Lagrangiaan) en lost voor de metriekmatrices en $p_0$ op met behulp van een geconstreind lineair systeem (KKT-condities) voordat de neurale netwerkgewichten worden vrijgegeven voor volledige training.
Structuur-Preservatie: Het reconstructie-algoritme gebruikt Lie-groep updates (Magnus-expansie) en coadjoint acties, wat garandeert dat Casimir-invarianten tot op machineprecisie worden behouden, ongeacht de kwaliteit van de training of de data.

3. Belangrijkste Bijdragen

Leren van enkel Waarneembaarheden: Het eerste framework dat in staat is om Lie-Poisson dynamica direct te leren van waarneembare configuratie- en snelheidsgegevens zonder dat latente momentummetingen vereist zijn.
Omgaan met Gedegenereerde Hamiltoniaanse Functies: De methode werkt voor zowel reguliere als gedegenereerde Hamiltoniaanse systemen. Het adresseert succesvol optimalisatiecontroleproblemen waarbij de waarneembare variabelen geen gesloten autonome evolutie-vergelijking toestaan, een scenario waarin standaard Neural ODEs en DeepONets falen.
Machine-Precisie Conservering: De architectuur garandeert de exacte conservering van Casimir-invarianten (tot machineprecisie) door constructie, onafhankelijk van de trainingsdata of optimalisatiekwaliteit.
Duale Formuleringen: Biedt zowel Hamiltonian (decoder) als Lagrangiaanse (encoder) benaderingen, wat flexibiliteit biedt afhankelijk van de vraag of de actieve snelheid-momentum kaart inversibel is.

4. Experimentele Resultaten

De methode werd gevalideerd op drie benchmark-systemen met niet-kwadratische Hamiltoniaanse functies:

Gegeneraliseerd Star Rigide Lichaam (SO(3)):
- Demonstreerde bijna perfecte langetermijn-trajecttracking voor zowel waarneembare snelheden als latente momenta.
- Behield Casimir-invarianten ( $\|\mu\|^2$ ) en energie met machineprecisie.
- Presteerde beter dan niet-structuur-preserverende baselines (Neural ODE, DeepONet) die snel divergeerden.
Kirchhoff's Onderwatervoertuig (SE(3)):
- Getest op een systeem met gekoppelde rotationele en translationele modi.
- Zowel Hamiltonian als Lagrangiaanse LLPNN's behielden de fase-accuratesse en conserveerden de twee Casimir-invarianten ( $\|P\|^2$ en $J \cdot P$ ).
- Toonde superieure robuustheid tegen ruis vergeleken met baselines.
Multi-Voertuig Optimale Controle (SE(2) $^N$ ):
- Cruciale Test: Een systeem met een gedegenereerde Hamiltonian (lineair in translationele momenta, niet-lineair alleen in angulaire momentum).
- Resultaat: Standaard Neural ODEs en DeepONets faalden onmiddellijk omdat er geen autonome vectorveld bestaat voor de waarneembare snelheden. De LLPNN's reconstrueerden succesvol de latente dynamica en voorspelden langetermijn-trajecten.
- De Lagrangiaanse benadering vertoonde een iets betere fase-uitlijning voor angulaire snelheden in dit specifieke gedegenereerde geval, terwijl de Hamiltonian benadering de laagste totale foutgroei bereikte.
- Casimir-invarianten voor individuele voertuigen werden behouden tot machineprecisie.

5. Betekenis en Claims

Het artikel claimt dat LLPNNs een significante vooruitgang vormen in geometric deep learning door de kloof te overbruggen tussen waarneembare gegevens en latente geometrische structuren.

Betekenis: Het framework lost het "verborgen staat"-probleem op in symmetrie-gereduceerde systemen. Het bewijst dat zelfs wanneer waarneembare variabelen geen gesloten systeem vormen (door degeneratie), de onderliggende Lie-Poisson structuur een exacte reconstructie van de volledige dynamica mogelijk maakt met enkel waarneembare gegevens en de bekende symmetriegroep.
Robuustheid: De methode is robuust tegen ruis en vereist slechts bescheiden datasets en lichtgewicht neurale netwerkarchitecturen.
Beperkingen: De auteur merkt op dat de methode ervan uitgaat dat de symmetriegroep $G$ vooraf bekend is. Het behandelt momenteel geen symmetrie-brekende kostenfuncties (waar de reductie incompleet is) of algemene Poisson-manifolds die de specifieke coadjoint reconstructieformule missen.

Samenvattend stelt het artikel vast dat door de geometrische beperkingen van Lie-Poisson systemen (specifiek Noether-invarianten en coadjoint acties) direct in de leerarchitectuur in te bedden, men een nauwkeurige, langetermijnvoorspelling kan bereiken van complexe dynamische systemen die anders onbereikbaar zijn voor standaard datagestuurde methoden.