Invariant Manifolds of Discrete-time Dynamical Systems with Nonlinear Exosystems via Hybrid Physics-Informed Neural Networks

Technische Samenvatting: Invariante Variëteiten van Discrete-Tijds Dynamische Systemen met Niet-lineaire Exosystemen via Hybride Physics-Informed Neural Networks

Probleemstelling
Het artikel adresseert de uitdaging om invariante variëteiten (IV's) te benaderen voor discrete-tijds dynamische systemen die worden aangedreven door exogene autonome dynamica (exosystemen). Dergelijke hiërarchische of gekoppelde systemen komen veel voor in de regeltheorie (bijvoorbeeld niet-lineaire outputregeling) en modellering van collectief gedrag (bijvoorbeeld leider-volger-dynamica in verkeer, vogeltrek en viszwermen). Hoewel IV's een rigoureus kader bieden voor dimensiereductie en stabiliteitsanalyse, blijft hun berekening in discrete-tijdsomstandigheden moeilijk. Traditionele methoden, zoals lokale machtreeksontwikkelingen (PSE), lijden onder de "vloek van de dimensionaliteit" met betrekking tot de combinatorische groei van coëfficiënten en worden beperkt door de convergentiestraal, waardoor ze vaak falen op grote afstand van het evenwichtspunt. Daarentegen kunnen puur datagedreven of physics-informed neural network (PINN) benaderingen, hoewel schaalbaar, de interpretatie en snelle lokale convergentie-eigenschappen van reeksontwikkelingen nabij evenwichtspunten missen.

Methodologie
De auteurs stellen een hybride physics-informed machine learning-kader voor dat multivariate polynoomreeksen en ondiepe neurale netwerken (NN's) op een synergetische manier combineert om de functionele relatie $x = \pi(y)$ die de IV definieert, te benaderen.

1. Wiskundige Formulering: Het probleem wordt gesteld als het oplossen van een systeem van niet-lineaire functionele vergelijkingen (NFE's) afgeleid uit de invariantievoorwaarde:
   $$\pi(Ay + g(y)) = B\pi(y) + Cy + f(\pi(y), y)$$
   waarbij $y$ de toestand van het exosysteem voorstelt en $x$ de aangedreven toestand.

2. Hybride Architectuur: De benadering $\tilde{\pi}_{HxS}(y)$ wordt geconstrueerd als een stuksgewijze functie:

   • Binnen een hyperrechthoek $D$ (gecentreerd rond het evenwichtspunt): Een polynoomreeks (Power, Legendre of Chebyshev) wordt gebruikt om geometrische/exponentiële convergentie-eigenschappen nabij het evenwichtspunt te benutten.
   • Buiten $D$: Een feedforward neurale netwerk met één laag (SLFNN) wordt ingezet om universele benaderingscapaciteiten te benutten in gebieden waar polynoomreeksen kunnen divergeren of waar de convergentiestraal wordt overschreden.
   • Continuïteit: Een Heaviside-gebaseerde schakelfunctie zorgt voor $C^0$-continuïteit aan de grens $\partial D$, afgedwongen via een continuïteitstransformatie in de verliesfunctie.

3. Optimalisatie: De leertaak wordt geformuleerd als een physics-informed optimalisatieprobleem dat een samengestelde verliesfunctie minimaliseert, bestaande uit:

   • NFE-residuen: Het afdwingen van de invariantievergelijking op collocatiepunten.
   • Evenwichtsbeperking: Zorgen dat de variëteit door het evenwichtspunt gaat.
   • Continuïteitsbeperking: Het afstemmen van polynoom- en NN-uitkomsten aan de grens.

   De optimalisatie wordt opgelost met het Levenberg–Marquardt (LM) algoritme. Cruciaal leiden de auteurs analytische uitdrukkingen af voor alle afgeleiden van de residuen met betrekking tot de polynoomcoëfficiënten en NN-parameters, met het argument dat deze aanpak superieure betrouwbaarheid en efficiëntie biedt ten opzichte van eindige differenties of automatische differentiatie, met name voor stijve systemen.

4. Theoretische Grondslagen: Het artikel stelt een universeel benaderingstheorema op voor het zelfstandige NN-component onder specifieke aannames (Barron-regulariteit van de IV, Lipschitz-continuïteit van de systeemdynamica en een begrenste compositie van de maat met betrekking tot het exosysteem). Het theorema garandeert een $L^2$-convergentiesnelheid van $O(L^{-1/2})$ met betrekking tot de netwerkbreedte $L$.

Belangrijkste Bijdragen

• Hybride Systeem: Introductie van een nieuw hybride architectuur die de interpreteerbaarheid en lokale convergentie van polynoomreeksen integreert met de globale benaderingskracht van neurale netwerken voor discrete-tijds IV's.
• Analytische Afgeleiden: Afleiding van gesloten-formule analytische afgeleiden voor de residuen van het hybride systeem, wat robuuste LM-optimalisatie faciliteert.
• Theoretische Garanties: Vestiging van een universeel benaderingstheorema en convergentiesnelheden voor het NN-component toegepast op discrete-tijds invariantievergelijkingen.
• Benchmarking: Omvangrijke numerieke evaluatie waarbij het hybride systeem wordt vergeleken met zelfstandige PINN's en traditionele PSE's.

Resultaten
Het kader werd geëvalueerd op twee benchmarkvoorbeelden:

1. Enzymatische Bioreactor (1D aangedreven, 1D exosysteem): Het hybride systeem (met behulp van Power-, Legendre- of Chebyshev-reeksen) bereikte gemiddelde relatieve $L^2$-fouten in de orde van $10^{-5}$, wat aanzienlijk beter was dan de zelfstandige PSE (fouten $\sim 10^{-3}$) en iets beter dan de zelfstandige PINN. De hybride aanpak toonde hoge nauwkeurigheid nabij het evenwichtspunt (door het polynoomcomponent) en behield nauwkeurigheid op grote afstand daarvan (door het NN-component).
2. Auto-volgend Model (20D aangedreven, 2D exosysteem): In dit hoger-dimensionale geval presteerde het hybride systeem opnieuw beter dan de PSE (fouten $\sim 10^{-2}$) en toonde het iets betere globale nauwkeurigheid dan de zelfstandige PINN (fouten $\sim 10^{-3}$). Het hybride systeem generaliseerde succesvol naar de 20-dimensionale variëteit, waarbij een homogene foutverdeling over het domein werd behouden.

Een aanvullend validatiegeval met een bekende analytische IV ($x = \ln(1+y)$) bevestigde dat terwijl pure polynoomontwikkelingen falen buiten hun convergentiestraal, het hybride systeem nauwkeurigheid behoudt over het hele domein, met prestaties die verbeteren naarmate de polynoomgraad toeneemt.

Betekenis en Claims
Het artikel claimt dat het voorgestelde hybride physics-informed systeem een comparatief voordeel biedt ten opzichte van zelfstandige polynoomontwikkelingen en zelfstandige neurale netwerken. Specifiek:

• Het overwint de lokaliteitsbeperking van polynoomreeksen, die falen buiten hun convergentiestraal.
• Het verbetert zelfstandige PINN's door gebruik te maken van de snelle convergentie van polynomen nabij het evenwichtspunt, wat resulteert in hogere numerieke nauwkeurigheid in dat gebied.
• Het biedt een één-staps, plug-and-play oplossing die de complexiteit van het lineariseren van het probleem of het gebruik van meerstapsprocedures, die vaak door traditionele methoden worden vereist, vermijdt.

De auteurs merken bescheiden op dat hoewel de methode zeer effectief is voor laag- tot medium-dimensionale variëteiten (waar polynoomcomplexiteit hanteerbaar blijft), de combinatorische groei van coëfficiënten een knelpunt blijft voor zeer hoge dimensies. Zij suggereren dat voor dergelijke gevallen een zelfstandige PINN-benadering geschikter kan zijn. Het artikel sluit af met het identificeren van toekomstige werkrichtingen, waaronder de rigoureuze analyse van de convergentie-eigenschappen van het hybride systeem en de incorporatie van parsimonieuze tensor-productbasissen.