mLaSDI: Multi-stage latent space dynamics identification

Probleemstelling

Het oplossen van partiële differentiaalvergelijkingen (PDE's) is essentieel in wetenschappelijke disciplines, maar high-fidelity simulaties zijn vaak computationeel te duur. Reduced-order models (ROM's) worden gebruikt om dit probleem op te lossen. Een recente benadering, Latent Space Dynamics Identification (LaSDI), combineert auto-encoders (voor data-compressie) met Sparse Identification of Nonlinear Dynamics (SINDy) om interpreteerbare gewone differentiaalvergelijkingen (ODE's) te leren in een latente ruimte.

Een fundamenteel probleem bij standaard LaSDI is de concurrentie tussen twee doelstellingen:

1. De auto-encoder moet de trainingsdata nauwkeurig reconstrueren.
2. De auto-encoder moet latente trajecten genereren die voldoen aan de opgelegde, vaak gladde (lineaire) ODE-structuur.

Deze tegenstrijdige doelen leiden tot een spectrale bias: neurale netwerken hebben de neiging om lage frequenties te leren, terwijl hoge frequenties worden onderdrukt. Dit resulteert in onnauwkeurige reconstructies en voorspellingen voor complexe systemen met hoge frequenties of fijne schaalstructuren, omdat de auto-encoder gedwongen wordt om gladde trajecten te kiezen ten koste van de reconstructiekwaliteit.

Methodologie: mLaSDI

De auteurs introduceren mLaSDI (Multi-stage Latent Space Dynamics Identification) om deze beperkingen te overwinnen. Het kernidee is het sequentieel trainen van meerdere decoders in verschillende fasen, waarbij elke fase de residuen (fouten) van de vorige fase corrigeert.

Het trainingsproces:

1. Fase 1 (Standaard LaSDI):

   • Een auto-encoder (encoder + decoder) wordt getraind om de data te comprimeren en te reconstrueren.
   • In de latente ruimte worden ODE-coëfficiënten geleerd (via SINDy) die de dynamica beschrijven.
   • De decoder leert een mapping van de latente trajecten naar de oorspronkelijke ruimte.
   • Resultaat: Een basisreconstructie ($\tilde{U}_1$) die de lage-frequentie dynamica goed vastlegt, maar hoge frequenties mist.

2. Fase 2 en verder (Residuleerling):

   • Er wordt een residu berekend tussen de werkelijke data en de reconstructie van Fase 1: $R_1 = U - \tilde{U}_1$.
   • Een nieuwe decoder wordt getraind om deze residuen te leren, gebruikmakend van dezelfde latente trajecten ($\hat{Z}$) uit Fase 1.
   • De nieuwe decoder leert een mapping $G_{dec,2}$ die de residuen reconstrueert.
   • De uiteindelijke reconstructie is de som van de basisreconstructie en de geschaalde residuen: $U \approx \tilde{U}_1 + \epsilon_1 \tilde{U}_2 + \dots$

Technische specificaties:

• Interpretabiliteit behouden: Omdat alle fasen dezelfde latente trajecten ($\hat{Z}$) gebruiken, blijft de dynamica in de latente ruimte interpreteerbaar en consistent.
• Activeringsfuncties: Voor de latere decoders worden sinus-activeringsfuncties (periodieke activering) gebruikt in de eerste laag. Dit helpt het netwerk om hoge frequenties en fijne details in de residuen effectief te leren, wat de spectrale bias van standaard netwerken tegengaat.
• Theoretische garantie: De auteurs bewijzen dat, onder ideale omstandigheden (globale optimalisatie), het toevoegen van een nieuwe fase de trainingsresidu-norm monotoon doet afnemen. Het kan de fout dus nooit vergroten.

Belangrijkste Bijdragen

1. Decoupling van interpretatie en capaciteit: mLaSDI scheidt het leren van interpreteerbare dynamica (Fase 1) van het leren van complexe reconstructies (Fase 2+). Hierdoor wordt de nauwkeurigheid niet langer beperkt door de vereisten voor gladde latente dynamica.
2. Residuleerling met periodieke activering: Het gebruik van sinus-activeringen in de tweede fase stelt het model in staat om hoge-frequentie componenten te recupereren die door de eerste fase werden gemist.
3. Theoretische analyse: Er wordt een foutdecompositie gegeven die de bijdrage van de auto-encoder en de dynamische leerfouten scheidt, en een bewijs dat extra fasen de trainingsfout niet kunnen verhogen.
4. Efficiëntie: Het model vereist minder hyperparameter-tuning en minder trainingsduur dan grote, enkelvoudige LaSDI-modellen om dezelfde nauwkeurigheid te bereiken.

Resultaten

De methode werd getest op drie benchmarkproblemen en vergeleken met standaard GPLaSDI (Gaussian Process-based LaSDI):

1. Multiscale Oscillating System:

   • Een systeem met een lage-frequentie sinusbeweging en een kleine, hoge-frequentie cosinuscomponent.
   • Resultaat: Standaard LaSDI faalde om de hoge frequentie te vangen (fouten 4-20%). mLaSDI verlaagde de fout met een orde van grootte (0,1-3%) en herstelde de hoge-frequentie golf perfect.

2. Unsteady Wake Flow (Navier-Stokes):

   • Simulatie van wervelafgifte achter een cilinder.
   • Resultaat: Hoewel de kwantitatieve verbetering kleiner was (1-3% reductie in relatieve fout), toonde mLaSDI een duidelijke kwalitatieve verbetering. De voorspelde wervels waren minder cirkelvormig en meer uitgerekt (dichter bij de waarheid) en de achtergrondruis was verminderd vergeleken met LaSDI.

3. 1D-1V Vlasov Equation (Plasma-instabiliteit):

   • Een complex plasma-probleem met twee-stromingsinstabiliteit.
   • Resultaat: mLaSDI met kleinere netwerken presteerde beter dan grotere LaSDI-modellen. De mediane fout werd met factoren van 2,5 tot 5,9 verlaagd. De tweede fase bracht de maximale fouten onder de 1% voor veel parameters, wat met één fase niet haalbaar was.

In alle gevallen bereikte mLaSDI hogere nauwkeurigheid in minder trainingtijd en met minder gevoeligheid voor hyperparameters dan de traditionele aanpak.

Betekenis en Conclusie

mLaSDI biedt een elegante oplossing voor het fundamentele compromis in data-gedreven reduced-order modeling tussen interpretbaarheid (gladde dynamica) en reconstructienauwkeurigheid (vermogen om complexe patronen te leren).

• Wetenschappelijke impact: Het maakt het mogelijk om nauwkeurige ROM's te bouwen voor systemen met hoge frequenties of complexe schaalverschillen, waar eerdere methoden faalden.
• Praktische toepassing: Door de modulaire opbouw (sequentiële training) kunnen onderzoekers bestaande LaSDI-implementaties eenvoudig uitbreiden zonder de onderliggende dynamische theorie te wijzigen.
• Toekomstperspectief: Hoewel de huidige versie zich richt op interpolatie binnen het trainingsdomein, legt de basis voor toekomstig werk gericht op het integreren van fysische beperkingen in de latere fasen om extrapolatie en robuustheid tegen ruis te verbeteren.

Kortom, mLaSDI is een doorbraak die de bruikbaarheid van interpreteerbare, data-gedreven modellen voor complexe wetenschappelijke simulaties aanzienlijk vergroot.