Latent representation learning based model correction and uncertainty quantification for PDEs

Probleemstelling

In wetenschappelijk rekenen en engineering zijn partiële differentiaalvergelijkingen (PDE's) essentieel voor het modelleren van fysische systemen. In de praktijk zijn deze modellen echter vaak onnauwkeurig vanwege vereenvoudigde aannames, beperkte observaties of onbekende fysische processen. Dit leidt tot modelvormfouten (model-form errors) en misspecificatie van de operatoren.

Bestaande correctiemethoden in het machine learning-domein werken vaak in de parameter-ruimte (bijv. via ensemble-methoden of Bayesiaanse inferentie). Deze benaderingen hebben twee grote nadelen:

1. Ze zijn computatieel zeer intensief (vaak vereist ze herhaaldelijk hertrainen of sampling).
2. Ze hebben moeite om de onzekerheid te kwantificeren die voortkomt uit de misspecificatie van de differentiaaloperator zelf, wat kan leiden tot voorspellingen met een verkeerde betrouwbaarheid (miscalibratie).

Het doel van dit onderzoek is een efficiëntere methode te ontwikkelen die zowel de oplossing van de PDE corrigeert als de onzekerheid hierin nauwkeurig kwantificeert, zonder de hoge kosten van traditionele Bayesiaanse methoden.

Methodologie: LVM-GP Modelcorrectie

De auteurs stellen een nieuw raamwerk voor dat voortbouwt op hun eerdere LVM-GP (Latent Variable Model - Gaussian Process) solver. De kern van de methode is het leren van een gedeelde, vertrouwensbewuste latente representatie die zowel de oplossing als de correctie stuurt.

De architectuur bestaat uit de volgende componenten:

1. Vertrouwensbewuste Encoder (Confidence-Aware Encoder):

   • Deze module bouwt een stochastische latente variabele $z_1(x, \omega)$ op.
   • De variabele is een interpolatie tussen een deterministische kenmerkmap $\bar{z}(x)$ en een Gaussisch Proces (GP) prior $z_0(x, \omega)$.
   • Een leerbare vertrouwensfunctie $m(x)$ (waarbij $m \in [0,1]$) bepaalt de weging tussen deterministische informatie en stochastische onzekerheid. Dit zorgt ervoor dat het model de epistemische onzekerheid (onwetendheid over het model) kan balanceren met de beschikbare data.

2. Gedeelde Latente Ruimte:

   • In tegenstelling tot eerdere methoden die onafhankelijke onzekerheden voor oplossing en correctie modelleren, gebruiken ze hier dezelfde latente variabele $z_1$ voor beide taken.
   • Dit zorgt voor een coherente propagatie van onzekerheid: als het model onzeker is over de fysische wetten, wordt deze onzekerheid consistent doorgegeven aan zowel de voorspelde oplossing als de correctieterm.

3. Twee Probabilistische Decoders:

   • Oplossingsdecoder: Voorspelt de verdeling van de oplossing $u(x)$ en de randvoorwaarden, gekoppeld aan de latente variabele.
   • Correctiedecoder: Ingevoerd om de modelvormfout te compenseren. In plaats van de operator volledig opnieuw te leren, wordt een correctieoperator $S_\psi$ toegevoegd aan de misspecificeerde operator $\tilde{N}_x$.
   • De verwachte forcing-term wordt dan: $\mu_f = \tilde{N}_x[\mu_u] + S_\psi(z_1)$. De correctie $S_\psi$ is dus een functie van de gedeelde latente representatie, niet van een aparte bron van willekeur.

4. Leringsdoel en Regularisatie:

   • Het model wordt getraind door de log-likelihood van de waarnemingen (oplossing, forcing, randvoorwaarden) te maximaliseren, waarbij de PDE-residuen als zachte constraints worden opgelegd.
   • Een latente regularisatie-term (gebaseerd op de KL-divergentie) wordt toegevoegd om te voorkomen dat de latente ruimte degenereren of overfitten. Dit zorgt voor een stabielere training en robuustheid.
   • Het totale verlies is: $\mathcal{L} = \mathcal{L}_{data} - \beta \mathcal{L}_{reg}$.

Belangrijkste Bijdragen

1. Gedeelde Latente Representatie voor Correctie: De introductie van een raamwerk waarin oplossing en correctie een gemeenschappelijke stochastische latente veld delen. Dit garandeert consistente onzekerheidspropagatie over alle grootheden van belang.
2. Gezamenlijke Leringsstrategie: Een methode waarbij PDE-informatie direct in de data-likelihood wordt ingebed. Oplossing en correctie worden gelijktijdig geleerd uit één gekoppeld doel, zonder noodzaak voor posterior-sampling of herhaaldelijk hertrainen.
3. Efficiëntie en Robuustheid: De methode biedt een alternatief voor dure ensemble-methoden (zoals Ensemble PINNs of B-PINNs) met vergelijkbare nauwkeurigheid, maar met een aanzienlijk lagere rekenkost.
4. Validatie op Diverse Problemen: Het raamwerk is getest op een ODE-systeem, een reactie-diffusievergelijking en 2D niet-Newtonse stromingen (kanaal- en holtestroming), waarbij het presteert onder ruis en modelmisspecificatie.

Resultaten

De numerieke experimenten tonen de volgende resultaten:

• Nauwkeurigheid: In scenario's met misspecificeerde fysica (bijv. een verkeerde reactieterm in een ODE of een verkeerde viscositeitswet in stromingen) verbetert de voorgestelde methode de voorspellingsnauwkeurigheid aanzienlijk ten opzichte van een standaard LVM-GP zonder correctie. De resultaten zijn vergelijkbaar met die van Ensemble PINNs en B-PINNs.
• Onzekerheidskwalificatie (UQ): Het model levert gecalibreerde onzekerheidsschattingen. Waar een misspecificeerd model zonder correctie onbetrouwbare voorspellingen geeft met te kleine onzekerheidsintervallen, breidt het gecorrigeerde model de onzekerheidsbanden uit waar nodig (bijv. in gebieden waar het modelvormfouten heeft). De werkelijke waarden vallen binnen de voorspelde $\pm 2$ standaarddeviatie-intervallen.
• Robuustheid: De methode presteert goed in aanwezigheid van ruis in de data en bij schaarse observaties.
• Vergelijking: In de 2D holtestroming (cavity flow) bereikte de methode een relatieve $L_2$-fout voor de snelheid $u$ van 0.0096, wat beter was dan de misspecificeerde LVM-GP (0.0981) en vergelijkbaar met Ensemble PINNs (0.0131).

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een brug slaat tussen modelcorrectie en onzekerheidskwalificatie in een efficiënt, niet-Bayesiaans (in de zin van geen sampling) raamwerk. Het lost het probleem op dat traditionele correctiemethoden vaak "blind" zijn voor de onzekerheid die door de correctie zelf wordt geïntroduceerd.

Door de correctie te koppelen aan een gedeelde latente ruimte, kunnen onderzoekers nu niet alleen een betere oplossing vinden voor imperfecte fysische modellen, maar ook betrouwbaar zeggen hoe onzeker die oplossing is. Dit is cruciaal voor veiligheidskritische toepassingen in engineering en wetenschap.

Toekomstig werk richt zich op het verbeteren van de expressiviteit en trainings-efficiëntie van de correctienetwerken, evenals het toepassen van deze methode op bredere domeinen zoals weersvoorspelling en meervoudige schaalproblemen (multiscale problems).