Generative diffusion learning for parametric partial differential equations

Titel: Generatieve Diffusieleer voor Parametrische Partiële Differentiaalvergelijkingen

Auteurs: Ting Wang, Petr Plecháč, en Jaroslaw Knap

---

1. Het Probleem

In veel wetenschappelijke en technische toepassingen is het essentieel om modellen te hanteren die afhankelijk zijn van willekeurige invoerparameters. Het oplossen van partiële differentiaalvergelijkingen (PDE's) voor een reeks van deze parameters is vaak computationeel zeer intensief, omdat dit herhaaldelijk oplossen van de onderliggende wiskundige vergelijking vereist.

Bestaande methoden voor "operator learning" (het leren van de afbeelding van invoer naar oplossing) hebben enkele beperkingen:

• Determinisme: De meeste methoden (zoals DeepONets en Fourier Neural Operators - FNO) leren een deterministische operator. Dit betekent dat een specifieke invoer altijd leidt tot één unieke uitvoer. Ze kunnen geen onzekerheid kwantificeren.
• Gevoeligheid voor ruis: Bestaande methoden presteren vaak slecht wanneer de trainingsdata vervuild is door meet- of numerieke ruis.
• Data-intensiteit: Data-gedreven methoden vereisen vaak grote datasets om goede resultaten te behalen.

Het doel van dit onderzoek is het ontwikkelen van een snelle, betrouwbare en probabilistische methode om de oplossingoperator voor parametrische PDE's te leren, inclusief de mogelijkheid om onzekerheid te kwantificeren en te werken met ruisachtige data.

---

2. Methodologie: Probabilistische Diffusie Neuronale Operator (PDNO)

De auteurs introduceren een nieuwe klasse van datagedreven generatieve modellen gebaseerd op Denoising Diffusion Probabilistic Models (DDPM). In plaats van een deterministische operator $S^\dagger: A \to U$ te leren, wordt het probleem geherformuleerd als het leren van een familie van voorwaardelijke verdelingen $p(u|a)$, waarbij $a$ de invoerparameter is en $u$ de PDE-oplossing.

Kernconcepten:

1. Probabilistische Formulering:

   • Het model leert niet alleen de gemiddelde oplossing, maar de volledige verdeling van mogelijke oplossingen gegeven een invoer.
   • Dit is cruciaal voor datasets met ruis ($u_\eta = s(a) + \eta$), waarbij de uitvoer niet langer een Dirac-maat (een punt) is, maar een verdeling.
   • De methode maximaliseert de log-waarschijnlijkheid van de data, wat natuurlijk leidt tot onzekerheidskwantificatie via betrouwbaarheidsintervallen.

2. Generalisatie van DDPM:

   • De standaard DDPM wordt aangepast naar een supervised setting.
   • Forward proces: Een stochastisch differentiaalvergelijking (SDE) wordt gebruikt om de oplossing $u$ geleidelijk te vervuilen met ruis totdat het een standaard normale verdeling is.
   • Reverse proces: Een omgekeerde SDE wordt geleerd om van ruis terug te gaan naar de oplossing. Dit wordt gedaan door een "score function" (de gradiënt van de log-dichtheid) te benaderen met een neurale netwerken ($\Psi_\theta$).
   • Training: Het model wordt getraind door een "Denoising Score Matching" (DSM) doelstelling te minimaliseren. Het neurale netwerk leert de ruis te voorspellen die aan de data is toegevoegd op verschillende tijdstappen.

3. Architectuur:

   • Het model gebruikt een UNet-architectuur als ruggegraad.
   • De invoer bestaat uit de ruisvector en de parameter $a$ (die kanaalsgewijs worden samengevoegd).
   • Het model is ontworpen om zowel in eindig-dimensionale ruimten (gediscretiseerde PDE's) als in theorie in oneindig-dimensionale functionele ruimten te werken.

4. Inferentie:

   • Voor een nieuwe invoer $a$ start het proces met willekeurige ruis (Gaussisch) en doorloopt het iteratief de omgekeerde SDE om een steekproef uit de voorwaardelijke verdeling $p(u|a)$ te genereren.
   • Door meerdere steekproeven te genereren, kunnen statistieken zoals het gemiddelde en de standaardafwijking (onzekerheid) worden berekend.

---

3. Belangrijkste Bijdragen

• Probabilistische Operator Learning: De eerste toepassing van DDPM voor het leren van operators voor parametrische PDE's, waarbij de operator wordt gezien als een familie van voorwaardelijke verdelingen in plaats van een vaste functie.
• Onzekerheidskwantificatie: Het model levert principieel onderbouwde onzekerheidsmetingen (betrouwbaarheidsintervallen) voor de voorspellingen, wat essentieel is voor risicobeheersing in engineering.
• Robuustheid tegen Ruis: De methode is direct toepasbaar op datasets met ruis. Het kan niet alleen de onderliggende oplossing leren, maar ook de grootte en aard van de ruis in de data schatten.
• Uitbreiding naar Functionele Ruimten: De auteurs bieden een theoretische basis voor het uitbreiden van het model naar oneindig-dimensionale ruimten, wat de discretisatie-invariantie (onafhankelijkheid van het rooster) in theorie mogelijk maakt, hoewel de huidige implementatie nog op eindige discretisaties werkt.

---

4. Resultaten en Experimenten

De auteurs evalueren de PDNO (Probabilistic Diffusion Neural Operator) tegen de staat-van-de-kunst FNO (Fourier Neural Operator) op verschillende benchmarks:

1. 1D Elliptische Vergelijking (Gerafelde Data):

   • PDNO leert succesvol zowel het gemiddelde als de standaardafwijking van de oplossing uit datasets met toegevoegde Gaussische ruis (tot 100% ruis).
   • De voorspelde betrouwbaarheidsintervallen komen overeen met de theoretische intervallen.

2. 2D Elliptische Vergelijking (Darcy Flow):

   • Ruisvrije data: PDNO bereikt een lagere relatieve $L_2$-fout (MRLE) dan FNO voor verschillende roostergroottes.
   • Gerafelde data: PDNO kan de verdeling van de ruis (bijv. een mengsel van Gaussische verdelingen) reconstrueren en de onzekerheid van de oplossing kwantificeren.

3. Burgers' Vergelijking:

   • Hier presteert FNO beter dan PDNO. De auteurs stellen dat dit komt door de periodieke randvoorwaarden die FNO goed kan benutten. PDNO levert echter nog steeds acceptabele resultaten.

4. Advectie Vergelijking (Niet-gladde Oplossingen):

   • Dit is een uitdagend geval met zeer niet-gladde (discontinue) oplossingen.
   • PDNO overtreft FNO significant in alle geteste roostergroottes.
   • Het bewijst dat de generatieve aard van DDPM beter in staat is om complexe, niet-gladde verdelingen te modelleren dan deterministische methoden.
   • Zelfs bij datasets met 50% ruis slaagt PDNO erin het onderliggende patroon van de oplossing te herstellen.

---

5. Betekenis en Conclusie

Dit werk markeert een verschuiving in het veld van operator learning van deterministische naar probabilistische generatieve modellen.

• Sterke punten:
  • Vermogen om onzekerheid te kwantificeren (cruciaal voor veiligheidskritische toepassingen).
  • Uitstekende prestaties bij het leren van niet-gladde oplossingen.
  • Robuustheid tegen zeer vervuilde datasets.
• Beperkingen:
  • Snelheid: Inferentie is trager dan bij deterministische modellen omdat het een sequentiële generatieproces vereist (veel stappen), terwijl FNO direct voorspelt.
  • Discretisatie-afhankelijkheid: De huidige implementatie is nog afhankelijk van het trainingsrooster; het leren van een volledig rooster-onafhankelijk model in oneindige dimensies is een toekomstige uitdaging.
  • Parameteraantal: PDNO vereist vaak meer parameters dan FNO.

Conclusie: De PDNO biedt een krachtig alternatief voor traditionele methoden, vooral wanneer onzekerheid, ruis in data of complexe, niet-gladde oplossingen een rol spelen. Het opent de deur voor meer realistische en betrouwbare simulaties in wetenschap en engineering.