Uncertainty Quantification in PINNs for Turbulent Flows: Bayesian Inference and Repulsive Ensembles

Deze studie ontwikkelt en evalueert probabilistische uitbreidingen van Physics-Informed Neural Networks (PINNs), waaronder Bayesiaanse benaderingen en repulsieve ensemble-methoden, om betrouwbare onzekerheidskwantificering te bieden voor inverse problemen in turbulente stromingen.

De kern

De Kunst van het Voorspellen met een Zekere Onzekerheid: Hoe AI Turbulente Stromingen Begrijpt

Stel je voor dat je een enorme, chaotische rivier probeert te begrijpen. Het water stroomt, draait en vormt wervelingen op een manier die bijna onmogelijk te voorspellen is. In de echte wereld gebruiken ingenieurs computersimulaties om dit na te bootsen, maar deze berekeningen zijn vaak duur en niet altijd perfect.

Deze paper beschrijft een slimme manier om kunstmatige intelligentie (AI) te gebruiken om deze stromingen te begrijpen, zelfs als we maar heel weinig metingen hebben. Maar hier is het belangrijkste: de auteurs willen niet alleen een antwoord geven, ze willen ook weten hoe zeker ze dat antwoord zijn.

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Gok" van de AI

Stel je voor dat je een raadsel moet oplossen, maar je hebt maar een paar stukjes van de puzzel. Een gewone AI (een "deterministische" AI) zou proberen die puzzelstukjes zo goed mogelijk in te vullen en je een enkel antwoord geven. Ze zou zeggen: "Het water stroomt hier met snelheid X."

Maar wat als die AI zich vergist? Omdat ze maar weinig data heeft, zou ze misschien een heel verkeerd antwoord geven, maar ze zou het net zo zeker lijken als een antwoord dat op 100% data is gebaseerd. In de echte wereld (bijvoorbeeld bij het ontwerpen van een vliegtuig of een schip) is dat gevaarlijk. Je wilt weten: "Is dit antwoord betrouwbaar, of is het gewoon een gok?"

Deze paper lost dat op door AI-modellen te maken die niet alleen antwoorden geven, maar ook een "zekerheidsmeter" bijhouden.

2. De Drie Methodes: Drie Manieren om te Gissen

De auteurs hebben drie verschillende manieren getest om deze "zekerheidsmeter" te bouwen. Ze vergelijken ze met drie verschillende teams van experts die een raadsel oplossen.

A. De Bayesianse AI (De "Voorzichtige Statistiek")

• De Analogie: Stel je een team van één super-intelligente expert voor die duizenden verschillende scenario's in zijn hoofd doordacht. Hij zegt niet: "Het is X", maar: "Ik denk dat het X is, maar het zou ook Y kunnen zijn, en hier is de kansverdeling."
• Hoe het werkt: Deze methode (Bayesian PINN) gebruikt wiskunde om duizenden mogelijke oplossingen te "proeven" en te kijken welke het beste passen bij de wetten van de natuurkunde en de meetdata.
• Het Resultaat: Dit is de meest betrouwbare methode. De AI geeft heel eerlijk aan waar ze het zeker weet en waar ze twijfelt. Het is als een ervaren meteoroloog die zegt: "Het regent, maar er is 10% kans dat het droog blijft."

B. De "Repulsive" Ensembles (De "Meerstemmige Koor")

• De Analogie: Stel je een koor van 10 zangers voor. Als ze allemaal precies hetzelfde zingen (wat vaak gebeurt als ze alleen naar hetzelfde liedje luisteren), hoor je maar één stem. Dat is saai en gevaarlijk als er een fout in het liedje zit.
• De Oplossing: De auteurs hebben een trucje bedacht: ze dwingen de zangers om anders te zingen. Ze noemen dit "repulsie" (afstoting). Ze zeggen tegen de zangers: "Jullie moeten allemaal een beetje anders klinken, anders krijg je een boete!"
• Hoe het werkt: Ze trainen 10 verschillende AI's. Normaal gesproken zouden ze allemaal naar hetzelfde antwoord neigen. Maar door ze te dwingen om verschillend te zijn (in hun "gedachten" of in hun "antwoorden"), krijgen ze een breed scala aan mogelijke oplossingen.
• Het Resultaat: Dit is sneller en goedkoper dan de eerste methode. Voor de hoofdonderdelen (zoals de snelheid van het water) werkt het heel goed. Maar voor de moeilijkste, meest complexe onderdelen (zoals de wervelingen zelf) is het iets minder precies dan de Bayesianse methode.

C. De "Dropout" AI (De "Willekeurige Vergetelheid")

• De Analogie: Stel je een student voor die een tentamen doet. Normaal doet hij alles perfect. Maar voor deze methode laten we hem tijdens het studeren en tijdens het examen soms willekeurig een paar hersencellen "uitschakelen" (zoals een lichte vorm van vergetelheid).
• Hoe het werkt: Door dit herhaaldelijk te doen, krijgt de AI een idee van hoe onzeker ze is.
• Het Resultaat: Dit werkt, maar het is vaak te conservatief. De AI zegt vaak: "Ik weet het niet zeker," zelfs als ze het eigenlijk wel weet. Het is als een student die altijd zegt: "Ik heb geen idee," uit angst om fouten te maken.

3. De Test: De Cilinder in de Rivier

De auteurs hebben hun methodes getest op een klassiek probleem: water dat om een cilinder stroomt (zoals een paal in een rivier).

• Scenario 1: Ze hadden perfecte, gedetailleerde data (als een supercomputer).
• Scenario 2: Ze hadden alleen ruwe, experimentele data (zoals echte metingen in een lab, met ruis en fouten).

Wat bleek?

1. De Bayesianse AI was de winnaar. Ze gaf overal het meest eerlijke en nauwkeurige antwoord, inclusief de moeilijkste delen van de stroming.
2. De Repulsive Ensembles (de koor-methode) deden het verrassend goed voor de hoofdonderdelen en waren veel sneller. Maar bij de allercomplexeste details (de wervelingen) was hun "zekerheidsmeter" soms wat minder betrouwbaar.
3. De willekeurige methodes (zonder de "afstotende" truc) faalden volledig. Ze gaven aan dat ze het antwoord wisten, terwijl ze eigenlijk allemaal op hetzelfde, soms verkeerde, antwoord uitkwamen.

4. De Grote Les

De belangrijkste boodschap van dit onderzoek is: Onzekerheid meten is net zo belangrijk als het antwoord zelf.

Als je AI gebruikt om kritieke dingen te ontwerpen (zoals vliegtuigen of windturbines), wil je niet alleen weten wat er gebeurt, maar ook hoe zeker de AI daarover is.

• Wil je de meest betrouwbare zekerheid? Kies de Bayesianse methode (maar het kost meer rekenkracht).
• Wil je snelheid en toch een redelijke schatting? Kies de "Repulsive Ensemble" methode, maar zorg dat je de AI's dwingt om verschillend te denken.

Kortom: De auteurs hebben een toolkit gebouwd waarmee AI niet alleen slim is, maar ook nederig genoeg om toe te geven wanneer ze het misschien niet weet. En dat is precies wat we nodig hebben voor veilige, betrouwbare technologie.

Technische samenvatting

Titel: Onzekerheidskwantificering in PINNs voor Turbulente Stromingen: Bayesiaanse Inferentie en Repulsieve Ensembles

Auteurs: Khemraj Shukla, Zongren Zou, Theo Kaeufer, Michael Triantafyllou, George Em Karniadakis.
Affiliaties: Brown University, Caltech, MIT.

---

1. Probleemstelling

De Reynolds-gegemiddelde Navier-Stokes (RANS) vergelijkingen zijn de industriële standaard voor het modelleren van turbulente stromingen vanwege hun efficiëntie. Echter, het oplossen van RANS vergelijkingen introduceert een fundamenteel "sluitingsprobleem" (closure problem) door de modellering van de Reynolds-spanningstensor. Traditionele methoden leiden vaak tot aanzienlijke onnauwkeurigheden bij complexe stromingen (bijv. met sterke afscheiding).

Recent zijn Physics-Informed Neural Networks (PINNs) gebruikt om inverse problemen op te lossen, waarbij stromingsvelden worden gereconstrueerd uit schaarse data. Een kritieke beperking van bestaande PINN-formuleringen is dat ze deterministisch zijn. Ze bieden geen betrouwbare kwantificering van epistemische onzekerheid (onzekerheid door gebrek aan kennis/data). Voor slecht gestelde (ill-posed) inverse problemen, zoals het afleiden van Reynolds-spanningen uit beperkte metingen, is het essentieel om te weten waar het model betrouwbaar is en waar het voornamelijk op de inductieve bias van het netwerk leunt. Zonder onzekerheidsmaten is het onmogelijk om onderscheid te maken tussen goed geconstrueerde voorspellingen en die gedreven door het model zelf.

2. Methodologie

De auteurs ontwikkelen en evalueren drie probabilistische extensies van PINNs om onzekerheid te kwantificeren in turbulente modellering:

A. Bayesiaanse PINNs (BPINNs)

• Concept: Plaatsing van a-priori verdelingen op de netwerkgewichten en gebruik van Bayes' stelling om een a-posteriori verdeling te verkrijgen.
• Sampling: Gebruik van Hamiltonian Monte Carlo (HMC) met de No-U-Turn Sampler (NUTS) voor asymptotisch exacte steekproeven.
• Tempered Likelihood: Om het "cold posterior"-effect en oververtrouwen te voorkomen bij overparametrische netwerken, wordt een getemperde likelihood gebruikt. De effectieve steekproefgrootte wordt verlaagd ($N^\beta$) met verschillende exponenten ($\beta$) voor:
  • Snelheidsdata (hoogst betrouwbaar, $\beta_d = 0.70$).
  • Reynolds-spanningsdata (moderaten, $\beta_f = 0.60$).
  • Fysica-residuen (laagst betrouwbaar vanwege modelfouten, $\beta_r = 0.50$).
• Post-hoc Recalibratie: Een schalingsfactor wordt toegepast om de globale schaal van de onzekerheid aan te passen zodat de empirische dekking overeenkomt met de nominale 95%.

B. MC Dropout PINNs

• Concept: Dropout wordt tijdens de inferentie actief gehouden en geïnterpreteerd als een benadering van variatie-inferentie.
• Beperking: Hoewel computatie-efficiënt, is de expressiviteit van de variatie-familie beperkt, wat vaak leidt tot onbetrouwbare onzekerheidsschattingen in gebieden met weinig data.

C. Repulsieve Diepe Ensembles (RDE-PINNs)

• Concept: Een ensemble van $M$ onafhankelijk getrainde netwerken, maar met een extra repulsieve term in de loss-functie om te voorkomen dat ze naar dezelfde oplossing convergeren (ensemble collapse).
• Variaties:
  1. Parameter-ruimte: Repulsie gebaseerd op de afstand tussen gewichtsvector ($\theta_i - \theta_j$).
  2. Functie-ruimte: Repulsie gebaseerd op de afstand tussen de voorspelde uitkomsten ($f_{\theta_i}(x) - f_{\theta_j}(x)$).
• Voordeel: Functie-ruimte repulsie zorgt voor diversiteit in de daadwerkelijke voorspellingen, wat cruciaal is voor fysiek betekenisvolle onzekerheid.

3. Belangrijkste Bijdragen

1. Framework voor UQ in PINNs: Een systematische vergelijking van BPINN, MC Dropout en Repulsieve Ensembles voor het oplossen van inverse RANS-problemen.
2. Functie-ruimte Repulsie: Introductie en validatie van repulsie in de functie-ruimte (in plaats van alleen parameter-ruimte) voor PINNs, wat leidt tot betere diversiteit en onzekerheidskalibratie.
3. Tempering en Recalibratie: Een verbeterde BPINN-methode met getemperde multi-component likelihood en post-hoc recalibratie om de onzekerheidsschattingen in slecht gestelde scenario's betrouwbaar te maken.
4. Uitgebreide Validatie: Toepassing op een hiërarchie van testcases:
   • Van der Pol-oscillator (pedagogisch voorbeeld).
   • Stroming om een cilinder bij $Re = 3.900$ (DNS-data).
   • Stroming om een cilinder bij $Re = 10.000$ (experimentele PIV-data).

4. Resultaten

Van der Pol Oscillator

• BPINN: Leverde de meest betrouwbare en goed gekalibreerde onzekerheidsschattingen (empirische dekking dicht bij 95%).
• Functie-ruimte RDE: Biedt een goede computatie-efficiënte benadering met goed gekalibreerde onzekerheid.
• Parameter-ruimte RDE & MC Dropout: Presteerden slechter; parameter-ruimte repulsie leidde tot onderschatting van onzekerheid, en MC Dropout was te conservatief.
• Vanilla Ensemble: Zonder repulsie stortte het ensemble volledig in (alle leden gaven dezelfde voorspelling), wat resulteerde in een onzin onzekerheid (0% dekking).

Turbulente Stroming om een Cilinder ($Re = 3.900$ en $10.000$)

• Voorspellende Nauwkeurigheid: Alle methoden (behalve MC Dropout) konden de gemiddelde snelheid en druk nauwkeurig reconstrueren, zelfs zonder directe drukdata.
• Onzekerheidskalibratie:
  • BPINN: Biedt de meest consistente en goed gekalibreerde onzekerheid voor alle variabelen, inclusief de moeilijk te voorspellen Reynolds-spanningen (closure terms). Na recalibratie werd de dekking van 95% bereikt.
  • Functie-ruimte RDE: Leverde uitstekende nauwkeurigheid voor primaire variabelen (snelheid, druk) met redelijke kalibratie. Echter, voor de Reynolds-spanning (closure terms) was de onzekerheidsschatting minder betrouwbaar (ondervertrouwd), hoewel het veel beter was dan een standaard ensemble.
  • Standaard Ensemble: Zonder repulsie faalde volledig bij het kwantificeren van onzekerheid voor de closure terms (dekking zakte tot 1,8% voor $f_y$).
• Drukherstel: Beide methoden (BPINN en RDE) konden de drukvelden reconstrueren puur op basis van de fysica-vergelijkingen, zonder directe drukmetingen, met een onzekerheidsmaat die de lokale fouten weerspiegelde.

5. Betekenis en Conclusie

Dit werk biedt praktische richtlijnen voor onzekerheidskwantificering in data-gedreven turbulente modellering:

1. Voor maximale betrouwbaarheid: Bayesian PINNs met getemperde likelihood en recalibratie zijn de superieure keuze, vooral voor slecht gestelde inverse problemen en wanneer nauwkeurige onzekerheidskalibratie voor alle afgeleide grootheden (zoals Reynolds-spanningen) cruciaal is.
2. Voor computatie-efficiëntie: Functie-ruimte Repulsieve Ensembles bieden een zeer efficiënt alternatief met sterke voorspellende nauwkeurigheid voor primaire stromingsvariabelen. Ze zijn echter minder betrouwbaar in het kalibreren van onzekerheid voor complexe closure-termen.
3. Aanbeveling: Parameter-ruimte repulsie en MC Dropout worden afgeraden voor complexe, slecht gestelde RANS-inverse problemen vanwege hun onvermogen om voldoende diversiteit en kalibratie te garanderen.

De studie benadrukt dat het handhaven van diversiteit in de functie-ruimte (in plaats van alleen in de parameter-ruimte) essentieel is voor het voorkomen van ensemble-collapse en het verkrijgen van fysiek betekenisvolle onzekerheidsschattingen in wetenschappelijk machine learning.