Learning Complex Physical Regimes via Coverage-oriented Uncertainty Quantification: An application to the Critical Heat Flux

Dit artikel toont aan dat coverage-gerichte onzekerheidskwantificatie, in tegenstelling tot post-hoc methoden, de representatie van complexe fysische regimes in het Critical Heat Flux-probleem effectief verbetert door onzekerheid als een actief onderdeel van het leerproces te integreren.

De kern

Titel: Hoe AI leert om "onwetendheid" te omarmen in plaats van te negeren

Stel je voor dat je een jonge kok bent die probeert het perfecte recept voor een complexe soep te bedenken. Je hebt duizenden oude recepten (data) van verschillende chefs. Maar er is een probleem: sommige chefs koken in een rustige keuken, anderen in een stormachtige tent, en de ingrediënten variëren enorm.

In de wereld van wetenschappelijke kunstmatige intelligentie (AI) proberen we vaak een model te bouwen dat deze "soep" (in dit geval: Kritische Warmtestroom, oftewel wanneer een reactor te heet wordt) voorspelt.

Het probleem met traditionele AI is dat het vaak doet alsof de wereld simpel is. Het zegt: "Ik denk dat de temperatuur 100 graden is, met een foutmarge van 5 graden." Maar in de echte wereld, vooral bij complexe fysica, is die foutmarge niet altijd 5 graden. Soms is het 1 graad, en soms (in gevaarlijke situaties) 50 graden. Als je AI dit niet begrijpt, kan het gevaarlijk zijn: het kan te zelfverzekerd zijn op momenten dat het eigenlijk zou moeten twijfelen.

Deze paper van Michele Cazzola en zijn team uit Frankrijk lost dit op door een nieuwe manier te introduceren om AI te trainen. Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. Het Probleem: De "Statische" AI

Stel je voor dat je een auto bouwt die alleen maar reageert op de snelheid. Als je 50 km/u rijdt, zegt de auto: "Ik heb remafstand nodig." Maar hij weet niet dat als het regent (een andere "regime"), hij veel verder moet remmen.
De oude AI-methoden (zoals Conformal Prediction) werken als een nabewerker. Ze kijken eerst naar de voorspelling van de auto, en zeggen daarna: "Oh, het regent misschien, laten we de remafstand maar met 20% vergroten."
Dit is veilig, maar de auto heeft de les niet echt geleerd. Hij begrijpt nog steeds niet waarom het gevaarlijk is. Hij blijft een "zwarte doos" die pas achteraf een veiligheidsriem omdoet.

2. De Oplossing: De "Levende" AI

De auteurs zeggen: "Nee, we moeten de AI tijdens het leren dwingen om te begrijpen dat de wereld onzeker is."
Ze gebruiken een methode die we Coverage-oriented Learning noemen.

• De Analogie: In plaats van de AI te laten zeggen "Ik denk dat het 100 graden is", laten we hem zeggen: "Ik denk dat het 100 graden is, en ik ben 95% zeker dat het ergens tussen 90 en 110 ligt. Maar als de druk hoog is, weet ik dat mijn schatting onzekerder is, dus mijn bereik wordt 80 tot 120."

De AI leert niet alleen het antwoord, maar ook hoe zeker hij is. Hij leert dat er verschillende "werelden" (regimes) zijn:

1. De veilige zone: Hier is alles stabiel en voorspelbaar (zoals droog weer).
2. De overgangszone: Hier gebeurt er iets raars (zoals een onweersbui die begint). De onzekerheid loopt hier enorm op.
3. De droge zone: Een andere stabiele fase.

3. De Toepassing: Kritische Warmtestroom (CHF)

In de kernenergie is "Kritische Warmtestroom" (CHF) het punt waarop water stopt met koelen en de reactor kan smelten. Dit is een levensgevaarlijke situatie.
Het fenomeen heeft twee hoofdfases:

• DNB (Nucleaat koken): Water kookt in kleine bubbeltjes. Stabiel.
• Dryout: De wand droogt op. Gevaarlijk.
  Tussen deze twee zit een overgangszone. Dit is waar de meeste onzekerheid zit.

De oude methoden zagen dit als één groot probleem en probeerden één gemiddelde foutmarge te vinden. De nieuwe methode van Cazzola leert de AI om deze overgang te voelen. De AI leert: "Ah, als de uitlaat-kwaliteit (een maatstaf voor stoom) tussen 0,25 en 0,5 ligt, dan ben ik het minst zeker. Mijn 'onzekerheids-bubbel' moet hier groeien."

4. De Resultaten: Waarom is dit beter?

De paper vergelijkt verschillende methoden:

• De "Nabewerker" (Conformal Prediction): Werkt goed voor veiligheid, maar de AI blijft een domme robot die niet begrijpt wat er gebeurt.
• De "Leraar" (End-to-End Learning): Dit is wat de auteurs doen. Ze dwingen de AI om onzekerheid te berekenen terwijl hij het antwoord zoekt.

Het resultaat?
De AI wordt niet alleen accurater, maar hij wordt ook fysiek consistenter. Hij leert de "regels van de natuur" beter begrijpen. Hij weet precies wanneer hij moet twijfelen.

• In de veilige zones is zijn voorspelling scherp en nauwkeurig.
• In de gevaarlijke overgangszones wordt zijn "onzekerheids-bubbel" automatisch groter, wat een waarschuwing is voor de menselijke operator: "Pas op, hier is het onvoorspelbaar!"

Conclusie in één zin

Deze paper laat zien dat we AI niet moeten zien als een rekenmachine die alleen het juiste antwoord zoekt, maar als een student die moet leren weten wanneer hij het niet weet. Door onzekerheid te integreren in het leerproces, bouwen we modellen die niet alleen slimmer zijn, maar ook veiliger en beter begrijpen hoe de fysieke wereld echt werkt.

Het is alsof we de AI van een blind passagier veranderen in een ervaren piloot die de stormen van de data niet alleen overleeft, maar ze ook begrijpt.

Technische samenvatting

Titel: Leren van complexe fysieke regimes via dekking-georiënteerde onzekerheidskwantificatie

Toepassing: Kritieke Warmtestroom (Critical Heat Flux - CHF)

---

1. Het Probleem

In wetenschappelijk machine learning (ML) vormt het modelleren van fysieke systemen met complexe, multi-regime gedragingen een centrale uitdaging. Traditionele ML-methoden focussen vaak op het minimaliseren van een globale foutmeting (zoals MSE), wat onvoldoende is voor systemen waar de data inherent stochastisch is en verschilt per fysiek regime.

• De uitdaging: Bij de voorspelling van de Kritieke Warmtestroom (CHF) in nucleaire reactoren zijn er twee fundamenteel verschillende microscopische regimes: Departure from Nucleate Boiling (DNB) en Dryout. Deze regimes hebben zeer verschillende statistische profielen.
• Het risico: Standaard modellen behandelen variabiliteit vaak als ruis die onderdrukt moet worden. Dit leidt tot modellen die weliswaar nauwkeurig zijn in gemiddelde zin, maar de intrinsieke onzekerheid en overgangen tussen regimes niet correct internaliseren. Dit resulteert in overmoedige voorspellingen in turbulente of instabiele gebieden, wat in veiligheidskritieke toepassingen (zoals nucleaire engineering) onaanvaardbaar is.
• De behoefte: Onzekerheidskwantificatie (UQ) moet niet slechts een post-hoc veiligheidscheck zijn, maar een integraal onderdeel van het leerproces om het model te dwingen de onderliggende fysica te begrijpen.

2. Methodologie

De auteurs gebruiken de dataset van de US Nuclear Regulatory Commission (NRC) als benchmark, die 24.579 experimentele metingen bevat. Na filtering (verwijdering van onbetrouwbare bronnen en data met negatieve onderkoeling) blijft een dataset van 22.872 punten over.

Het onderzoek vergelijkt verschillende benaderingen voor UQ:

1. Basisarchitectuur: Residual Networks (ResNet) voor tabulaire data, gebruikt als surrogate model voor de CHF.
2. Post-hoc Benadering (Conformal Prediction - CP):
   • Vanilla CP: Calibreert een reeds getraind model door een constante foutmarge toe te voegen.
   • Adaptive CP: Gebruikt een scorefunctie gebaseerd op de voorspelde onzekerheid om variabele intervallen te creëren. Dit gebeurt na het trainen van het model.
3. End-to-End Dekking-georiënteerde Benaderingen (Coverage-oriented Learning):
   • Heteroscedastic Regression (HR): Het model leert tijdens het trainen zowel de voorspelling ($\mu$) als de variantie ($\sigma$) (aleatorische onzekerheid) te voorspellen. Dit wordt gedaan via een aangepaste loss-functie (negatieve log-likelihood).
   • Quality-Driven (QD) Learning: Een end-to-end methode waarbij het model asymmetrische boven- en ondergrenzen leert voorspellen. De loss-functie bevat een straffende term die de dekking (coverage) garandeert (bijv. 95% van de waarden moet binnen de grenzen vallen) terwijl de breedte van de intervallen geminimaliseerd wordt.
   • Bayesian Heteroscedastic Regression (BHR): Implementatie van HR met een Bayesiaans Neuraal Netwerk (BNN). Dit maakt het mogelijk om epistemische (model) en aleatorische (data) onzekerheid gescheiden te kwantificeren.

De auteurs testen ook strategieën voor transfer learning (TL) en multi-task learning (MTL) om te zien of het delen van representaties tussen taken (voorspelling + onzekerheid) de prestaties verbetert.

3. Belangrijkste Bijdragen

• Verschuiving van Post-hoc naar End-to-End: Het artikel demonstreert dat het actief integreren van onzekerheidsdoelstellingen in de loss-functie (HR en QD) leidt tot modellen die de fysieke regimes beter internaliseren dan post-hoc kalibratiemethoden (CP).
• Fysieke Consistentie: End-to-end methoden dwingen het model om de heteroscedasticiteit (variërende variantie) van de data te leren. Hierdoor past het model zijn interne representatie aan aan de veranderingen in het fysieke systeem, in plaats van alleen de output te corrigeren.
• Detectie van Regime-overgangen: De methoden kunnen autonoom de overgang tussen het DNB-regime en het Dryout-regime detecteren door een lokale toename van de voorspelde onzekerheid, zonder expliciete supervisie voor deze overgang.
• Eerste toepassing van QD op CHF: Dit is het eerste gevalstudie dat Quality-Driven loss-functies toepast op het CHF-regressieprobleem.

4. Resultaten

De resultaten worden geëvalueerd op basis van voorspellingsnauwkeurigheid (RMSPE) en UQ-metrics (dekking/PICP, informativiteit/INF, en kalibratie/CLB).

• Voorspellingsnauwkeurigheid: Alle modellen (ResNet, HR, QD, BHR) bereiken een RMSPE van ongeveer 10-11%, wat vergelijkbaar is met of beter is dan de huidige state-of-the-art.
• Dekking (Coverage):
  • Adaptive CP levert goede dekking, maar met brede, statische intervallen die niet altijd de fysieke nuances vangen.
  • HR en QD bereiken de doeldekking (95%) en genereren onzekerheidsintervallen die dynamisch reageren op de invoer.
• Fysieke Interpretatie: Alle end-to-end methoden tonen een duidelijke correlatie tussen de uitlaatkwaliteit ($X$) en de breedte van de onzekerheidsintervallen:
  • Bij lage $X$ (DNB-regime): Lage onzekerheid.
  • Bij hoge $X$ (Dryout-regime): Matige onzekerheid.
  • Bij overgangsregime ($X \in [0.25, 0.5]$): Een significante piek in de onzekerheid. Dit bevestigt dat het model de fysieke instabiliteit in dit overgangsgebied correct heeft geleerd.
• Bayesiaanse Analyse (BHR): De analyse toont aan dat de aleatorische onzekerheid (data-ruis) de epistemische onzekerheid (modelonwetendheid) ver overtreft. Dit bevestigt dat de variabiliteit inherent is aan de fysica en niet het gevolg is van een slecht model.
• Trade-off: Er is een duidelijke trade-off tussen informativiteit (smalle intervallen) en kalibratie (betrouwbare dekking). Voor nucleaire veiligheid wordt kalibratie geprioriteerd; end-to-end methoden bieden hierin een betere balans dan post-hoc methoden.

5. Betekenis en Conclusie

De studie concludeert dat onzekerheidskwantificatie in wetenschappelijk ML niet langer slechts een "plug-in" veiligheidscheck mag zijn, maar een actief component van het leerproces moet zijn.

• Van Black-box naar Fysiek-inzichtelijk: Door onzekerheid direct te optimaliseren, wordt het model een "zelf-diagnostisch" hulpmiddel dat fysieke regimes en overgangen kan blootleggen.
• Betrouwbaarheid: End-to-end dekking-georiënteerde methoden (zoals HR en QD) creëren modellen die niet alleen nauwkeuriger zijn, maar ook fysiek consistent en betrouwbaarder in veiligheidskritieke scenario's.
• Toekomstperspectief: Deze aanpak biedt een robuust kader voor het leren van betrouwbare fysiek gedrag uit data, wat essentieel is voor toepassingen waar het begrijpen van de grenzen van kennis net zo belangrijk is als de voorspelling zelf.

Kortom, het artikel bewijst dat het internaliseren van onzekerheid tijdens het trainen leidt tot superieure representaties van complexe fysieke systemen vergeleken met traditionele benaderingen.