Towards accurate extreme event likelihoods from diffusion model climate emulators

Technische Samenvatting: Naar Accurate Waarschijnlijkheidsinschattingen van Extreme Gebeurtenissen uit Diffusiemodelklimaatemulatoren

Probleemstelling
Machine learning (ML) klimaatemulatoren, met name diffusiemodellen zoals Climate in a Bottle (cBottle), bieden kostenefficiënte experimenten voor scenario-planning en adaptatie. Een kerncapaciteit van deze modellen is "geleiding" (guidance), waarbij ze kunnen worden gestuurd om specifieke toestanden van belang te genereren, zoals tropische cyclonen (TC's) op door de gebruiker gedefinieerde locaties. Er bestaat echter een kritieke beperking: hoewel geleide modellen zeldzame extreme gebeurtenissen kunnen oversamplen, informeren ze gebruikers niet inherent over de waarschijnlijkheid van deze gegenereerde steekproeven onder de ware, ongeleide data-verdeling. Zonder deze probabilistische informatie is het moeilijk om onderscheid te maken tussen plausibele extremen en artefacten van het geleidingsproces, wat de bruikbaarheid van deze modellen voor rigoureuze attributie van extreme gebeurtenissen en risicobeoordeling beperkt.

Methodologie
De auteurs stellen een raamwerk voor om accurate schattingen van de kansdichtheid te herstellen voor geleide steekproeven met behulp van het cBottle diffusiemodel. De methodologie steunt op de theoretische basis van Denoising Diffusion Probabilistic Models (DDPM's) en de Probability Flow (PF) Ordinary Differential Equation (ODE).

1. Geleide Steekproefneming: Het cBottle-model, een op diffusie gebaseerde klimaatemulator met een resolutie van 5 km, wordt gekonditioneerd op zeewatertemperaturen (SST's) en de positie van de zon. Om TC's te genereren, wordt een geleidingscomponent van een classifier toegevoegd aan de PF-ODE. De auteurs verfijnen de implementatie van de geleiding door:

   • Een constante geleidingsschaal ($\gamma$) te gebruiken in plaats van de adaptieve schaling die in eerdere werken werd toegepast.
   • Geleiding alleen toe te passen binnen een specifiek "denoising window" (ruisniveaus $\sigma \in [15, 20]$) waar het TC-signaal wordt gegenereerd, in plaats van over de volledige traject. Dit vermeden onwaarschijnlijke divergentiewaarden en verlaagt de computatiekosten.

2. Berekening van de Odds Ratio: Om te kwantificeren hoeveel de geleiding de waarschijnlijkheid van een steekproef verandert, berekenen de auteurs de odds ratio $o(x) = p_{\text{ongeleid}}(x) / p_{\text{geleid}}(x)$.

   • Met behulp van de PF-ODE-formulering berekenen ze de log-kansdichtheid van een steekproef door de divergentie van het snelheidsveld te integreren van de steekproef terug naar de Gaussische prior.
   • De log odds ratio wordt ontbonden in drie termen: het verschil in latente kansen ($\Delta_{\text{latent}}$), het verschil in divergenties van de denoiser-score ($\Delta_{\text{denoiser}}$), en de divergentie van de geleidingscomponent ($\Delta_{\text{guidance}}$).
   • Deze divergenties worden geschat met behulp van de Skilling-Hutchinson trace-schatter met automatische differentiatie.

3. Importance Sampling: De berekende odds ratios worden gebruikt om importance sampling uit te voeren. In plaats van $K$ steekproeven te trekken uit de ongeleide verdeling (wat zelden TC's oplevert), trekken de auteurs steekproeven uit de geleide verdeling en herschalen ze deze met de odds ratio. Dit maakt het mogelijk om de ware waarschijnlijkheid van extreme gebeurtenissen te schatten met een verlaagde standaardfout in vergelijking met eenvoudige Monte Carlo-steekproefneming.

4. ERA5 Waarschijnlijkheidsanalyse: De auteurs passen het ongeleide model ook toe om de waarschijnlijkheid van real-world ERA5-reanalyse-data (specifiek Antarctische temperatuurafwijkingen) te berekenen, om de respons van het model op SST-perturbaties en extreme gebeurtenissen te testen.

Belangrijkste Resultaten

• Optimalisatie van het Geleidingsvenster: De studie toont aan dat geleiding alleen effectief en numeriek stabiel is binnen een smal ruisinterval ($\sigma \approx 15-20$). Het toepassen van geleiding over het volledige traject leidt tot negatieve divergentiewaarden en onwaarschijnlijke steekproeven. Het beperken van geleiding tot dit venster resulteert in stabiele TC-generatie met positieve divergentie.
• Variantie in Odds Ratios: De auteurs observeren dat de variantie van de berekende odds ratios significant toeneemt bij sterkere geleidingssterkte. Hoewel sterke geleiding meer TC's produceert, worden de resulterende gewichten zeer variabel. Bijgevolg worden de meest robuuste importance sampling-schattingen bereikt met zwakkere geleidingsschalen, waarbij herhaalde steekproefneming vereist is om de variantie te verkleinen.
• Accurate Herstelling van Waarschijnlijkheid: Ondanks de variantie slagen de importance sampling-schattingen erin de TC-frequentie van het ongeleide controlemodel accurate te herstellen. Voor extreme drempels (bijvoorbeeld het 99,999e percentiel) bereikt de importance sampling-schatting een lagere onzekerheid dan een standaard Monte Carlo-schatting van het ongeleide model, waarbij effectief steekproefonzekerheid wordt geruild tegen gewichtonzekerheid.
• Vergelijking met ERA5: Bij het vergelijken van de TC-klimatologie van cBottle met historische ERA5-gegevens komen de ruimtelijke patronen goed overeen, hoewel cBottle de absolute frequentie en zekerheid van TC's onderschat. De auteurs merken op dat deze bias inherent is aan de huidige training en architectuur van het model, en niet aan de geleidings- of steekproefnemingmethode.
• Steekproefkansen van ERA5: Voor de hittegolf in Antarctica in maart 2022 wijst het model typische log-kanswaarden toe voor die tijd van het jaar, waarbij een uitgesproken seizoenscyclus wordt getoond (hogere waarschijnlijkheid in de zomer, lager in de winter) in plaats van een directe correlatie met de grootte van de temperatuurafwijking. Het model wijst wel correct hogere kansen toe aan hittegebeurtenissen onder +2K SST-perturbaties in vergelijking met -2K, maar de log-kans dient niet effectief als directe proxy voor de extremiteit van de gebeurtenis zelf.

Betekenis en Aanspraken
Het artikel presenteert "vroege maar bemoedigende resultaten" die aantonen dat diffusiemodelklimaatemulatoren niet alleen synthetische steekproeven van extreme gebeurtenissen kunnen leveren, maar ook accurate probabilistische schattingen van hun waarschijnlijkheden.

• Nieuwheid: Voor zover de auteurs weten, is dit de eerste toepassing van het berekenen van odds ratios als de verhouding van steekproefkansen onder geleide versus ongeleide diffusiemodellen om importance sampling voor klimaatextremen mogelijk te maken.
• Bruikbaarheid: De methode stelt onderzoekers in staat om zeldzame gebeurtenissen (zoals TC's) te oversamplen voor impactstudies, terwijl de statistische striktheid met betrekking tot hun ware optredenswaarschijnlijkheid behouden blijft.
• Beperkingen en Toekomstig Werk: De auteurs zijn bescheiden over de huidige computatiekosten, waarbij ze opmerken dat er een 33-voudige vertraging optreedt voor een enkele geleide steekproef met odds ratio-berekening in vergelijking met ongeleide steekproefneming. Zij suggereren dat toekomstige verbeteringen, zoals modeldistillatie of classifier-free geleiding, deze aanpak kosteneffectiever kunnen maken. Zij benadrukken ook dat de nauwkeurigheid van de waarschijnlijkheden fundamenteel wordt beperkt door de fideliteit van het onderliggende cBottle-model, met name de representatie van TC-sterktes.

Het werk beoogt verdere research te stimuleren naar het extraheren van probabilistische informatie uit diffusiemodellen, en positioneert deze als betrouwbare hulpmiddelen voor klimaatrisicobeoordeling en scenario-planning.