Technische Samenvatting: Schaalbare Onzekerheidskwantificatie voor Extreme Weersvoorspellingen via Empirische Neural Tangent Kernels

1. Probleemstelling

Deep learning weermodellen (bijv. FourCastNetV2, Pangu-Weather, Aurora, AIFS) hebben een nauwkeurigheid bereikt die vergelijkbaar is met traditionele numerieke weersvoorspellingssystemen (NWP), terwijl ze orders van grootte sneller opereren. Deze modellen produceren echter voornamelijk deterministische puntvoorspellingen die ontbreken aan gekalibreerde onzekerheidsschattingen. Dit gat is cruciaal voor besluitvorming met hoge inzet tijdens extreme weereventen (bijv. tropische cyclonen, overstromingen), waarbij het begrijpen van de betrouwbaarheid van een voorspelling even belangrijk is als de voorspelling zelf.

Bestaande methoden voor onzekerheidskwantificatie (Uncertainty Quantification, UQ) stuiten op aanzienlijke barrières bij toepassing op miljardenparameters tellende foundation models:

• Deep Ensembles: Computationeel onhaalbaar vanwege de noodzaak om meerdere kopieën van massieve modellen te trainen.
• Bayesiaanse Methoden: Vereisen architecturale aanpassingen en brengen aanzienlijke geheugen- en rekenoverhead met zich mee.
• Conformal Prediction: Biedt distributievrije dekkinggaranties, maar produceert uniforme intervalbreedtes die niet correleren met werkelijke voorspellingsfouten of de ernst van gebeurtenissen, waardoor het niet in staat is om extreme gebeurtenissen van routinecondities te onderscheiden.

Dit artikel adresseert de behoefte aan een schaalbare, post-hoc UQ-methode die geen hertraining vereist, werkt met pre-trained checkpoints en adaptieve onzekerheidsintervallen produceert die schalen met de ernst van een gebeurtenis.

2. Methodologie: NTK-UQ Framework

Het voorgestelde framework, Neural Tangent Kernel-gebaseerde Onzekerheidskwantificatie (NTK-UQ), beschouwt de last-layer features van een bevroren pre-trained weermodel als een empirische Neural Tangent Kernel (NTK). Onder de last-layer NTK–Gaussian Process (GP) correspondentie wordt het model beschouwd als een GP waarbij de kernel wordt gedefinieerd door de geleerde feature-representaties.

De methodologie bestaat uit drie fasen:

2.1 Last-Layer Feature Extractie

Voor een pre-trained model $f_\theta = g_\psi \circ \phi_\omega$ extraheert de methode de last-layer features $\phi(x)$ die zijn geleerd van decennia aan ERA5-reanalysegegevens. Deze features coderen fysisch betekenisvolle atmosferische structuren. Voor ruimtelijke feature maps wordt multi-statistische aggregatie (gemiddelde, standaarddeviatie, min, max, percentielen) gebruikt om fixed-dimensionale feature vectoren te creëren, ongeacht de ruimtelijke resolutie.

2.2 Kernel Decompositie en GP Posterior Constructie

De empirische kernel $K(x, x') = \phi(x)^\top \phi(x')$ wordt geconstrueerd. Om de GP posterior variantie computationeel hanteerbaar te maken voor grote kalibratiesets, wordt de gecentreerde feature matrix gedecomposeerd. Het artikel vergelijkt twee decompositiestrategieën:

• Singular Value Decomposition (SVD): Legt orthogonale richtingen van maximale variantie vast (tweede-orde statistieken).
• Independent Component Analysis (ICA): Maakt gebruik van hogere-orde statistieken (kurtosis, negentropie) om statistisch onafhankelijke bronnen te isoleren.

De voorspellende variantie $\sigma^2(x^*)$ wordt berekend met de GP posterior formule:
$$\sigma^2(x^*) = K(x^*, x^*) + \sigma_n^2 - k_*^\top (K + \sigma_n^2 I)^{-1} k_*$$
waarbij de correctieterm afhankelijk is van de gelijkenis van de testinput met de kalibratiedistributie in de feature-ruimte.

2.3 Decompositie Selectieregel

Het artikel stelt een datagedreven regel voor (Algoritme 1) om te kiezen tussen SVD en ICA op basis van de eigenspectrum concentratieratio ($\rho = \lambda_1 / \sum \lambda_j$):

• Geconcentreerd Spectrum ($\rho > 0.8$): Typisch voor spectrale operatoren (bijv. SFNO). SVD is de voorkeur met agressieve rank-truncatie ($k \le 10$) om variantie-instorting te voorkomen.
• Gedistribueerd Spectrum ($\rho < 0.5$): Typisch voor attention-gebaseerde of graph-gebaseerde modellen. ICA is de voorkeur om de niet-Gaussiaanse, heavy-tailed structuren te exploiteren die inherent zijn aan extreem weer.
• Intermediair: Beide methoden worden geëvalueerd op een validatiesplit.

2.4 Post-Hoc Kalibratie

Ruwe NTK-onzekerheden worden geschaald via een per-variabele, per-lead-time factor $\alpha$ (geleerd via binary search) om een beoogd dekkingsniveau (bijv. 90%) te bereiken. Dit zorgt ervoor dat de voorspellingsintervallen gekalibreerd zijn aan de grondwaarheid.

3. Theoretische Inzichten

Het artikel biedt een theoretische analyse die verklaart waarom de kwaliteit van UQ architectuurafhankelijk is:

• Variantie-instorting (Proposition 1): Als de truncatie-rank $k$ de effectieve rank van de feature-ruimte nadert, consumeert de GP-correctieterm bijna alle prior-variantie. Dit vernietigt het onderscheidingsvermogen tussen extreme gebeurtenissen en routinecondities. Het artikel stelt een diagnostisch criterium vast, $R_k = C_k/P < 0.9$, om deze instorting te voorkomen, waarbij wordt opgemerkt dat architecturen met geconcentreerde spectra agressieve truncatie vereisen.
• Niet-Gaussiaanse Discriminatie (Proposition 2): Extreme weereventen vertonen heavy-tailed, niet-Gaussiaanse distributies. Terwijl SVD alleen tweede-orde variantie vastlegt, exploiteert ICA hogere-orde statistieken (kurtosis) om zeldzame extreme-event signaturen te isoleren. Dit stelt ICA in staat om adaptieve onzekerheidsschattingen te produceren die schalen met de ernst van het event, een capaciteit die SVD mist voor heavy-tailed features.

4. Experimentele Resultaten

Het framework werd geëvalueerd op vier diverse AI-weermodellen (FourCastNetV2, Pangu-Weather, Aurora, AIFS) met behulp van 100 extreme weereventen uit de EM-DAT database (2021), inclusclusief tropische cyclonen, overstromingen en hittegolven.

• Dekking: Alle modellen bereikten de beoogde 90% dekking (89–91%) na post-hoc scaling.
• Decompositie Prestaties:
  • ICA bereikte de juiste dekking en een lagere CRPS (Continuous Ranked Probability Score) voor drie modellen (AIFS, Aurora, FourCastNetV2). Het produceerde adaptieve intervallen met een hoge coefficient of variation (CV = 0.07–1.81), waardoor het succesvol tropische cyclonen van routineus weer kon onderscheiden.
  • SVD slaagde er niet in om dekking te bereiken voor Aurora (58.1%) en produceerde meer uniforme intervallen (CV = 0.01–0.49) die er niet in slaagden de ernst van gebeurtenissen te onderscheiden.
  • Pangu-Weather was een uitzondering waarbij SVD aan de dekking voldeed terwijl ICA faalde, hoewel beide numerieke instabiliteiten vertoonden.
• Vergelijking met Conformal Prediction: NTK-UQ (met de optimale decompositie per model) bereikte 31–37% scherpere voorspellingsintervallen bij 90% dekking vergeleken met split conformal prediction. Cruciaal is dat, in tegen tegenstelling tot conformal prediction dat uniforme intervallen produceert door constructie, NTK-UQ adaptieve intervallen produceert die schalen met de ernst van het weerevent.
• Ruimtelijke Onzekerheid: Voor modellen met ruimtelijk opgeloste features (bijv. AIFS), maakte ICA ruimtelijk variërende onzekerheidskaarten mogelijk die correleerden met concentraties in voorspellingsfouten, wat gerichte waarschuwingen mogelijk maakt.

5. Betekenis en Claims

Het artikel claimt de volgende betekenis:

1. Schaalbaarheid: NTK-UQ vereist geen hertraining van het model of architecturale wijzigingen, waardoor het toepasbaar is op elk pre-trained deterministisch checkpoint. Inferentie voegt minimale overhead toe (een enkele matrix-vector vermenigvuldiging).
2. Adaptieve Discriminatie: In tegen tegenstelling tot conformal prediction produceert NTK-UQ onzekerheidsintervallen die zich aanpassen aan de ernst van het weerevent, wat een bruikbaar onderscheid biedt tussen routineus en extreem weer.
3. Architectuur-bewust Ontwerp: Dit werk stelt vast dat de kwaliteit van UQ niet universeel is, maar afhangt van de interactie tussen de neurale architectuur (eigenspectrum eigenschappen) en de decompositie methode. Het biedt een voorspellende diagnose (eigenspectrum concentratie) om de juiste UQ-strategie te selecteren zonder uitputtend experimenteren.
4. Operationele Bruikbaarheid: Het framework stelt weeragentschappen met beperkte middelen in staat om gekalibreerde onzekerheidsschattingen toe te voegen aan bestaande high-performance modellen, waardoor de drempel voor betrouwbare voorspellingen voor rampenbestrijding wordt verlaagd.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van benaderingen (de last-layer NTK-GP correspondentie houdt strikt genomen alleen stand bij oneindige breedte) en het feit dat de evaluatie beperkt is tot een enkel out-of-distribution jaar (2021). Echter, de empirische resultaten valideren de theoretische voorspellingen consistent over diverse architecturen heen.