Uncertainty-aware data assimilation through variational inference

Deze paper introduceert een variational inference-gebaseerde uitbreiding voor data-assimilatie die onzekerheid modelleert via een multivariate Gaussische verdeling en, zoals getest op de chaotische Lorenz-96 dynamiek, leidt tot perfect gekalibreerde voorspellingen en betere prestaties bij langere assimilatievensters.

De kern

Samenvatting: Hoe we een slimme "gokker" hebben gebouwd die beter voorspelt dan een simpele schatting

Stel je voor dat je probeert het weer te voorspellen, maar je hebt slechts een paar kapotte thermometers en een onvolledige windmeter. Je weet hoe het weer werkt (de natuurwetten), maar je ziet niet alles. Dit noemen wetenschappers data-assimilatie: het samenvoegen van een model van hoe iets werkt met de ruwe, onvolledige metingen die je hebt, om te raden wat er echt gebeurt.

Het probleem is dat metingen altijd fouten bevatten. De meeste computerprogramma's die dit doen, geven je één enkel antwoord: "Het is morgen 20 graden." Maar dat is gevaarlijk, want het zegt niets over hoe zeker ze zijn. Is het 20 graden met 99% zekerheid, of is het een gok van 50/50?

In dit paper bouwen de auteurs een nieuwe, slimme versie van zo'n programma. In plaats van één getal te geven, geeft hun systeem een waaier aan mogelijkheden (een kansverdeling). Ze noemen dit "onzekerheidsbewuste" voorspelling.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Gokker" die leert zonder antwoorden

Stel je voor dat je een student wilt leren om een auto te besturen, maar je hebt geen rijinstructeur die de juiste handelingen laat zien. Je hebt alleen een camera die soms wazig is en soms uitvalt.

• De oude methode: De student probeert de weg te raden op basis van de wazige beelden, maar leert alleen de "beste" route. Als hij fout zit, weet hij niet dat hij onzeker was.
• De nieuwe methode (Variational Inference): De student leert niet alleen waar de weg is, maar ook hoe onzeker hij is. Hij zegt: "Ik denk dat de weg hier is, maar ik heb 30% kans dat ik het mis heb."

De auteurs gebruiken een kunstmatige intelligentie (een neurale net) die dit leert zonder dat ze de "juiste antwoorden" (de echte staat van het systeem) hebben. Ze kijken alleen naar de ruwe, onvolledige data en leren het model om zichzelf consistent te houden.

2. De "Lorenz-96" Proefkeuken

Om dit te testen, gebruikten ze een bekend wiskundig spelletje genaamd Lorenz-96.

• De analogie: Denk aan een lange rij van 40 bollen die aan elkaar hangen en trillen. Als je aan één bol duwt, bewegen de buren ook. Het is een chaotisch systeem: een kleine duw vandaag kan morgen een enorme storm veroorzaken (het vlinder-effect).
• Het experiment: Ze bedekten 75% van de bollen met een doek (dat zijn de "ontbrekende metingen") en gaven de overige bollen een beetje ruis (dat zijn de "fouten in de metingen").
• Het resultaat: Hun nieuwe model kon de beweging van de bollen veel beter voorspellen dan de oude methoden. Maar het belangrijkste: het wist precies hoe zeker het was. Als het model onzeker was, gaf het een brede waaier van mogelijkheden. Als het zeker was, gaf het een smalle waaier. Dit noemen ze gekalibreerde onzekerheid.

3. Twee manieren om te winnen

De auteurs toonden twee manieren aan waarop hun nieuwe model nuttig is:

• Manier A: De snelle schatting (Directe voorspelling)
  Stel je hebt een snelheidsmeter die direct een schatting geeft. De oude methoden gaven een snelheid, maar wisten niet of ze betrouwbaar waren. Het nieuwe model geeft een snelheid plus een "zekerheidsmarge". Als de marge groot is, weet de bestuurder: "Pas op, ik weet het niet zeker." Dit bleek veel nauwkeuriger te zijn dan simpele methoden, vooral als er veel data beschikbaar was.

• Manier B: De krachtige combinatie (4D-Var)
  Dit is het meest interessante deel. Stel je voor dat je een lange video hebt van de bollen, maar de camera is vaak kapot.

  • Je kunt de video proberen te reconstrueren door alleen naar de stukjes te kijken die je hebt (dat is duur en lastig).
  • De truc: Gebruik eerst het snelle, nieuwe model om een startpunt te vinden. Zeg tegen de dure, precieze computer: "Hé, begin hier, want ik denk dat de bollen hier zijn, en hier is mijn onzekerheid."
  • De dure computer gebruikt die startpositie als een "anker" om de hele video te reconstrueren.
  • Het resultaat: Door het snelle model als startpunt te gebruiken, werd de uiteindelijke reconstructie veel beter, vooral bij lange video's. Het nieuwe model fungeerde als een slimme gids die de dure computer de goede kant op stuurde.

Waarom is dit belangrijk?

In de echte wereld (weervoorspelling, oceanografie, klimaatmodellen) is het cruciaal om niet alleen te weten wat er gaat gebeuren, maar ook hoe zeker we zijn.

• Als een model zegt: "Het regent morgen," is dat goed.
• Maar als het zegt: "Het regent morgen, en ik ben 90% zeker," is dat nog beter.
• Als het zegt: "Het regent morgen, maar ik ben 50% zeker, dus neem een paraplu mee," is dat het allerbeste voor beslissingen.

De auteurs tonen aan dat je met hun nieuwe methode (Variational Inference) niet alleen betere voorspellingen krijgt, maar ook een systeem dat eerlijk is over wat het wel en niet weet. Ze hebben hun code zelfs openbaar gemaakt, zodat anderen dit kunnen gebruiken om hun eigen modellen slimmer te maken.

Kortom: Ze hebben een slimme "gokker" gebouwd die niet alleen de juiste antwoorden vindt, maar ook eerlijk is over hoe hard hij moet gokken. En als je die gokker gebruikt als startpunt voor een supercomputer, krijg je de beste resultaten die mogelijk zijn.

Technische samenvatting

Probleemstelling

In veel geowetenschappelijke toepassingen is de dynamiek van een systeem (bijvoorbeeld meteorologische modellen) bekend via een differentiaalvergelijking, maar is de volledige toestand ($x_t$) niet direct meetbaar. Er zijn slechts gedeeltelijke, ruisbehaftede observaties ($y_t$) beschikbaar. Data-assimilatie probeert de toestand van het systeem te schatten door deze observaties te combineren met het dynamische model.

Het centrale probleem in bestaande machine learning-benaderingen voor data-assimilatie is dat ze vaak deterministisch zijn. Ze voorspellen slechts één "meest waarschijnlijke" toestand (de maximum a posteriori schatting) zonder de onzekerheid in die schatting te kwantificeren. Dit maakt het moeilijk om te beoordelen hoe betrouwbaar een voorspelling is, wat essentieel is voor risicomanagement en voor het optimaliseren van langere assimilatievensters in geavanceerde methoden zoals 4D-Var.

Methodologie

De auteurs bouwen voort op een eerdere, deterministische machine learning-methode genaamd CODA (Combined Optimization of Dynamics and Assimilation). Ze introduceren een nieuwe, variational inference-gebaseerde versie die onzekerheid expliciet modelleert.

1. Stochastische CODA:

   • In plaats van een enkel punt als output te geven, levert het neurale netwerk $G_\theta$ de parameters van een multivariate Gaussische verdeling op: een gemiddelde vector ($\mu_t$) en een standaarddeviatie-vector ($\sigma_t$).
   • De auteurs kiezen voor een diagonale covariantiematrix om de rekentijd en complexiteit beheersbaar te houden, hoewel dit een beperking is voor het modelleren van correlaties tussen variabelen.

2. Trainingsverlies (Loss Function):

   • Het trainingsdoel is een aanpassing van de oorspronkelijke CODA-loss. De loss bestaat uit twee delen:
     • Observatiefout: De gemiddelde fout tussen de voorspelde toestand (na simulatie van de dynamica) en de werkelijke observaties.
     • Regularisatie (Entropy-term): Een term die de Kullback-Leibler-divergentie benadert tussen de voorspelde verdeling na $h$ tijdstappen en de verdeling die het netwerk op dat toekomstige tijdstip voorspelt.
   • Cruciaal is de toevoeging van een term die de entropie van de voorspelde verdeling bestraft. Zonder deze term zou het model de varianties naar nul laten zakken (deterministisch gedrag). De hyperparameter $\lambda$ reguleert de balans tussen nauwkeurigheid en de breedte van de onzekerheidsschatting.

3. Integratie in 4D-Var:

   • De getrainde stochastische CODA-modellen worden gebruikt als een prior (voorafgaande kennis) in een klassiek weak-constraint 4D-Var assimilatieproces.
   • Hierbij worden zowel de gemiddelde voorspelling ($\mu$) als de onzekerheid ($\sigma$) gebruikt om de kostenfunctie van het 4D-Var-proces te definiëren. Dit gebeurt via een "background prior" (aan het begin van het venster) en een "foreground prior" (aan het einde), wat ongebruikelijk is in standaard 4D-Var.

Belangrijkste Bijdragen

• Onzekerheidsbewuste Data-assimilatie: De eerste toepassing van variational inference op de CODA-architectuur, waardoor het mogelijk wordt om niet alleen de toestand, maar ook de bijbehorende onzekerheid te leren uit ruwe observaties zonder toegang tot de "ground truth" (onzupervised learning).
• Calibratie van Onzekerheid: Het ontwikkelen van een trainingsstrategie die leidt tot goed gekalibreerde voorspellingen, waarbij de geschatte spreiding (spread) overeenkomt met de werkelijke fout (skill).
• Hybride Aanpak: Het demonstreren dat een snelle, voorgetrainde neurale netwerk-schatting kan dienen als een krachtige startwaarde en prior voor zwaardere, klassieke variational data-assimilatie methoden (4D-Var), waardoor de prestaties op lange vensters aanzienlijk verbeteren.

Resultaten

De methoden zijn getest op het chaotische Lorenz-96 systeem met verschillende datasetgroottes (klein, medium, groot).

• Prestatie van Stochastische Modellen:

  • De variational CODA-methode levert de beste Continuous Ranked Probability Score (CRPS) op grote datasets.
  • Kalibratie: De "spread-skill" ratio (SSRAT) van de variational methode komt zeer dicht bij 1 (ideaal), wat aangeeft dat de onzekerheidsschattingen perfect gekalibreerd zijn. In vergelijking hiermee tonen methoden met "Dropout" of "Ensembling" vaak onder- of oververtrouwen (afwijkende SSRAT).
  • De methode presteert het beste op grote datasets; op zeer kleine datasets presteert een enkelvoudig dropout-model soms beter vanwege regularisatie-effecten.

• Impact op 4D-Var:

  • Wanneer de stochastische CODA wordt gebruikt als initialisatie en prior voor 4D-Var, neemt de Mean Squared Error (MSE) aanzienlijk af in vergelijking met traditionele initialisatie (bijv. dichtstbijzijnde observatie).
  • Het gebruik van zowel de background prior (gemiddelde + variantie) als de foreground prior leidt tot de beste resultaten, vooral bij langere assimilatievensters.
  • De onzekerheidsschattingen van CODA zijn nuttig: het 4D-Var-proces gebruikt deze informatie om de oplossing te verfijnen, wat resulteert in een veel nauwkeurigere reconstructie van de toestand dan CODA alleen of 4D-Var zonder CODA-prior.

Betekenis en Toekomstperspectief

Dit werk toont aan dat het mogelijk is om onzekerheidsbewuste data-assimilatie te realiseren met ongesuperviseerd leren, wat een belangrijke stap is naar robuustere voorspellingen in geowetenschappen. De hybride aanpak, waarbij een snelle ML-methode wordt gecombineerd met een klassieke fysiek-gebaseerde optimizer, biedt een veelbelovende route om de voordelen van beide werelden te benutten: snelheid en schaalbaarheid van ML, met de nauwkeurigheid en fysieke consistentie van 4D-Var.

De auteurs benadrukken echter dat de huidige experimenten beperkt zijn tot het vereenvoudigde Lorenz-96-systeem. Toekomstig werk moet zich richten op het toepassen van deze methoden op operationele systemen met grotere schaal, heterogene waarnemingen en complexere achtergrondverdelingen, waarbij de dynamiek mogelijk niet volledig bekend is.