Precipitation nowcasting of satellite data using physically-aligned neural networks

Stel je voor dat je probeert te voorspellen waar een plotselinge, hevige storm het volgende zal toeslaan. Decennialang was de beste manier om dit te doen het gebruik van een enorme, hoogtechnologische radar die werkt als een superkrachtige zaklamp, die de lucht scant om regendruppels in realtime te zien. Maar hier is de crux: deze radars zijn duur, lomp en vereisen perfect onderhoud. In veel delen van de wereld—zoals afgelegen bergen of ontwikkelende steden—is deze "zaklamp" kapot of ontbreekt deze volledig. Zonder deze zaklamp laten mensen in de steek, spelend met de vraag wanneer overstromingen of aardverschuivingen zullen toeslaan.

Welkom in de wereld van "nowcasting", wat gewoon een chique woord is voor het voorspellen van het weer in de zeer nabije toekomst, meestal van een paar minuten tot zes uur vooruit. Hoewel computers ongelooflijk goed zijn geworden in het raden van het weer met behulp van complexe natuurkundige vergelijkingen, worstelen ze vaak met de korte-termijn, chaotische details van een plotselinge regenbui. Onlangs zijn wetenschappers AI gaan gebruiken om te leren van radarbeelden, waarbij ze computers hebben geleerd patronen te herkennen en te voorspellen waar de regen als volgende naartoe gaat. Echter, deze AI-modellen hebben meestal diezelfde dure radargegevens nodig om te leren, waardoor de regio's zonder radar achterblijven. Bovendien zijn deze AI "black boxes" vaak modellen die voorspellingen doen die er oké uitzien, maar de wetten van de fysica niet echt volgen, wat meteorologen nerveus maakt over het vertrouwen erop.

Dit artikel introduceert een nieuwe oplossing genaamd TUPANN (Transferable and Universal Physics-Aligned Nowcasting Network). In plaats van een radar nodig te hebben, leert TUPANN regen te voorspellen met behulp van alleen foto's van weerstations (satellieten), die de hele wereld kunnen zien. De onderzoekers hebben deze AI gebouwd om "fysiek uitgelijnd" te zijn, wat betekent dat ze de AI hebben gedwongen om te leren hoe regen daadwerkelijk beweegt, in plaats van alleen maar te gokken. Ze testten het in vier zeer verschillende plaatsen: het regenwoud van Manaus, de hooggelegen stad La Paz, de kust van Rio de Janeiro en Miami. De resultaten laten zien dat TUPANN zware regen net zo goed, of soms zelfs beter, kan voorspellen dan de meest geavanceerde radar-gebaseerde modellen, zelfs zonder ooit een radarbeeld te hebben gezien. Het suggereert dat we eindelijk nauwkeurige, kortetermijn waarschuwingen voor stormen kunnen geven aan plaatsen die in het donker zijn gelaten, met niets anders dan satellietfoto's en een slimme, natuurkundig bewuste AI.

De Satellietdetective en het Natuurkundige Regelboek

Denk aan de lucht als een gigantische, bewegende film. Wanneer het regent, verschijnen wolken en regendruppels niet zoma van het niets; ze drijven, draaien en veranderen in intensiteit, volgens onzichtbare regels van wind en fysica. Traditionele AI-modellen die proberen deze film te voorspellen, kijken vaak alleen naar de laatste paar frames en gokken wat de volgende scène is. Ze krijgen misschien het algemene idee, maar ze missen vaak de specifieke richting waarin de regen beweegt of hoe snel deze versnelt. Het is alsoals proberen de volgende scène van een film te raden door alleen naar de gezichten van de acteurs te kijken, zonder de plot of de camerabeweging te begrijpen.

De auteurs van dit artikel realiseerden zich dat om een echt goede voorspelling te maken, de AI het verhaal van de storm moet begrijpen, niet alleen de plaatjes. Ze creëerden TUPANN, dat werkt als een detective die de storm opdeelt in drie specifieke aanwijzingen:

1. De Beweging: Waarheen beweegt de regen? (Zoals het volgen van een auto op een snelweg).
2. De Intensiteit: Hoe hard regent het? (Is het een motregen of een stortbui?).
3. De Toekomst: Waar zal die bewegende, intense regen zijn over 10, 30 of 180 minuten?

Om de AI de "Beweging"-aanwijzing te leren, lieten de onderzoekers het niet zomaar gokken. Ze gaven het een "regelboek" gebaseerd op echte natuurkunde. Ze gebruikten een standaard wiskundig instrument genaamd optical flow (wat een computer vision-truc is die meet hoe pixels bewegen tussen twee foto's) om de AI precies te laten zien hoe de regen in het verleden bewoog. De AI moest deze beweging zo nauwkeurig voorspellen dat het overeenkwam met het regelboek. Dit is wat zij "fysiek uitgelijnd" noemen. Het is als het leren rijden aan een student, niet alleen door hem maar te laten ronddwalen, maar door hem eerst een strikte kaart en een maximumsnelheid te geven, zodat hij de verkeersregels leert voordat hij probeert te racen.

Hoe TUPANN werkt: De Drie-Stappen Dans

Het model is gebouwd als een estafette met drie lopers, die elk een specifieke taak hebben:

1. De Decoder (De Observeerder): Eerst kijkt de AI naar een opeenvolging van recente satellietbeelden. Het gebruikt een speciale "variational encoder-decoder" om de bewegings- en intensiteitsvelden te bepalen. Stel je dit voor als een detective die naar een reeks foto's van een storm kijkt en pijlen tekent om aan te geven waar de regen naartoe gaat en hoe zwaar deze is. Omdat ze de AI dwongen om te voldoen aan het "optical flow" regelboek, zijn deze pijlen vloeiend en realistisch, niet wiebelig of vreemd.
2. De Transformer (De Tijdreiziger): Vervolgens neemt de AI die pijlen en gebruikt een "MaxViT" transformer om te voorspellen hoe de storm zich in de loop van de tijd zal ontwikkelen. Dit deel is bijzonder omdat het de huidige staat kan bekijken en kan zeggen: "Oké, als de regen nu deze kant op beweegt, dan is het hier over 10 minuten, 30 minuten of zelfs 3 uur." In tegen afstelling van oudere modellen die stap-voor-stap moesten gokken (wat rommelig en traag wordt), kan dit model in één keer vooruitspringen naar elke gewenste tijd in de toekomst.
3. De Advection Operator (De Projector): Ten slotte neemt de AI zijn voorspelling van waar de regen zou moeten zijn en gebruikt een "differentiable advection operator" om daadwerkelijk het toekomstige beeld te tekenen. Het is alsof je de huidige foto van de regen neemt, deze langs de pijlen schuift die de AI heeft voorspeld, en de nieuwe intensiteitsveranderingen toevoegt om een gloednieuw, toekomstig satellietbeeld te creëren.

De Grote Test: Kan het de echte wereld aan?

De onderzoekers hebben dit niet alleen in een computervisie getest; ze hebben het in de echte wereld geworpen. Ze trainden en testten TUPANN op data van GOES-16, een satelliet die de Amerika's observeert, en IMERG, een wereldwijde satellietdataset. Ze kozen vier steden met totaal verschillende weerkarakteristieken:

• Rio de Janeiro: Kustgebied, tropisch, met zware regen en overstromingen.
• Manaus: Diep in het Amazoneregenwoud, waar het bijna constant regent.
• La Paz: Hoog in de Andes, waar stormen worden gedreven door hoogte.
• Miami: Een subtropische mix van zeebriesjes en onweersbuien.

Ze maten het succes van het model met twee belangrijke scores: CSI (Critical Success Index), die controleert hoe goed het model de regen vond die daadwerkelijk plaatsvond, en HSS (Heidke Skill Score), die de vaardigheid van het model vergelijkt met willekeurig gokken. Ze testten het voor regenintensiteiten variërend van lichte motregen (4 mm/u) tot extreme stortbuien (64 mm/u) en voor tijdperioden van 10 minuten tot 3 uur (180 minuten).

De Resultaten: Slimmer, Sneller en Betrouwbaarder

De bevindingen waren indrukwekkend. TUPANN rangschikte consequent als het beste of tweede beste model in bijna alle steden en bij bijna alle regenintensiteiten.

• Held van de Zware Regen: Het model blonk echt uit bij het voorspellen van zware regen (32 mm/u en 64 mm/u). Terwijl andere modellen moeite hadden met het voorspellen van de gevaarlijkste stormen, bleef TUPANN kalm. Bijvoorbeeld, in Rio de Janeiro behaalde TUPANN een POOL4 CSI-score van 0,090 voor de 64 mm/u drempelwaarde (de hoogste regenintensiteit), waarmee het de op één na beste model, NowcastNet, versloeg die een score van 0,074 behaalde. (Opmerking: De POOL4-score aggregeert voorspellingen over kleine 4x4 pixelblokken, wat een robuuste maatstaf is voor de detectie van zware regen).
• De Fysica-opbrengst: De "fysiek uitgelijnde" aanpak werkte. De bewegingsvelden (de pijlen die de regenrichting aangeven) die TUPANN produceerde, waren vloeiend en kwamen overeen met de echte fysica, terwijl andere AI-modellen rommelige, onrealistische patronen produceerden. Dit maakt de voorspellingen veel betrouwbaarder voor meteorologen.
• Eén Model, Veel Klimaten: De onderzoekers testten of ze één model tegelijk op alle vier de steden konden trainen. Ze ontdekten dat deze "multi-city" versie zelfs beter presteerde dan het trainen van aparte modellen voor elke stad. Dit suggereert dat de AI algemene regels heeft geleerd over hoe stormen werken die overal van toepassing zijn, en niet alleen op één specifieke plek.
• Cross-City Magie: Zelfs toen ze het model alleen op Rio de Janeiro trainden en testten op Miami, presteerde het verrassend goed, vooral voor zware regen. Dit laat zien dat het model "overdraagbaar" is—het kan wat het heeft geleerd in de ene plek toepassen op een andere, wat enorm belangrijk is voor plaatsen waar je niet jaren aan lokale data hebt om op te trainen.

Wat het niet is (en wat volgt)

Het is belangrijk om te vermelden wat dit artikel niet claimt. TUPANN is geen toverstaf die het weer voor altijd perfect voorspelt. Het artikel geeft toe dat naarmate de voorspelling verder in de toekomst ligt (voorbij 2 uur), de nauwkeurigheid natuurlijk afneemt, wat geldt voor alle weer-modellen. Het model is ook afhankelijk van de GOES-16 satelliet, die de Amerika's bestrijkt; om in Azië of Europa te werken, zou het getraind moeten worden op andere satellieten zoals Himawari of Meteosat.

De onderzoekers testten ook het toevoegen van een "GAN" (Generative Adversarial Network) om de beelden scherper en gedetailleerder te maken. Hoewel dit de beelden er "mooier" maakte, verbeterde het de werkelijke voorspellingsscores niet altijd. In sommige gevallen maakte het de scores zelfs iets slechter. Dit suggereert dat het maken van "mooie" beelden minder belangrijk is dan het waarborgen dat de fysica klopt.

Waarom dit ertoe doet

Het meest opwindende deel van dit artikel is het potentieel voor eerlijkheid in weersvoorspelling. Nu, als je in een plaats woont zonder radarnetwerk, krijg je misschien geen waarschuwing voordat een flash flood toeslaat. TUPANN laat zien dat we een systeem kunnen boukken dat overal ter wereld werkt, zolang er een satelliet boven hangt. Omdat het model snel werkt (het duurt minder dan twee seconden om een voorspelling te doen) en op relatief bescheiden computerhardware kan draaien, kan het in realtime worden ingezet om instanties zoals die in Rio de Janeiro te helpen zich voor te bereiden op rampen.

Door de kracht van AI te combineren met de regels van de natuurkunde, suggereren de auteurs dat we bewegen naar een toekomst waarin nauwkeurige, kortetermijn waarschuwingen voor stormen beschikbaar zijn voor iedereen, niet alleen voor degenen die het geluk hebben om onder een radarstraal te leven. Het is een stap naar een wereld waarin de "zaklamp" van weervoorspelling eindelijk wordt aangezet voor de hele wereld.