Benchmarking machine and deep learning for retrospective multi-horizon prediction of GloFAS-modelled high flows at Hardinge Bridge in Bangladesh

Rivieroverstromingen zijn een onverbiddelijke kracht die landschappen vormgeeft en levens bedreigt, vooral in regio's waar de weerpatronen complex zijn en de gegevens om deze te voorspellen schaars zijn. In plaatsen zoals Bangladesh, waar enorme riviersystemen vanuit verre bergen door meerdere landen stromen voordat ze de zee bereiken, is het voorspellen van wanneer het water gevaarlijk hoog zal stijgen een monumentale uitdaging. Het signaal van een naderende overstroming ligt vaak diep begraven in de weersgeschiedenis van een uitgestrekt stroomgebied stroomopwaarts, waardoor het moeilijk is om te weten of een zware regenbui mijlenver weg zich enkele dagen later zal vertalen in een vloedgolf bij een specifieke brug. Wetenschappers vertrouwen al lang op fysieke modellen die simuleren hoe regen door de bodem en rivieren beweegt, maar deze simulaties zijn niet perfect. In de afgelopen jaren is een nieuwe aanpak naar voren gekomen: het gebruik van kunstmatige intelligentie om patronen te leren van historische gegevens, in de hoop dat een computer subtiele tekenen van een naderende overstroming beter kan herkennen dan traditionele methoden. De vraag die deze nieuwe golf van onderzoek drijft, is of deze geavanceerde deep-learning-systemen, die het vermogen van het menselijk brein om sequenties te verwerken nabootsen, daadwerkelijk een echt voordeel bieden ten opzien van simpelere, meer gevestigde statistische instrumenten bij het voorspellen van zeldzame, hoge waterstanden.

Een team van onderzoekers zette zich af om deze vraag te beantwoorden bij de Hardinge Bridge, een cruciaal punt op de Ganges terwijl deze Bangladesh binnenkomt. Ze probeerden niet de werkelijke overstromingsschade of waterstanden te voorspellen die gemeten worden met fysieke peilschalen, die in deze regio vaak niet beschikbaar of onbetrouwbaar zijn. In plaats daarvan concentreerden zij zich op een digitale simulatie van de rivierafvoer gegenereerd door een globaal systeem dat bekend staat als het Global Flood Awareness System, of GloFAS. Dit systeem gebruikt weergegevens om te modelleren hoeveel water er op elk gegeven moment in de rivier zou moeten stromen. De onderzoekers beschouwden deze gesimuleerde afvoer als hun doelwit, waarbij ze vroegen of machine learning kon voorspellen wanneer dit gemodelleerde waterniveau een hoge drempelwaarde zou overschrijden, specifiek de bovenste vijf procent van de over een periode van drieënveertig jaar geregistreerde afvoerwaarden. Ze verzamelden dagelijkse weergegevens, inclusief temperatuur, bodemvocht en neerslag, uit twee verschillende publieke bronnen die de jaren 1981 tot 2023 beslaan. Vervolgens voedden ze deze informatie aan een verscheidenheid aan computermodellen, variërend van eenvoudige statistische methoden tot complexe neurale netwerken die ontworpen zijn om gebeurtenissen uit het verleden te onthouden, om te zien welk model het beste de hoge waterstanden één, drie, vijf of zeven dagen van tevoren kon voorspellen.

De resultaten van dit experiment onthulden een verrassende waarheid over de kracht van complexiteit. De meest geavanceerde deep-learningmodellen, die complexe architecturen bevatten die in staat zijn om langetermijn-afhankelijkheden in tijdreeksgegevens te leren, presteerden niet beter dan een veel eenvoudigere methode die bekend staat als een random forest. Deze eenvoudigere aanpak, die werkt door een enorme collectie beslissingsbomen op te bouwen die over de uitkomst stemmen, bood consequent de meest nauwkeurige rangschikking van welke dagen hoge waterstanden zouden zien. Hoewel de deep-learningmodellen soms competitief waren, waren ze ook minder stabiel; hun prestaties varieerden aanzienlijk afhankelijk van hoe ze werden geïnitialiseerd, terwijl het eenvoudigere model stabiel bleef. De studie vond dat de krachtigste voorspeller van een toekomstige overstroming niet een complex algoritme was, maar de huidige staat van de rivier zelf. Als de rivier al hoog is, is het zeer waarschijnlijk dat deze de volgende dag ook hoog blijft. Nogzegender was de bevinding dat het kennen van het huidige afvoerniveau van de rivier de voorspellingen veel meer verbeterde dan het toevoegen van meer complexe lagen aan het neurale netwerk. Toen de onderzoekers de gesimuleerde afvoer van de huidige dag aan de inputgegevens toevoegden, sprong de nauwkeurigheid van alle modellen dramatisch omhoog, wat bewees dat de initiële conditie van de rivier het meest kritieke stuk informatie is, wat de voordelen van architecturale verfijning ver overtreft.

De onderzoekers ontdekten ook dat hoewel deze geleerde modellen soms een eerder waarschuwing konden bieden dan simpelweg aannemen dat de rivier op zijn huidige niveau zal blijven, deze vroege waarschuwing gepaard ging met een aanzienlijke kostprijs. De modellen waren geneigd tot valse alarmen, waarbij ze hoge waterstanden voorspelden die niet arriveerden. In de specifieke testperiode, die acht afzonderlijke overstromingsgebeurtenissen omvatte, detecteerden de modellen de meeste van deze gebeurtenissen, maar genereerden ze ook een groot aantal onjuiste waarschuwingen. Deze afruil benadrukt een cruciaal onderscheid in de voorspelling: een model kan heel goed zijn in het rangschikken van dagen van meest waarschijnlijk naar minst waarschijnlijk om te overstromen, maar kan nog steeds onbetrouwbaar zijn wanneer het gaat om het geven van een specifieke waarschijnlijkheid of het beslissen van exact wanneer een alarm moet klinken. De studie toonde aan dat de deep-learningmodellen niet inherent superieur waren; sterker nog, hun toegevoegde complexiteit compenseerde niet voor de beperkte hoeveelheid historische overstromingsgegevens die beschikbaar is voor een enkele locatie. De eenvoudigere modellen, gecombineerd met een duidelijk begrip van de huidige staat van de rivier, bleken robuuster en consistenter.

Uiteindelijk dient dit werk als een rigoureuze benchmark in plaats van een definitieve oplossing voor overstromingswaarschuwingen. De onderzoekers merkten er zorgvuldig bij op dat hun resultaten van toepassing zijn op een gesimuleerde rivierafvoer, en niet op de werkelijke fysieke waterstanden of de schade die zij kunnen veroorzaken. Omdat de weergegevens die gebruikt zijn om de modellen te trainen en de rivierafvoer die ze probeerden te voorspellen uit dezelfde familie van atmosferische modellen komen, meet de studie hoe goed deze systemen met elkaar overeenstemmen, in plaats van hoe goed ze de werkelijkheid voorspellen. De bevindingen suggereren dat voor dit specifieke probleem, op deze specifieke locatie, de sleutel tot betere voorspellingen niet ligt in het bouwen van grotere, complexere neurale netwerken, maar in het verzamelen van betere, onafhankelijke gegevens over de werkelijke staat van de rivier en de weerpatronen stroomopwaarts. De studie concludeert dat hoewel kunstmatige intelligentie grote belofte inhoudt, de toepassing ervan in de hydrologie een zorgvuldige balans vereist tussen modelcomplexiteit en de kwaliteit van de informatie die erin wordt gevoed. Totdat er meer onafhankelijke gegevens beschikbaar komt, blijft de meest betrouwbare aanpak een combinatie van eenvoudige, bewezen statistische methoden en een diep begrip van het huidige gedrag van de rivier.