Technische Samenvatting: OTTER-NYC Dataset voor Dynamiek en Voorspelling van Stedelijke Overstromingsgebeurtenissen

Probleemstelling

Bestaande hydrologische en overstromingsdatasets zijn voornamelijk ontworpen voor analyses op stroomgebied- of wereldwijde schaal, en bieden vaak aanvullende producten zoals overstromingsomvang of debiet in plaats van directe, hoogresolutie observaties. Er bestaat een kritiek gat in datasets die per minuut gemeten waterdiepte-observaties per sensor combineren met neerslag-, terrein- en afwateringsinfrastructuurgegevens op stedelijke schaal.

Huidige datasets kampen doorgaans met:

• Grofgetijdigde Temporele Resolutie: De meeste zijn per uur of grover, waardoor piekopstromingen in waterdiepte die binnen tientallen minuten ontstaan en weer afnemen—een kenmerk van stedelijke flash floods—gemist worden.
• Gebrek aan Multimodaliteit: Ze richten zich vaak op enkelvoudige modaliteiten en falen in het integreren van de complexe topografische en afwateringsinfrastructuurinformatie die de stedelijke piekdiepte en duur sterk beïnvloedt.
• Datakwaliteitsproblemen: IoT-gebaseerde sensornetwerken (zoals FloodNet) bevatten ruis, waaronder communicatieonderbrekingen, fouten in ultrasone metingen en "false-zero" observaties waarbij de waterdiepte als nul wordt geregistreerd ondanks de aanwezigheid van water.
• Klassenonbalans: Niet-overstroomde condities (nul diepte) domineren de datadistributie, wat kan leiden tot bias in deep learning-modellen, waardoor ze overfitten op niet-overstromingspatronen en onderpresteren tijdens werkelijke overstromingsgebeurtenissen.

Methodologie

De auteurs presenteren OTTER-NYC, een hoogwaardige, per minuut resolutie oplopende multimodale dataset voor New York City (NYC). Het constructieproces bestond uit drie hoofdfasen:

1. Datacollectie en Integratie

De dataset integreert vier heterogene databronnen die zijn uitgelijnd met het FloodNet-sensornetwerk (tot 293 sensoren) over een periode van oktober 2020 tot augustus 2025:

• Waterdiepte: Ultrasone sensorobservaties (1-minuut resolutie) van FloodNet.
• Neerslag: Automated Surface Observing System (ASOS) data van vijf nabijgelegen stations, geïnterpoleerd naar sensorlocaties met behulp van Inverse Distance Weighting (IDW).
• Terrein: Van Digital Elevation Model (DEM) afgeleide attributen (hoogte, helling, aspect) met een resolutie van 1 voet.
• Afwateringsinfrastructuur: NYC Citywide Catch Basins (NYC CCB) data, gebruikt om de dichtheid van de opvangbakken en de afstand tot de dichtstbijzijnde bak voor elke sensor te berekenen.

2. Spatiotemporele Preprocessing

• Temporele Uitlijning: Alle dynamische variabelen werden gestandaardiseerd naar een uniform 1-minuut UTC+0 rooster. FloodNet-data werd gehersampled door middel van middeling binnen bins, terwijl ASOS-neerslag werd behandeld als intervalspecifieke waarden.
• Ruimtelijke Uitlijning: Neerslag werd geïnterpoleerd met behulp van Haversine-afstand. Terrein- en infrastructuurvariabelen werden geëxtraheerd of berekend op basis van sensorcoördinaten (getransformeerd naar NY State Plane voor DEM-verwerking).
• Variabele Codering: Statische variabelen (bijv. aspect) werden gecodeerd om circulariteit en ontbrekende waarden op vlak terrein af te handelen.

3. Driefasige Kwaliteitscontrole (QC) Pipeline

Om ruwe, ruizige observaties te transformeren naar een fysisch betekenende gebeurtenisgebaseerde dataset, werd een reproduceerbare driefasige QC-pipeline geïmplementeerd:

• Fase 1 (Segmentextractie): Identificeerde continue segmenten met een waarde groter dan nul. Grens-nulwaarden werden ingevoegd om detectie van false-zero fouten in de volgende fase te vergemakkelijken.
• Fase 2 (Temporele Integratie & Gat-interpolatie): Voegde aangrenzende segmenten samen die gescheiden werden door korte gaten (≤ 1 min) en interpoleerde false-zero waarden binnen segmenten met behulp van tijdgewogen lineaire interpolatie. Dit herstelde de continuïteit van overstromingsgebeurtenissen.
• Fase 3 (Kwaliteitsfiltering & Regenvalvalidatie):
  • Hardware-drempelwaarde: Verwijderde segmenten met waterdieptes die de installatiehoogte van de sensor (3.000 mm) overschreden.
  • Laplace-drempelwaarde: Paste een veranderingssnelheidsfilter toe gebaseerd op een Laplace-distributie gefit aan veranderingen in waterdiepte ($\Delta d$). Segmenten met veranderingen die de $\tau = 87,88$ mm (3,5$\sigma$) overschreden, werden verwijderd om fysisch onwaarschijnlijke pieken te elimineren.
  • Regenvalvalidatie: Behield alleen segmenten waar ten minste één tijdstap met neerslag > 0 voorkwam binnen de 3 uur voorafgaand aan de waterdieptepiek. Dit verzekerde hydrometeorologische plausibiliteit.

Belangrijkste Bijdragen

• OTTER-NYC Dataset: Een multimodale dataset met ongeveer 31.085 geldige stedelijke overstromingsgebeurtenissen verspreid over 264 sensoren, met een temporele resolutie per minuut. Deze bevat dynamische variabelen (waterdiepte, neerslag) en statische variabelen (terrein, afwateringsinfrastructuur).
• Reproduceerbare QC Pipeline: Een driefasige pipeline die effectief sensoruis verwijdert, false-zero observaties corrigeert en niet-fysische signalen filtert, wat resulteert in een dataset met verbeterde signaalstabiliteit en hydrometeorologische plausibiliteit.
• Benchmarking Resultaten: Het artikel biedt technische validatie via experimenten met stedelijke overstromingsvoorspelling met behulp van vier deep learning modellen (ANN, GCN, LSTM, GRU) en twee verliesfuncties (MSE, Distribution Focal Loss).

Resultaten en Technische Validatie

• Verbetering van de Datakwaliteit: De QC-pipeline verbeterde de datakwaliteitsmetrieken aanzienlijk:
  • De maximale gradiënt van de waterdiepte daalde van 8.103 mm/min naar 87 mm/min.
  • De zero-inflation ratio daalde van 29,06% naar 9,34%.
  • Het deel van de segmenten met een niet-nul pre-piek neerslag steeg van 21,4% naar 100,0%.
• Voorspellende Prestaties:
  • Verliesfunctie: Modellen getraind met Distribution Focal Loss (DFL) presteerden consequent beter dan die getraind met Mean Squared Error (MSE) over alle architecturen en voorspellingshorizonten (10, 30 en 60 minuten). DFL verminderde de RMSE gemiddeld van 11,85 mm naar 8,65 mm en verbeterde de Nash-Sutcliffe Efficiëntie (NSE) van 0,686 naar 0,841.
  • Modelarchitectuur: Recurrente architecturen (LSTM en GRU) vertoonden de meest stabiele prestaties. De beste algemene resultaten werden bereikt door LSTM-DFL en GRU-DFL, waarbij het LSTM-DFL model een NSE van 0,889 bereikte bij de 60-minuten voorspellingshorizon.
  • Grafiekmodellen: Graph Convolutional Networks (GCN) lieten lagere prestaties zien dan recurrente modellen, wat suggereert dat eenvoudige afstand-gebaseerde grafieken de hydrologische connectiviteit in stedelijke omgevingen mogelijk niet volledig kunnen vatten.

Betekenis en Claims

Het artikel claimt dat OTTER-NYC succesvol het gebrek aan hoogresolutie, multimodale datasets voor stedelijke overstromingsdynamiek aanpakt. Door een dataset te bieden die de abrupte en samengestelde kenmerken van stedelijke overstromingen (flash-flood gedrag) vastlegt en cruciale infrastructuurgegevens integreert, ondersteunt het:

1. Data-gestuurde Voorspelling: Het mogelijk maken van training van deep learning-modellen voor stedelijke overstromingsnowcasting en vroege waarschuwingssystemen op minuutbasis.
2. Analyse van Overstromingsdynamiek: Het faciliteren van de studie naar vormingsmechanismen van overstromingen onder verschillende neersomstandigheden (bijv. wijdverspreide cyclonale stormen versus gelokaliseerde intense regenval).
3. Methodologische Overdraagbaarheid: De voorgestelde QC-pipeline biedt een raamwerk voor het opschonen en verfijnen van gegevens uit andere laagwaardige IoT-gebaseerde ultrasone sensornetwerken.

De auteurs benadrukken dat de dataset een herbruikbare bron is voor toekomstige studies naar stedelijke overstromingsvoorspelling en risicobeheer, waarbij specifief de bruikbaarheid wordt benadrukt voor het ontwikkelen van modellen die korte voorspellingshorizonten en een hoge spatio-temporele resolutie vereisen.