Sintesi Tecnica: Dataset OTTER-NYC per la Dinamica e la Previsione di Eventi di Inondazione Urbana

Definizione del Problema

I dataset idrologici e di inondazione esistenti sono prevalentemente progettati per analisi su scala di bacino idrografico o globale, fornendo spesso prodotti complementari come l'estensione dell'inondazione o la portata dei fiumi piuttosto che osservazioni dirette ad alta risoluzione. Esiste una lacuna critica nei dataset che combinano osservazioni della profondità di inondazione per sensore a risoluzione al minuto con dati di precipitazione, terreno e infrastrutture di drenaggio su scala urbana.

I dataset attuali soffrono tipicamente di:

• Risoluzione Temporale Grossolana: La maggior parte è oraria o più grossolana, perdendo i picchi di profondità di inondazione che si formano e si ritirano entro decine di minuti, una caratteristica delle inondazioni lampo urbane.
• Mancanza di Multimodalità: Spesso si concentrano su singole modalità, fallendo nell'integrare le complesse informazioni topografiche e delle infrastrutture di drenaggio che influenzano pesantemente il picco di profondità e la durata dell'inondazione urbana.
• Problemi di Qualità dei Dati: Le reti di sensori basate su IoT (come FloodNet) contengono rumore, inclusi interruzioni di comunicazione, errori di misurazione ultrasonica e osservazioni di "falso zero" dove la profondità dell'inondazione viene registrata come zero nonostante la presenza di acqua.
• Sbilanciamento delle Classi: Le condizioni di non inondazione (profondità zero) dominano la distribuzione dei dati, il che può indurre bias nei modelli di deep learning, causando overfitting sui pattern di non inondazione e prestazioni scarse durante gli effettivi eventi di inondazione.

Metodologia

Gli autori presentano OTTER-NYC, un dataset multimodale ad alta qualità e a risoluzione al minuto per la città di New York (NYC). Il processo di costruzione ha previsto tre fasi principali:

1. Raccolta e Integrazione dei Dati

Il dataset integra quattro fonti di dati eterogenee allineate alla rete di sensori FloodNet (fino a 293 sensori) in un periodo che va da ottobre 2020 ad agosto 2025:

• Profondità di Inondazione: Osservazioni di sensori a ultrasuoni (risoluzione a 1 minuto) da FloodNet.
• Precipitazioni: Dati dell'Automated Surface Observing System (ASOS) da cinque stazioni vicine, interpolati nelle posizioni dei sensori tramite l'metodo dell'Inverse Distance Weighting (IDW).
• Terreno: Attributi derivati dal Modello Digitale di Elevazione (DEM) (elevazione, pendenza, esposizione) con risoluzione di 1 piede.
• Infrastrutture di Drenaggio: Dati dei NYC Citywide Catch Basins (NYC CCB), utilizzati per derivare la densità dei caditoie e la distanza dal bacino più vicino per ogni sensore.

2. Pre-elaborazione Spaziotemporale

• Allineamento Temporale: Tutte le variabili dinamiche sono state standardizzate su una griglia uniforme di 1 minuto UTC+0. I dati di FloodNet sono stati ricampionati mediando all'interno dei bin, mentre la precipitazione ASOS è stata trattata come valore specifico per intervallo.
• Allineamento Spaziale: La precipitazione è stata interpolata utilizzando la distanza di Haversine. Le variabili di terreno e infrastruttura sono state estratte o calcolate sulla base delle coordinate dei sensori (trasformate in NY State Plane per l'elaborazione del DEM).
• Codifica delle Variabili: Le variabili statiche (es. esposizione) sono state codificate per gestire la circolarità e i valori mancanti su terreni pianeggianti.

3. Pipeline di Controllo Qualità (QC) a Tre Fasi

Per trasformare le osservazioni grezze e rumorose in un dataset basato su eventi e fisicamente significativo, è stata implementata una pipeline di QC riproducibile in tre fasi:

• Fase 1 (Estrazione dei Segmenti): Identificazione di segmenti continui non nulli. Sono stati inseriti zeri ai bordi per facilitare la rilevazione degli errori di falso zero nella fase successiva.
• Fase 2 (Integrazione Temporale e Interpolazione dei Gap): Fusione di segmenti adiacenti separati da brevi gap (≤ 1 min) e interpolazione dei valori di falso zero all'interno dei segmenti tramite interpolazione lineare ponderata nel tempo. Ciò ha ripristinato la continuità degli eventi di inondazione.
• Fase 3 (Filtraggio della Qualità e Validazione della Pioggia):
  • Soglia Hardware: Rimozione dei segmenti con profondità di inondazione superiore all'altezza di installazione del sensore (3.000 mm).
  • Soglia Laplace: Applicazione di un filtro di tasso di variazione basato su una distribuzione di Laplace adattata alle variazioni di profondità di inondazione ($\Delta d$). I segmenti con variazioni superiori a $\tau = 87,88$ mm (3,5$\sigma$) sono stati rimossi per eliminare picchi fisicamente implausibili.
  • Validazione della Pioggia: Mantenimento solo dei segmenti in cui è avvenuta almeno una fase di precipitazione > 0 nei 3 ore precedenti il picco di inondazione. Ciò ha garantito la plausibilità idrometeorologica.

Contributi Chiave

• Dataset OTTER-NYC: Un dataset multimodale contenente circa 31.085 eventi di inondazione urbana validi distribuiti su 264 sensori, con risoluzione temporale al minuto. Include variabili dinamiche (profondità di inondazione, precipitazioni) e variabili statiche (terreno, infrastrutture di drenaggio).
• Pipeline QC Riproducibile: Una pipeline a tre fasi che elimina efficacemente il rumore dei sensori, corregge le osservazioni di falso zero e filtra i segnali non fisici, risultando in un dataset con migliore stabilità del segnale e plausibilità idrometeorologica.
• Risultati di Benchmarking: Il documento fornisce la validazione tecnica attraverso esperimenti di previsione delle inondazioni urbane utilizzando quattro modelli di deep learning (ANN, GCN, LSTM, GRU) e due funzioni di perdita (MSE, Distribution Focal Loss).

Risultati e Validazione Tecnica

• Miglioramento della Qualità dei Dati: La pipeline QC ha migliorato significativamente le metriche di qualità dei dati:
  • Il gradiente massimo di profondità di inondazione è diminuito da 8.103 mm/min a 87 mm/min.
  • Il rapporto di inflazione dello zero è sceso dal 29,06% al 9,34%.
  • La frazione di segmenti con precipitazioni pre-picco non nulle è aumentata dal 21,4% al 100,0%.
• Prestazioni di Previsione:
  • Funzione di Perdita: I modelli addestrati con Distribution Focal Loss (DFL) hanno costantemente superato quelli addestrati con Mean Squared Error (MSE) in tutte le architetture e gli orizzonti di previsione (10, 30 e 60 minuti). DFL ha ridotto l'RMSE da 11,85 mm a 8,65 mm in media e ha migliorato l'efficienza di Nash-Sutcliffe (NSE) da 0,686 a 0,841.
  • Architettura del Modello: Le architetture ricorrenti (LSTM e GRU) hanno dimostrato le prestazioni più stabili. I migliori risultati complessivi sono stati ottenuti da LSTM-DFL e GRU-DFL, con il modello LSTM-DFL che ha raggiunto un NSE di 0,889 all'orizzonte di previsione di 60 minuti.
  • Modelli a Grafo: Le reti convoluzionali grafiche (GCN) hanno mostrato prestazioni inferiori rispetto ai modelli ricorrenti, suggerendo che i semplici grafi basati sulla distanza potrebbero non catturare appieno la connettività idrologica in contesti urbani.

Significato e Rivendicazioni

Il documento sostiene che OTTER-NYC affronta con successo la mancanza di dataset ad alta risoluzione e multimodali per la dinamica delle inondazioni urbane. Fornendo un dataset che cattura le caratteristiche abrupte e composte delle inondazioni urbane (comportamento di inondazione lampo) e integrando dati critici sulle infrastrutture, esso supporta:

1. Previsione Basata sui Dati: Abilitando l'addestramento di modelli di deep learning per il nowcasting delle inondazioni urbane al minuto e sistemi di allerta precoce.
2. Analisi della Dinamica degli Eventi: Facilitando lo studio dei meccanismi di formazione delle inondazioni sotto diverse condizioni di pioggia (es. tempeste cicloniche diffuse vs. precipitazioni intense localizzate).
3. Trasferibilità Metodologica: La pipeline QC proposta offre un quadro per la pulizia e il raffinamento dei dati provenienti da altre reti di sensori a ultrasuoni basate su IoT a basso costo.

Gli autori sottolineano che il dataset è una risorsa riutilizzabile per studi futuri sulla previsione delle inondazioni urbane e la gestione del rischio, evidenziando in particolare la sua utilità nello sviluppo di modelli che richiedono orizzonti di previsione brevi e un'alta risoluzione spazio-temporale.