Resumo Técnico: Conjunto de Dados OTTER-NYC para Dinâmica e Previsão de Eventos de Inundação Urbana

Definição do Problema

Os conjuntos de dados hidrológicos e de inundação existentes são predominantemente projetados para análises em escala de bacia hidrográfica ou global, frequentemente fornecendo produtos complementares como extensão de inundação ou vazão, em vez de observações diretas de alta resolução. Existe uma lacuna crítica em conjuntos de dados que combinem observações de profundidade de inundação por sensor em escala de minutos com dados de precipitação, terreno e infraestrutura de drenagem em escala urbana.

Os conjuntos de dados atuais tipicamente sofrem de:

• Resolução Temporal Coarse (Grossa): A maioria é horária ou mais grosseira, perdendo os picos de profundidade de inundação que se formam e recuam em dezenas de minutos, uma característica das inundações repentinas urbanas.
• Falta de Multimodalidade: Frequentemente focam em modalidades únicas, falhando em integrar a complexa informação topográfica e de infraestrutura de drenagem que influencia fortemente o pico de profundidade e a duração da inundação urbana.
• Problemas de Qualidade de Dados: Redes de sensores baseadas em IoT (como a FloodNet) contêm ruído, incluindo interrupções de comunicação, erros de medição ultrassônicos e observações de "falso-zero", onde a profundidade da inundação é registrada como zero apesar da presença de água.
• Desequilíbrio de Classes: Condições de não inundação (profundidade zero) dominam a distribuição dos dados, o que pode induzir viés em modelos de aprendizado profundo, causando overfitting em padrões de não-inundação e subperformance durante eventos de inundação reais.

Metodologia

Os autores apresentam o OTTER-NYC, um conjunto de dados multimodal de alta qualidade e escala de minutos para a cidade de Nova York (NYC). O processo de construção envolveu três etapas principais:

1. Coleta e Integração de Dados

O conjunto de dados integra quatro fontes de dados heterogêneas alinhadas à rede de sensores FloodNet (até 293 sensores) durante um período de outubro de 2020 a agosto de 2025:

• Profundidade de Inundação: Observações de sensores ultrassônicos (resolução de 1 minuto) da FloodNet.
• Precipitação: Dados do Automated Surface Observing System (ASOS) de cinco estações próximas, interpolados para as localizações dos sensores usando Pesagem pelo Inverso da Distância (IDW).
• Terreno: Atributos derivados de Modelo Digital de Elevação (DEM) (elevação, declividade, aspecto) com resolução de 1 pé.
• Infraestrutura de Drenagem: Dados de bueiros de toda a cidade de NYC (NYC CCB), usados para derivar a densidade de bueiros e a distância do bueiro mais próximo para cada sensor.

2. Pré-processamento Espaçotempo-temporal

• Alinhamento Temporal: Todas as variáveis dinâmicas foram padronizadas para uma grade uniforme de 1 minuto UTC+0. Os dados da FloodNet foram reamostrados por média dentro de bins, enquanto a precipitação da ASOS foi tratada como valores específicos de intervalo.
• Alinhamento Espacial: A precipitação foi interpolada usando a distância de Haversine. Variáveis de terreno e infraestrutura foram extraídas ou computadas com base nas coordenadas dos sensores (transformadas para o plano estadual de NY para processamento de DEM).
• Codificação de Variáveis: Variáveis estáticas (ex: aspecto) foram codificadas para lidar com circularidade e valores ausentes em terrenos planos.

3. Pipeline de Controle de Qualidade (QC) de Três Estágios

Para transformar observações brutas e ruidosas em um conjunto de dados baseado em eventos fisicamente significativo, um pipeline de QC reprodutível de três estágios foi implementado:

• Estágio 1 (Extração de Segmentos): Identificou segmentos contínuos não nulos. Zeros de fronteira foram inseridos para facilitar a detecção de erros de falso-zero na etapa seguinte.
• Estágio 2 (Integração Temporal e Interpolação de Lacunas): Mesclou segmentos adjacentes separados por lacunas curtas (≤ 1 min) e interpolou valores de falso-zero dentro de segmentos usando interpolação linear ponderada pelo tempo. Isso restaurou a continuidade dos eventos de inundação.
• Estágio 3 (Filtragem de Qualidade e Validação de Chuva):
  • Limiar de Hardware: Removeu segmentos com profundidades de inundação superiores à altura de instalação do sensor (3.000 mm).
  • Limiar de Laplace: Aplicou um filtro de taxa de variação baseado em uma distribuição de Laplace ajustada às mudanças de profundidade de inundação ($\Delta d$). Segmentos com mudanças excedendo $\tau = 87,88$ mm ($3,5\sigma$) foram removidos para eliminar picos fisicamente implausíveis.
  • Validação de Precipitação: Retiveu apenas segmentos onde ocorreu pelo menos um passo de tempo de precipitação > 0 nas 3 horas precedentes ao pico da inundação. Isso garantiu a plausibilidade hidrometeorológica.

Principais Contribuições

• Conjunto de Dados OTTER-NYC: Um conjunto de dados multimodal contendo aproximadamente 31.085 eventos de inundação urbana válidos em 264 sensores, apresentando resolução temporal de escala de minutos. Inclui variáveis dinâmicas (profundidade de inundação, precipitação) e variáveis estáticas (terreno, infraestrutura de drenagem).
• Pipeline de QC Reprodutível: Um pipeline de três estágios que remove efetivamente o ruído do sensor, corrige observações de falso-zero e filtra sinais não físicos, resultando em um conjunto de dados com melhor estabilidade de sinal e plausibilidade hidrometeorológica.
• Resultados de Benchmarking: O artigo fornece validação técnica através de experimentos de previsão de inundação urbana usando quatro modelos de aprendizado profundo (ANN, GCN, LSTM, GRU) e duas funções de perda (MSE, Distribution Focal Loss).

Resultados e Validação Técnica

• Melhoria da Qualidade dos Dados: O pipeline de QC melhorou significativamente as métricas de qualidade dos dados:
  • O gradiente máximo de profundidade de inundação diminuiu de 8.103 mm/min para 87 mm/min.
  • A razão de inflação de zeros caiu de 29,06% para 9,34%.
  • A fração de segmentos com precipitação pré-pico não nula aumentou de 21,4% para 100,0%.
• Desempenho de Previsão:
  • Função de Perda: Modelos treinados com Distribution Focal Loss (DFL) superaram consistentemente aqueles treinados com Erro Quadrático Médio (MSE) em todas as arquiteturas e horizontes de previsão (10, 30 e 60 minutos). O DFL reduziu o RMSE de 11,85 mm para 8,65 mm em média e melhorou a Eficiência de Nash-Sutcliffe (NSE) de 0,686 para 0,841.
  • Arquitetura de Modelo: Arquiteturas recorrentes (LSTM e GRU) demonstraram o desempenho mais estável. Os melhores resultados gerais foram alcançados por LSTM-DFL e GRU-DFL, com o modelo LSTM-DFL atingindo um NSE de 0,889 no horizonte de previsão de 60 minutos.
  • Modelos de Grafo: Redes Convolucionais de Grafos (GCN) mostraram desempenho inferior aos modelos recorrentes, sugerindo que grafos simples baseados em distância podem não capturar totalmente a conectividade hidrológica em ambientes urbanos.

Significância e Alegações

O artigo afirma que o OTTER-NYC aborda com sucesso a falta de conjuntos de dados multimodais de alta resolução para a dinâmica de inundações urbanas. Ao fornecer um conjunto de dados que captura as características abruptas e compostas das inundações urbanas (comportamento de inundação repentina/flash-flood) e integrar dados críticos de infraestrutura, ele suporta:

1. Previsão Baseada em Dados: Permitindo o treinamento de modelos de aprendizado profundo para nowcasting de inundação urbana em escala de minutos e sistemas de alerta precoce.
2. Análise de Dinâmica de Eventos: Facilitando o estudo dos mecanismos de formação de inundações sob diferentes condições de chuva (ex: tempestades ciclônicas generalizadas vs. precipitação intensa localizada).
3. Transferibilidade Metodológica: O pipeline de QC proposto oferece um framework para limpar e refinar dados de outras redes de sensores ultrassônicos de baixo custo baseadas em IoT.

Os autores enfatizam que o conjunto de dados é um recurso reutilizável para estudos futuros sobre previsão de inundações urbanas e gestão de riscos, destacando especificamente sua utilidade no desenvolvimento de modelos que requerem horizontes de previsão curtos e alta resolução espaço-temporal.