Resumen Técnico: Conjunto de Datos OTTER-NYC para la Dinámica y el Pronóstico de Eventos de Inundación Urbana

Planteamiento del Problema

Los conjuntos de datos hidrológicos y de inundaciones existentes están diseñados predominantemente para análisis a escala de cuenca o global, proporcionando a menudo productos complementarios como la extensión de la inundación o el caudal en lugar de observaciones directas de alta resolución. Existe una brecha crítica en los conjuntos de datos que combinan observaciones de profundidad de inundación por sensor a escala de minutos con datos de precipitación, terreno e infraestructura de drenaje a escala urbana.

Los conjuntos de datos actuales suelen sufrir de:

• Resolución Temporal Gruesa: La mayoría son horarios o más gruesos, perdiendo los picos de profundidad de inundación que se forman y receden en cuestión de decenas de minutos, una característica de las inundaciones repentinas urbanas.
• Falta de Multimodalidad: A menudo se centran en una sola modalidad, fallando al integrar la compleja información topográfica y de infraestructura de drenaje que influye fuertemente en la profundidad y duración máxima de la inundación urbana.
• Problemas de Calidad de Datos: Las redes de sensores basadas en IoT (como FloodNet) contienen ruido, incluyendo interrupciones de comunicación, errores de medición ultrasónicos y observaciones de "falso cero" donde la profundidad de la inundación se registra como cero a pesar de la presencia de agua.
• Desequilibrio de Clases: Las condiciones no inundadas (profundidad cero) dominan la distribución de los datos, lo que puede inducir sesgos en los modelos de aprendizaje profundo, causando que se sobreajusten a patrones de no inundación y tengan un bajo rendimiento durante los eventos de inundación reales.

Metodología

Los autores presentan OTTER-NYC, un conjunto de datos multimodal de alta calidad y a escala de minutos para la ciudad de Nueva York (NYC). El proceso de construcción involucró tres etapas principales:

1. Recolección e Integración de Datos

El conjunto de datos integra cuatro fuentes de datos heterogéneas alineadas con la red de sensores FloodNet (hasta 293 sensores) durante un periodo desde octubre de 2020 hasta agosto de 2025:

• Profundidad de Inundación: Observaciones de sensores ultrasónicos (resolución de 1 minuto) de FloodNet.
• Precipitación: Datos del Sistema de Observación Superficial Automatizada (ASOS) de cinco estaciones cercanas, interpolados a las ubicaciones de los sensores mediante el Método de Distancia Inversa Ponderada (IDW).
• Terreno: Atributos derivados del Modelo Digital de Elevación (DEM) (elevación, pendiente, orientación) a una resolución de 1 pie.
• Infraestructura de Drenaje: Datos de las Alcantarillas de la Ciudad de Nueva York (NYC CCB), utilizados para derivar la densidad de alcantarillas y la distancia al sumidero más cercano para cada sensor.

2. Preprocesamiento Espaciotemporal

• Alineación Temporal: Todas las variables dinámicas se estandarizaron a una cuadrícula uniforme de 1 minuto UTC+0. Los datos de FloodNet se re-muestrearon mediante el promedio dentro de los contenedores (bins), mientras que la precipitación de ASOS se trató como valores específicos de intervalo.
• Alineación Espacial: La precipitación se interpoló utilizando la distancia de Haversine. Las variables de terreno e infraestructura se extrajeron o computaron basándose en las coordenadas de los sensores (transformadas a NY State Plane para el procesamiento del DEM).
• Codificación de Variables: Las variables estáticas (ej. orientación) se codificaron para manejar la circularidad y los valores faltantes en terrenos llanos.

3. Pipeline de Control de Calidad (QC) de Tres Etapas

Para transformar las observaciones crudas y ruidosas en un conjunto de datos basado en eventos y físicamente significativo, se implementó un pipeline de QC reproducible de tres etapas:

• Etapa 1 (Extracción de Segmentos): Identificó segmentos continuos no nulos. Se insertaron ceros en los límites para facilitar la detección de errores de falso cero en la siguiente etapa.
• Etapa 2 (Integración Temporal e Interpolación de Brechas): Fusionó segmentos adyacentes separados por brechas cortas (≤1 min) e interpoló los valores de falso cero dentro de los segmentos mediante interpolación lineal ponderada por el tiempo. Esto restauró la continuidad de los eventos de inundación.
• Etapa 3 (Filtrado de Calidad y Validación de Lluvia):
  • Umbral de Hardware: Eliminó segmentos con profundidades de inundación que excedían la altura de instalación del sensor (3,000 mm).
  • Umbral de Laplace: Aplicó un filtro de tasa de cambio basado en una distribución de Laplace ajustada a los cambios de profundidad de inundación ($\Delta d$). Los segmentos con cambios que excedían $\tau = 87.88$ mm (3.5$\sigma$) fueron eliminados para eliminar picos físicamente implausibles.
  • Validación de Lluvia: Retuvo solo los segmentos donde al menos un paso de tiempo con precipitación > 0 ocurrió dentro de las 3 horas previas al pico de la inundación. Esto aseguró la plausibilidad hidrometeorológica.

Contribuciones Clave

• Conjunto de Datos OTTER-NYC: Un conjunto de datos multimodal que contiene aproximadamente 31,085 eventos de inundación urbana válidos a través de 264 sensores, con una resolución temporal a escala de minutos. Incluye variables dinámicas (profundidad de inundación, precipitación) y variables estáticas (terreno, infraestructura de drenaje).
• Pipeline de QC Reproducible: Un pipeline de tres etapas que elimina eficazmente el ruido de los sensores, corrige las observaciones de falso cero y filtra señales no físicas, resultando en un conjunto de datos con mayor estabilidad de señal y plausibilidad hidrometeorológica.
• Resultados de Benchmarking: El artículo proporciona validación técnica a través de experimentos de pronóstico de inundaciones urbanas utilizando cuatro modelos de aprendizaje profundo (ANN, GCN, LSTM, GRU) y dos funciones de pérdida (MSE, Distribution Focal Loss).

Resultados y Validación Técnica

• Mejora de la Calidad de los Datos: El pipeline de QC mejoró significativamente las métricas de calidad de los datos:
  • El gradiente máximo de profundidad de inundación disminuyó de 8,103 mm/min a 87 mm/min.
  • La razón de inflación de ceros cayó de 29.06% a 9.34%.
  • La fracción de segmentos con precipitación no nula previa al pico aumentó del 21.4% al 100.0%.
• Desempeño de Pronóstico:
  • Función de Pérdida: Los modelos entrenados con Distribution Focal Loss (DFL) superaron consistentemente a los entrenados con Mean Squared Error (MSE) en todas las arquitecturas y horizontes de pronóstico (10, 30 y 60 minutos). DFL redujo el RMSE de 11.85 mm a 8.65 mm en promedio y mejoró el Nash-Sutcliffe Efficiency (NSE) de 0.686 a 0.841.
  • Arquitectura de Modelo: Las arquitecturas recurrentes (LSTM y GRU) demostraron el desempeño más estable. Los mejores resultados generales se lograron con LSTM-DFL y GRU-DFL, siendo el modelo LSTM-DFL el que alcanzó un NSE de 0.889 en el horizonte de pronóstico de 60 minutos.
  • Modelos de Grafos: Las Redes Convolucionales de Grafos (GCN) mostraron un desempeño inferior a los modelos recurrentes, lo que sugiere que los grafos simples basados en la distancia pueden no capturar completamente la conectividad hidrológica en entornos urbanos.

Significado y Reivindicaciones

El artículo afirma que OTTER-NYC aborda con éxito la falta de conjuntos de datos multimodales de alta resolución para la dinámica de inundaciones urbanas. Al proporcionar un conjunto de datos que captura las características abruptas y compuestas de las inundaciones urbanas (comportamiento de inundación repentina) e integrar datos críticos de infraestructura, respalda:

1. Pronóstico Basado en Datos: Permite el entrenamiento de modelos de aprendizaje profundo para el nowcasting (pronóstico inmediato) de inundaciones urbanas a escala de minutos y sistemas de alerta temprana.
2. Análisis de la Dinámica de Eventos: Facilita el estudio de los mecanismos de formación de inundaciones bajo diferentes condiciones de lluvia (ej. tormentas ciclónicas generalizadas frente a lluvias intensas localizadas).
3. Transferibilidad Metodológica: El pipeline de QC propuesto ofrece un marco para limpiar y refinar datos de otras redes de sensores ultrasónicos basadas en IoT de bajo costo.

Los autores enfatizan que el conjunto de datos es un recurso reutilizable para futuros estudios sobre el pronóstico de inundaciones urbanas y la gestión de riesgos, destacando específicamente su utilidad en el desarrollo de modelos que requieren horizontes de pronóstico cortos y alta resolución espacio-temporal.