📄 earth_science

OTTER-NYC: A Minute-Scale Multimodal Dataset for Urban Flood Event Dynamics and Forecasting

本文介绍了 OTTER-NYC，这是一个针对纽约市的高质量、分钟级多模态数据集，该数据集通过一个可复现的质量控制流水线，整合了洪水深度、降水量、地形和排水基础设施数据，旨在实现对城市洪水动态的详细分析和数据驱动型预测。

原作者： Seongwon Jin, Jiho Park, Juheon Kim, Jehong Bang, Seunghwan An, Jibum Kim

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Seongwon Jin, Jiho Park, Juheon Kim, Jehong Bang, Seunghwan An, Jibum Kim

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 OTTER-NYC 论文的解释，通过简单的概念和日常类比进行了拆解。

大局观：我们为什么需要它？

想象一下，试图预测像纽约这样城市的突发洪水，就像试图用罐子捕捉闪电一样。雨水可能在短短 30 分钟内就开始降下、水位上升到危险高度，然后又迅速退去。

现有的多数天气数据就像一部慢动作电影；它们每小时更新一次。等到每小时更新显示“正在下雨”时，洪水可能已经达到顶峰并开始消退了。为了捕捉这些快速移动的城市洪水，我们需要一个每分钟更新一次的高速摄像机。

作者创建了 OTTER-NYC，这是一个庞大的、高速度的数据集，专门旨在教计算机如何预测这些快速移动的城市洪水。

核心成分：数据集中有什么？

把构建一个完美的洪水预测模型想象成烘焙一个非常特定的蛋糕。你需要将正确的“食材”在正确的时间混合在一起。OTTER-NYC 将四种不同的“食材”组合成了一个整洁的包裹：

“水位”（FloodNet）： 这是主料。它来自安装在纽约市各个街角的 293 个超声波传感器。它们就像智能尺子，每分钟精确测量水的深度。
“雨量计”（ASOS）： 这是降雨数据。作者从 5 个主要气象站（类似于机场）获取降雨数据，并通过数学方法将其“扩散”开来，以覆盖每个传感器所在的街角。
“地形图”（DEM）： 这是一个极其详细的地面 3D 地图。它告诉计算机哪些街道是低洼的（像个碗），哪些是倾斜的（像个滑梯）。水在“碗”里的表现与在“滑梯”上的表现完全不同。
“排水系统”（Catch Basins）： 这是城市所有雨水斗和排水沟的地图。它告诉计算机水“应该”流向哪里。

神奇之处： 这篇论文的主要成就在于将这四样东西进行对齐。通常情况下，降雨数据在机场，洪水数据在街道，而排水地图在另一个文件中。作者将它们缝合在一起，使得对于每一分钟，计算机都知道：这里降了多少雨？这里的积水有多深？这里的地面有多低？以及最近的排水口在哪里？

问题所在：传感器会“变糊涂”

这些街头传感器的原始数据是非常混乱的。想象一下一个孩子在玩一个记录水位变化的玩具。有时玩具会出故障、掉落球体，或者在水还在那里时误以为水已经没了。

虚假零值（False Zeros）： 即使街道仍被淹没，传感器也可能因为通信故障而在几秒钟内显示“0 英寸水深”。
突跳（Spikes）： 传感器可能会在短短一秒内从 0 突然跳到 10 英尺，这在物理上是不可能的。
过多的“无数据”： 大多数时候，街道是干燥的。数据大部分都是零。如果你把这些原始数据喂给计算机，计算机就会变得“懒惰”，因为它发现 99% 的时间都在说“没有洪水”，所以它会学会一直说“无洪水”。

解决方案：“三阶段过滤器”

为了解决这个混乱，作者构建了一个质量控制（QC）流水线。你可以把它想象成一个三层筛子或过滤器，在任何人使用数据之前先清洗数据。

第一阶段：“寻找行动”过滤器。
计算机寻找任何水位不为零的时间段。它切掉所有干燥的天数，只保留那些发生了一些“有趣事情”的时间块。
第二阶段：“粘合”过滤器。
有时传感器会发生故障，在洪水期间的一分钟内显示为“0”。这一阶段利用数学方法将这些破碎的部分“粘合”回去，填补空白，使洪水看起来是一个连续的事件，而不是一段破碎的视频。
第三阶段：“现实检查”过滤器。
这是最重要的一步。计算机会询问：“在水位上升之前，真的下雨了吗？”
- 如果水位上升了，但过去 3 小时内没有降雨，计算机就会假设传感器损坏并丢弃该数据。
- 如果水位是在降雨之后上升的，计算机则保留该数据。

结果： 他们从近 2 亿个数据点开始。经过这个清洗过程，他们最终得到了 31,000 个高质量、经过验证的洪水事件，这些数据非常适合用来训练 AI 模型。

效果如何？（试驾测试）

为了证明该数据集的有效性，作者尝试使用它来预测洪水。他们教了四种不同类型的 AI（就像不同的学生），让它们观察过去 60 分钟的数据，并预测未来 10、30 或 60 分钟的水位。

获胜者： 使用了一种称为**分布聚焦损失（Distribution Focal Loss, DFL）**的特殊学习方法的 AI 模型表现最好。
- 类比： 想象一个学生在参加考试。一个标准的学生（MSE）试图猜出一个确切的数字。而 DFL 学生则猜出可能的范围。由于洪水是难以预测且可能迅速加深的，因此猜测范围（概率）被证明比猜测单个数字要准确得多。
性能表现： 最好的模型甚至能高精度地预测 60 分钟后的洪水深度。这证明了该数据集足够干净且有用，足以训练智能系统。

总结

OTTER-NYC 是一个“经过清洗、高清、逐分钟更新”的纽约城市洪水食谱。它将混乱的传感器数据进行过滤，剔除错误，并将其与降雨和街道地图匹配，从而为计算机学习如何提前预测突发洪水创造了一个完美的训练场。

在哪里找到它： 作者已将数据和清洗代码公开，任何人都可以下载和使用。

技术摘要：用于城市洪水事件动态与预测的 OTTER-NYC 数据集

问题陈述

现有的水文和洪水数据集主要针对流域或全球尺度的分析而设计，通常仅提供互补性产品（如洪水范围或径流量），而非直接的高分辨率观测数据。在结合了分钟级、单传感器洪水深度观测与城市尺度降水、地形及排水基础设施的数据集方面，存在关键性的空白。

当前的数据集通常存在以下问题：

时间分辨率粗糙： 大多数数据集为小时级或更粗的分辨率，无法捕捉在数十分钟内形成并消退的洪水峰值深度，而这正是城市闪电洪水的典型特征。
缺乏多模态性： 它们往往侧重于单一模态，未能整合深刻影响城市洪水峰值深度和持续时间的复杂地形与排水基础设施信息。
数据质量问题： 基于物联网（IoT）的传感器网络（如 FloodNet）包含噪声，包括通信中断、超声波测量误差以及尽管存在水流但记录为零深度的“假零（false-zero）”观测现象。
类别不平衡： 非淹水状态（深度为零）在数据分布中占据主导地位，这会诱导深度学习模型产生偏差，导致模型过拟合非洪水模式，并在实际洪水事件发生时表现不佳。

方法论

作者提出了 OTTER-NYC，这是一个针对纽约市（NYC）的高质量、分钟级多模态数据集。其构建过程分为三个主要阶段：

1. 数据收集与集成

该数据集集成了四种异构数据源，这些数据源与 FloodNet 传感器网络（多达 293 个传感器）对齐，观测周期从 2020 年 10 月到 2025 年 8 月：

洪水深度： 来自 FloodNet 的超声波传感器观测数据（1 分钟分辨率）。
降水： 来自五个临近站点的自动气象观测系统（ASOS）数据，通过反距离加权法（IDW）插值到传感器位置。
地形： 源自数字高程模型（DEM）的属性（高程、坡度、坡向），分辨率为 1 英尺。
排水基础设施： 纽约市全市集水坑（NYC CCB）数据，用于推导每个传感器的集水坑密度和最近集水坑距离。

2. 时空预处理

时间对齐： 所有动态变量均标准化为统一的 1 分钟 UTC+0 网格。FloodNet 数据通过在区间内取平均值进行重采样，而 ASOS 降水则被视为特定间隔的值。
空间对齐： 降水使用哈弗辛（Haversine）距离进行插值。地形和基础设施变量根据传感器坐标进行提取或计算（坐标已转换为 NY State Plane 以进行 DEM 处理）。
变量编码： 静态变量（如坡向）经过编码以处理循环性问题以及平坦地形上的缺失值。

3. 三阶段质量控制（QC）流水线

为了将原始、多噪的观测数据转化为具有物理意义的基于事件的数据集，实施了一个可重复的三阶段 QC 流水线：

第 1 阶段（片段提取）： 识别连续的非零片段。插入边界零值以便于在下一阶段检测“假零”错误。
第 2 阶段（时间集成与间隙插值）： 合并被短间隙（≤1 分钟）分隔的相邻片段，并使用时间加权线性插值修复片段内的“假零”值。这恢复了洪水事件的连续性。
第 3 阶段（质量过滤与降雨验证）：
- 硬件阈值： 移除洪水深度超过传感器安装高度（3,000 mm）的片段。
- 拉普拉斯阈值： 应用基于拟合洪水深度变化（ $\Delta d$ ）拉普拉斯分布的变率过滤器。移除变化量超过 $\tau = 87.88$ mm（3.5 $\sigma$ ）的片段，以消除物理上不可能出现的突变。
- 降雨验证： 仅保留在洪水峰值前 3 小时内至少有一个降水量 > 0 的时间步长的片段。这确保了水文气象学上的合理性。

核心贡献

OTTER-NYC 数据集： 一个包含约 31,085 个有效城市洪水事件的多模态数据集，涵盖 264 个传感器，具有分钟级时间分辨率。它包括动态变量（洪水深度、降水）和静态变量（地形、排水基础设施）。
可重复的 QC 流水线： 该三阶段流水线能有效去除传感器噪声、修正“假零”观测并过滤非物理信号，从而获得具有更高信号稳定性和水文气象合理性的数据集。
基准测试结果： 本文通过使用四种深度学习模型（ANN, GCN, LSTM, GRU）和两种损失函数（MSE, Distribution Focal Loss）进行的城市洪水预报实验，提供了技术验证。

结果与技术验证

数据质量提升： QC 流水线显著改善了数据质量指标：
- 最大洪水深度梯度从 8,103 mm/min 降低至 87 mm/min。
- 零膨胀率从 29.06% 降至 9.34%。
- 具有非零峰前降雨量的片段比例从 21.4% 增加到 100.0%。
预报性能：
- 损失函数： 使用 分布聚焦损失（DFL） 训练的模型在所有架构和预测时界（10、30 和 60 分钟）下均一致优于使用均方误差（MSE）训练的模型。DFL 将平均 RMSE 从 11.85 mm 降低到 8.65 mm，并将纳什效率系数（NSE）从 0.686 提高到 0.841。
- 模型架构： 循环架构（LSTM 和 GRU）表现出最稳定的性能。最佳整体结果由 LSTM-DFL 和 GRU-DFL 实现，其中 LSTM-DFL 模型在 60 分钟预测时界下达到了 0.889 的 NSE。
- 图模型： 图卷积网络（GCN）的表现低于循环模型，这表明简单的基于距离的图可能无法完全捕捉城市环境中的水文学连通性。

意义与主张

本文主张 OTTER-NYC 成功解决了高分辨率、多模态数据集在城市洪水动态方面匮乏的问题。通过提供一个能够捕捉城市洪水突发性和复合特征（闪电洪水行为）并整合关键基础设施数据的数据集，它支持了：

数据驱动的预报： 支持训练用于分钟级城市洪水临近预报和预警系统的深度学习模型。
事件动态分析： 为研究不同降雨条件下的（例如广泛的气旋风暴对比局地强降雨）洪水形成机制提供便利。
方法论的可迁移性： 所提出的 QC 流水线为清理和精炼其他低成本基于物联网的超声波传感器网络的数据提供了框架。

作者强调，该数据集是未来城市洪水预报和风险管理研究的可重复利用资源，特别强调了其在开发需要短预测时界和高时空分辨率模型的应用价值。