기술 요약: 도시 홍수 이벤트 역학 및 예측을 위한 OTTER-NYC 데이터셋

문제 정의

기존의 수문 및 홍수 데이터셋은 주로 유역 또는 전 지구적 규모의 분석을 위해 설계되었으며, 직접적인 고해외 관측치보다는 홍수 범위나 하천 유량과 같은 보완적인 결과물을 제공하는 경우가 많습니다. 분 단위의 센서별 홍수 수심 관측치를 도시 규모의 강수량, 지형 및 배수 인프라 데이터와 결합한 데이터셋은 매우 중요한 공백으로 남아 있습니다.

현재의 데이터셋은 일반적으로 다음과 같은 문제를 겪고 있습니다:

• 조밀하지 못한 시간 해상도: 대부분 시간 단위이거나 그보다 더 길어, 도시의 돌발 홍수 특성인 수십 분 내에 형성되고 빠지는 피크 홍수 수심을 놓치는 경우가 많습니다.
• 다중 모달리티(Multimodality)의 부재: 단일 모달리티에 집중하는 경-향이 있어, 도시 홍수의 피크 수심과 지속 시간에 큰 영향을 미치는 복잡한 지형 및 배수 인프라 정보를 통합하지 못합니다.
• 데이터 품질 문제: IoT 기반 센서 네트워크(예: FloodNet)는 통신 중단, 초음파 측정 오류, 물이 존재함에도 수심이 0으로 기록되는 "가짜 제로(false-zero)" 관측치와 같은 노이즈를 포함하고 있습니다.
• 클래스 불균형: 비침수 조건(수심 0)이 데이터 분포를 지배하며, 이는 딥러닝 모델에 편향을 유도하여 모델이 비침수 패턴에 과적합되고 실제 홍수 이벤트 발생 시 성능이 저하되는 원인이 됩니다.

방법론

저자들은 뉴욕시(NYC)를 위한 고품질의 분 단위 다중 모달 데이터셋인 OTTER-NYC를 제시합니다. 데이터 구축 과정은 다음 세 가지 주요 단계로 구성되었습니다.

1. 데이터 수집 및 통합

이 데이터셋은 2020년 10월부터 2025년 8월까지의 기간 동안 FloodNet 센서 네트워크(최대 293개 센서)에 맞춰 정렬된 네 가지 이종 데이터 소스를 통합합니다:

• 홍수 수심: FloodNet의 초음파 센서 관측치 (1분 해상도).
• 강수량: 인근 5개 관측소의 자동 기상 관측 장비(ASOS) 데이터를 역거리 가중법(IDW)을 사용하여 센서 위치로 보간한 값.
• 지형: 1피트 해상도의 수치 표고 모델(DEM)에서 유도된 속성(고도, 경사도, 향).
• 배수 인프라: NYC 시 전역 집수정(NYC CCB) 데이터를 사용하여 각 센서별 집수정 밀도 및 가장 가까운 집수정 거리를 도출.

2. 시공간 전처리

• 시간적 정렬: 모든 동적 변수는 균일한 1분 단위 UTC+0 그리드로 표준화되었습니다. FloodNet 데이터는 빈(bin) 내 평균화를 통해 리샘플링되었으며, ASOS 강수량은 구간별 특정 값으로 처리되었습니다.
• 공간적 정렬: 강수량은 하버사인(Haversine) 거리를 사용하여 보간되었습니다. 지형 및 인프라 변수는 센서 좌표(DEM 처리를 위해 NY 주 평면 좌표계로 변환됨)를 기반으로 추출되거나 계산되었습니다.
• 변수 인코딩: 정적 변수(예: 향)는 순환성(circularity)과 평탄한 지형에서의 결측치를 처리하기 위해 인코딩되었습니다.

3. 3단계 품질 관리(QC) 파이프라인

원시 노이즈 데이터를 물리적으로 의미 있는 이벤트 기반 데이터셋으로 변환하기 위해 재현 가능한 3단계 QC 파이프라인이 구현되었습니다:

• 1단계 (세그먼트 추출): 연속적인 비제로(non-zero) 세그먼트를 식별했습니다. 다음 단계에서 가짜 제로 오류를 탐지하기 위해 경계 부분에 제로 값을 삽입했습니다.
• 2단계 (시간적 통합 및 간극 보간): 짧은 간격(≤1분)으로 분리된 인접 세그먼트를 병합하고, 세그먼트 내의 가짜 제로 값을 시간 가중 선형 보간법을 사용하여 복구했습니다. 이를 통해 홍수 이벤트의 연속성을 회복했습니다.
• 3단계 (품질 필터링 및 강우 검증):
  • 하드웨어 임계값: 홍수 수심이 센서 설치 높이(3,000mm)를 초과하는 세그먼트를 제거했습니다.
  • 라플라스 임계값: 홍수 수심 변화($\Delta d$)에 적합한 라플라스 분포를 적용한 변화율 필터를 적용했습니다. 물리적으로 불가능한 스파이크를 제거하기 위해 변화량이 $\tau = 87.88$ mm ($3.5\sigma$)를 초과하는 세그먼트를 제거했습니다.
  • 강우 검증: 홍수 피크 전 3시간 이내에 적어도 한 번 이상의 강수량 > 0인 타임 스텝이 존재하는 세그ment만을 유지했습니다. 이는 수문 기상학적 타당성을 보장하기 위함입니다.

주요 기여

• OTTER-NYC 데이터셋: 264개 센서에 걸쳐 약 31,085개의 유효한 도시 홍수 이벤트를 포함하는 다중 모달 데이터셋으로, 분 단위의 시간 해상도를 특징으로 합니다. 여기에는 동적 변수(홍수 수심, 강수량)와 정적 변수(지형, 배수 인프라)가 포함됩니다.
• 재현 가능한 QC 파이프라인: 센서 노이즈를 효과적으로 제거하고, 가짜 제로 관측치를 수정하며, 비물리적 신호를 필터링하여 신호 안정성과 수문 기상학적 타당성이 향상된 데이터셋을 생성하는 3단계 파이프라인을 제공합니다.
• 벤치마킹 결과: 네 가지 딥러닝 모델(ANN, GCN, LSTM, GRU)과 두 가지 손실 함수(MSE, Distribution Focal Loss)를 사용한 도시 홍수 예측 실험을 통해 기술적 검증을 제공합니다.

결과 및 기술적 검증

• 데이터 품질 개선: QC 파이프라인은 다음과 같이 데이터 품질 지표를 크게 개선했습니다:
  • 최대 홍수 수심 기울기가 8,103 mm/min에서 87 mm/min으로 감소했습니다.
  • 제로 팽창 비율(Zero-inflation ratio)이 **29.06%**에서 **9.34%**로 감소했습니다.
  • 피크 전 강우가 존재했던 세그먼트의 비율이 **21.4%**에서 **100.0%**로 증가했습니다.
• 예측 성능:
  • 손실 함수: **Distribution Focal Loss (DFL)**로 학습된 모델이 모든 아키텍처와 예측 지평(10, 30, 60분)에서 MSE로 학습된 모델보다 일관되게 우수한 성능을 보였습니다. DFL은 평균 RMSE를 11.85 mm에서 8.65 mm로 줄였고, Nash-Sutcliffe 효율성(NSE)을 0.686에서 0.841로 향상시켰습니다.
  • 모델 아키텍처: 순환 신경망 구조(LSTM 및 GRU)가 가장 안정적인 성능을 보였습니다. 최상의 종합 결과는 LSTM-DFL과 GRU-DFL에서 나타났으며, 특히 LSTM-DFL 모델은 60분 예측 지평에서 0.889의 NSE를 달성했습니다.
  • 그래프 모델: 그래프 합성곱 네트워크(GCN)는 순환 모델보다 낮은 성능을 보였는데, 이는 단순 거리 기반 그래프가 도시 환경의 수문학적 연결성을 완전히 포착하지 못할 수 있음을 시사합니다.

의의 및 주장

본 논문은 OTTER-NYC가 도시 홍수 역학을 위한 고해상도 다중 모달 데이터셋의 부족 문제를 성공적으로 해결했다고 주장합니다. 급격하고 복합적인 특성(돌발 홍수 행동)을 포착하고 핵심 인프라 데이터를 통합함으로써 다음과 같은 사항을 지원합니다:

1. 데이터 기반 예측: 분 단위의 도시 홍수 현재 예보(nowcasting) 및 조기 경보 시스템을 위한 딥러닝 모델 학습을 가능하게 합니다.
2. 이벤트 역학 분석: 다양한 강우 조건(예: 광범위한 저기압 폭풍 vs 국지적 집중 호우) 하에서의 홍수 형성 메커니즘 연구를 용이하게 합니다.
3. 방법론적 전이 가능성: 제안된 QC 파이프라인은 다른 저가형 IoT 기반 초음파 센서 네트워크의 데이터를 정제하고 개선하는 데 유용한 프레임워크를 제공합니다.

저자들은 OTTER-NYC 데이터셋이 짧은 예측 지평과 높은 시공간 해상도를 요구하는 모델 개발에 특히 유용함을 강조하며, 향후 도시 홍수 예측 및 리스크 관리에 관한 연구를 위한 재사용 가능한 자원임을 밝히고 있습니다.