Data-driven Lake Water Quality Forecasting for Time Series with Missing Data using Machine Learning

기술 요약: 결측치가 있는 시계열 데이터를 활용한 머신러닝 기반의 데이터 주도형 호수 수질 예측

문제 정의
자원봉사자 중심의 호수 모니터링 프로그램은 얼음 덮임, 기상 제약 및 인적 오류로 인해 발생하는 상당한 공백을 특징으로 하는 불규칙하고 계절적으로 간헐적인 시계열 데이터를 생성한다. 이러한 결측치는 수질 투명도 및 유해 조류 발생(HABs)의 조기 경보를 위한 핵심 지표인 세키 디스크 깊이(Secodi Disk Depth, SDD)의 예측을 어렵게 만든다. 기존의 접근 방식들은 몇 가지 한계점에 직면해 있다: 원격 탐사는 작고 얕거나 구름이 끼기 쉬운 내륙 호수에서 신뢰도가 떨어지는 경우가 많으며, 현장 연구(in-situ studies)는 일반화가 제한적인 작은 데이터셋에 의존하는 경우가 많고, 표준적인 결측치 처리 방식(예: 리스트와 삭제/listwise deletion)은 예측 성능을 저하시킨다. 또한, 현재의 예측 평가 방식은 규모 의존적 지표(예: MAE)를 사용하여 호수 간 비교를 방해하며, 정확한 예측을 위해 필요한 최소 요구 학습 이력과 필수 특성 집합을 동시에 결정하는 통합된 전략을 제공하는 연구는 거의 없다.

방법론
본 연구는 메인(Maine) 주 호수들의 30년 치 현장 기록 데이터셋을 활용하며, 데이터 밀도가 가장 높은 3의 호수 하위 집합에 집중한다. 방법론은 다음 단계로 진행된다:

1. 데이터 전처리 및 임퓨테이션(Imputation):

   • 제외 사항: 클로로필-a(Chlorophyll-a)는 SDD의 직접적인 대리 지표이므로 타겟 누출(target leakage)을 방지하기 위해 제외되었으며, "바닥까지의 SDD(SDD-to-bottom)" 관측치는 판별 불가능하므로 제거되었다.
   • 임퓨테이션: 결측치를 처리하기 위해 저자들은 다중 대치법(Multiple Imputation by Chained Equations, MICE)을 사용한다. 이 방법은 데이터가 무작위 결측(Missing At Random, MAR)이라고 가정할 때, 다른 변수들에 조건적으로 각 변수를 모델링한다. MICE는 딥 생성 네트워크(deep generative networks)와 비교하여 계산 비용이 낮으면서도 유사한 성능을 보였기에 선택되었다. SDD 자체는 타겟으로서 임퓨테이션되지 않는다.

2. 예측 프로토콜:

   • 역방향 확장 전략(Backward-Expanding Strategy): 가장 이른 시점의 데이터를 사용하는 전통적인 방식과 달리, 본 연구는 "역방향" 프로토콜을 사용한다. 각 호수에 대해 가장 최근 5년의 데이터를 테스트 세트로 사용한다. 학습 세트는 테스트 전 이력 중 가장 최근의 $n$개 샘플로 구성된다. 이 접근 방식은 최근의 기후 및 기상 패턴을 우선시한다.
   • 모델 선택: 6가지 후보 모델(ARIMA, SARIMA, TSMixer, Transformer, Random Forest, Ridge Regression)을 평가하였다. Ridge Regression이 평균 절대 오차(MAE), 정규화된 MAE(nMAE), $R^2$ 측면에서 가장 우수한 성능을 보였으며, 주요 예측 모델로 선정되었다.

3. 평가 지표:

   • 정규화된 MAE (nMAE): 다양한 수심 및 기준 투명도에 따른 호수 간 비교를 가능하게 하기 위해, 본 연구는 테스트 블록의 평균 SDD로 평균 절대 오차를 나눈 값인 nMAE를 사용한다.
   • 성능 임계치: "최소" 구성은 nMAE가 전체 과거 데이터셋 및 모든 특성을 사용했을 때 달성한 성능의 5% 이내에 있는 경우로 정의된다.

4. 특성 선택 및 공동 최적화:

   • 특성 순위 지정: 전체 특성을 포함한 Ridge 모델의 평균 불순도 감소(Mean Decrease in Impurity, MDI)를 사용하여 특성 순위를 매겼다.
   • 탐욕적 전방 선택(Greedy Forward Selection): 상위-$k$ 특성들을 테스트하여 5% 허용 오차를 충족하는 최소 부분 집합($k^*$)을 찾았다.
   • 공동 타당성 함수(Joint Feasibility Function): 정확도 목표를 충족하는 데 필요한 최소 쌍 $(\hat{n}, \hat{k})$—즉, 가장 짧은 최근 이력 길이와 최소한의 예측 변수—을 식별하기 위한 통합 규칙을 도입하였다. 선택 과정에서는 샘플 크기($n$)를 먼저 최소화한 후 특성 수($k$)를 최소화하는 것을 우선시한다.

주요 결과

• 최소 샘플 크기: 연구 결과, 예측 성능은 첫 50~100개 샘플에서 빠르게 향상되며 그 이후에는 한계 효용이 체감되는 것으로 나타났다. 평균적으로, 한 호수가 전체 이력의 정확도에 도 달하기 위해서는 (테스트 전 최근 이력으로부터) 약 176개의 학습 샘플이 필요하다.
• 최소 특성 집합: 4개의 핵심 특성인 TPEC(표면 온도), OXIC(용존 산소), SCHMIDT(슈미트 안정도), CONDUCT(전도도)로 구성된 압축된 부분 집합이 13개 특성 베이스라인의 5% 허용 오차 범위 내의 성능을 달야냈다.
• 공동 구성: 공동 타당성 규칙을 적용했을 때, 30개 호수의 중앙값 최소 구성은 64개의 최근 샘플과 1개의 예측 변수였다.
  • 특히, 단일 예측 변수로 충분했던 호수들(30개 중 20개)의 경우, OXIC(용존 산소)가 90%의 빈도로 선택되었고, TPEC가 10%로 선택되었다.
  • 10개의 호수는 축소된 데이터로는 5% 허용 오차를 충족하지 못하여 전체 데이터/전체 특성 베이스라인으로 회귀하였다.

의의 및 주장
본 논문은 호수 모니터링 노력을 최적화하기 위한 실용적이고 데이터 주도적인 프레임워크를 제공한다고 주장한다. 최근 이력 길이와 특성 선택을 고정된 정확도 목표 아래 통합함으로써, 본 연구는 샘플링 우선순위를 설정하기 위한 단순하고 효율적인 규칙을 제공하는 "공동 타당성 전략"을 제시한다.

저자들은 이 접근 방식이 연구자 및 모니터링 프로그램이 다음과 같은 작업을 수행할 수 있게 한다고 단언한다:

1. 자원 부담 감소: 적은 수의 최근 측정치(중앙값 ~64개)와 단일 고가치 예측 변수(흔히 용존 산소)만으로도 신뢰할 수 있는 예측이 가능하다는 점을 식별함으로써, 광범위하고 비용이 많이 들며 노동 집약적인 샘플링 캠페인의 필요성을 줄인다.
2. 표적 모니터링 가능: 광범위하고 드문드문한 샘플링에서 특정하고 중요한 변수에 대한 고빈도 표적 모니터링으로 초점을 전환한다.
3. 기후 탄력성 지원: 수질 저하를 조기에 탐지할 수 있는 확장 가능한 방법을 제공하여, 기후 변화로 악화되는 조류 발생 사건을 예측하는 데 도움을 준다.

연구는 임퓨테이션을 위한 무작위 결측(Missing-At-Random) 가정에 대한 의존성, MDI 특성 중요도의 잠재적 편향, 그리고 5% 허용 오차 및 렉시코그래픽(lexicographic) 선택 규칙의 특정 설계 선택 등의 한계를 인정한다. 저자들은 이러한 결과가 예비적이며 30개 호수의 하위 집합을 기반으로 하고 있음을 명시하며, 향후 전체 데이터베이스로 연구를 확장하고 물리 정보 기반 머신러닝(physics-informed machine learning)을 통합할 계획임을 밝혔다.