REDNET-ML: A Multi-Sensor Machine Learning Pipeline for Harmful Algal Bloom Risk Detection Along the Omani Coast

이 논문은 오만 연안의 유해조류 번식 (HAB) 위험을 탐지하기 위해 Sentinel-2 와 MODIS 위성 데이터 및 객체 탐지기를 융합하고 CatBoost 모델을 활용한 재현 가능한 머신러닝 파이프라인 'REDNET-ML'을 개발하고 엄격한 평가 기법으로 그 성능을 검증한 내용을 담고 있습니다.

핵심

🌊 1. 문제 상황: 보이지 않는 바다의 '붉은 재앙'

바다에 갑자기 해조류가 폭발적으로 번식하면 물이 붉게 변하고, 물고기가 죽으며, 바닷물을 정수해서 먹는 공장이나 발전소에도 치명적인 타격을 줍니다. 이를 **유해 조류 대발생 (HAB)**이라고 합니다.

• 비유: 마치 바다라는 거대한 수영장 물에 갑자기 독이 섞인 붉은 잉크가 쏟아져 들어오는 것과 같습니다. 우리는 이 잉크가 어디에, 언제 쏟아질지 미리 알 수 없기 때문에 큰 피해를 입습니다.

🕵️ 2. 해결책: 세 명의 '탐정'이 합심하다 (REDNET-ML)

REDNET-ML 은 이 위험을 찾아내기 위해 세 가지 다른 정보를 합쳐서 판단하는 3 인 4 각 팀을 꾸렸습니다.

1. 고화질 카메라 (센티넬 -2 위성):
   • 역할: 아주 가까이서 바다를 찍는 고해상도 카메라입니다.
   • 비유: 현미경을 든 세밀한 관찰자입니다. 물결의 미세한 무늬나 색상의 변화를 포착합니다.
2. 넓은 시야의 감시탑 (MODIS 위성):
   • 역할: 넓은 바다 전체의 수온과 물의 색깔을 감시합니다.
   • 비유: 하늘 높이 올라가 넓은 바다를 한눈에 보는 전망대 감시병입니다. 전체적인 기온과 물의 상태를 파악합니다.
3. 패턴 탐지 로봇 (객체 탐지 AI):
   • 역할: 위성 사진에서 '조류가 번식한 것 같은 모양'을 찾아냅니다.
   • 비유: 사진 속의 이상한 무늬를 찾아내는 수사관입니다. "여기 뭔가 이상해!"라고 신호를 보냅니다.

이 세 명의 정보가 모여 하나의 종합 보고서를 작성합니다.

🧠 3. 핵심 기술: "실수하지 않는 학습법"

기존의 인공지능은 종종 "과거의 데이터를 그대로 외워서 시험을 치는" 식으로 작동해, 실제 상황에서는 엉뚱한 답을 내놓기도 합니다. REDNET-ML 은 이를 방지하기 위해 특별한 방법을 썼습니다.

• 비유: 시험을 볼 때, 같은 날 찍은 사진 (같은 구름, 같은 파도) 을 공부용과 시험용으로 나누지 않는 것입니다.
• 실제 적용: "과거의 데이터 (학습용)"와 "미래의 데이터 (시험용)"를 엄격하게 분리했습니다. 그래서 이 AI 는 우연히 찍힌 구름 모양을 외운 게 아니라, 진짜 조류가 번식하는 원리를 배웠습니다. 이를 '누수 없는 평가 (Non-leaky evaluation)'라고 부릅니다.

📊 4. 판단 기준: "경고"와 "행동"의 두 단계

이 시스템은 무조건 "위험하다!"라고 외치는 것이 아니라, 상황의 심각도에 따라 두 단계로 나눕니다.

1. 👀 WATCH (관찰 모드): "뭔가 이상한 기운이 감지되네. 좀 더 자세히 봐야겠어."
   • 비유: 문 앞에 이상한 발자국이 있을 때, 문을 열어보기 전에 창문으로 살짝 엿보는 단계입니다.
2. 🚨 ACTION (행동 모드): "위험도가 높습니다! 즉시 대비하세요!"
   • 비유: 문이 열리고 괴물이 튀어나올 것 같을 때, 비상벨을 누르고 대피하는 단계입니다.

📉 5. 현실적인 문제: "날씨가 변하면 규칙도 변한다"

이 시스템은 2017~2024 년 데이터를 배웠지만, 2025 년 데이터는 조금 달라졌습니다. (바다의 온도나 조류의 성향이 변했기 때문입니다.)

• 비유: 10 년 전의 날씨 패턴을 배운 옷장 관리 로봇이, 갑자기 기후가 변한 2025 년의 옷을 정리하려니 헷갈리는 것과 같습니다.
• 해결책: 시스템은 "과거의 기준이 지금과 다를 수 있다"는 것을 인정하고, 관찰 (WATCH) 은 계속 유지하되, 행동 (ACTION) 은 주기적으로 다시 점검해야 한다고 말합니다.

🏁 6. 결론: 왜 이 프로젝트가 중요한가?

REDNET-ML 은 단순히 "위험하다"고 말해주는 것을 넘어, 어디서, 언제, 얼마나 위험한지를 공장이나 발전소 관리자에게 명확하게 알려줍니다.

• 핵심 메시지: 이 시스템은 실수하지 않는 학습법과 여러 가지 정보를 합치는 지혜를 통해, 바다의 보이지 않는 적 (유해 조류) 을 미리 찾아내어 우리의 물과 생계를 지켜줍니다.

---

한 줄 요약:

"REDNET-ML 은 고화질 카메라, 넓은 감시탑, 패턴 탐지 로봇이 힘을 합쳐, 바다의 붉은 재앙을 미리 찾아내고 '조심해'와 '대피해'라는 두 단계로 우리에게 알려주는 똑똑한 바다 경비대입니다."

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 적조 (Harmful Algal Blooms, HABs) 는 해안 생태계, 수산 자원, 그리고 담수화 시설 및 냉각수 시스템과 같은 산업용 취수구에 심각한 위협이 됩니다. 특히 오만 연안과 오만만 지역에서는 HAB 발생이 빈번한 지역적 우려 사항입니다.
• 현황 및 한계:
  • HAB 의 실제 지표 (Ground Truth) 는 희소하고 지연되며, 라벨링이 불완전하거나 노이즈가 많습니다.
  • 기존 머신러닝 접근 방식은 시공간적 데이터 누수 (Leakage, 예: 동일한 위성 통과 데이터가 학습/테스트 세트에 모두 포함됨) 로 인해 성능을 과대평가하는 경향이 있습니다.
  • 단순한 원격 탐사 데이터만으로는 취수구 (Plant) 단위의 국지적 위험을 정밀하게 파악하기 어렵습니다.
• 목표: 오만 연안의 산업 시설 (Plant) 중심 HAB 위험을 탐지하기 위해, 다중 센서 데이터를 융합하고 데이터 누수가 없는 (Non-leaky) 평가 전략을 갖춘 재현 가능한 머신러닝 파이프라인을 구축하는 것.

2. 방법론 (Methodology)

REDNET-ML 은 다음과 같은 4 단계의 엔드 - 투 - 엔드 파이프라인을 구성합니다.

가. 다중 센서 데이터 융합 (Multi-Sensor Feature Engineering)

시스템은 세 가지 주요 데이터 소스를 통합합니다:

1. Sentinel-2 (광학): 고해상도 (10-20m) 이미지에서 추출된 스펙트럼 지수 (NDWI, FAI 등) 와 텍스처 신호.
2. MODIS Level-3 (해양 색상/열): 대규모 지역의 엽록소-a, 수온 (SST), 광학 특성 등을 제공하는 저해상도 맥락 데이터.
3. 학습된 이미지 증거 (Image Evidence): HAB 와 유사한 패턴을 감지하도록 훈련된 객체 탐지 모델 (Object Detectors) 의 점수 요약값.

나. 레이블 전략 및 데이터 구축 (Label Strategy & Construction)

• 신뢰할 수 있는 레이블 + 약한 레이블: 신뢰할 수 있는 수동 확인 데이터 (Trusted Labels) 와 해양 색상/열 이상치 기반의 휴리스틱으로 생성된 약한 레이블 (Weak/Mined Labels) 을 결합하여 레이블의 희소성 문제를 해결합니다.
• 누수 방지 (Non-leaky Split):
  • 그룹 안전 교차 검증 (Group-safe CV): 동일한 위성 통과 (Overpass) 에서 생성된 칩 (Chip) 이 학습과 테스트 세트에 동시에 포함되지 않도록 '장면 (Scene)' 단위로 분할합니다.
  • 시간 기반 분할: 과거 데이터로 학습하고 미래 데이터로 테스트하여 실제 배포 환경을 시뮬레이션합니다.

다. 의사결정 융합 모델 (Decision Fusion Model)

• 모델: CatBoost를 사용하여 표형 데이터 (Tabular Data) 의 비선형 상호작용을 효과적으로 학습합니다.
• 입력: 탐지기 점수 요약 (최대/중앙값/개수), Sentinel 지수 요약, MODIS 예측 변수, 계절성 인코딩 (Sin/Cos).
• 출력: 보정된 HAB 위험 확률 ($\hat{p}_t$) 및 이진/삼진 경고 상태 (NORMAL, WATCH, ACTION).
• 운영 정책:
  • WATCH: 후보 사건 발견을 위한 민감도 높은 임계값.
  • ACTION: 고신뢰도 에스컬레이션을 위한 임계값.
  • 임계값은 최소 재현율 (Recall $\ge$ 0.60) 을 만족하면서 정밀도 (Precision) 를 최대화하도록 PR 곡선 기반에서 선정됩니다.

라. 구현 및 아키텍처

• 재현성을 위해 노트북과 스크립트를 모듈화하여 구성했습니다.
• 데이터 레이어, 탐지 레이어, 추론 및 후처리, 지리 공간 분석, 보고 및 시각화 레이어로 구조화되어 있습니다.
• SHAP, 특성 중요도, 보정 곡선 등 해석 가능한 아티팩트를 자동 생성합니다.

3. 주요 기여 (Key Contributions)

1. 엄격한 평가 프레임워크: 시공간적 데이터 누수를 방지하기 위한 그룹 안전 및 시간 기반 교차 검증 전략을 적용하여, 실제 배포 환경에서의 모델 성능을 신뢰할 수 있게 평가했습니다.
2. 다중 센서 의사결정 융합: 고해상도 이미지 (Sentinel-2) 의 국지적 특징과 광역 해양 데이터 (MODIS) 를 객체 탐지기의 '증거'로 활용하여 융합하는 새로운 접근법을 제시했습니다.
3. 운영적 실용성: 단순한 분류를 넘어, 특정 시설 (Plant) 단위의 위험을 시각화하고 'WATCH'와 'ACTION' 단계로 나뉜 운영적 경고 시스템을 구축했습니다.
4. 재현성 및 투명성: 모든 코드, 데이터 처리, 평가 지표 (ROC/PR, SHAP 등) 를 공개된 아티팩트로 제공하여 시스템의 투명성을 확보했습니다.

4. 결과 (Results)

• 성능 지표: 그룹 안전 교차 검증 (5 폴드) 에서 평균 AUROC 0.842, 평균 AUPRC 0.731을 달성했습니다.
  • 운영 임계값 (약 0.454) 에서 재현율 0.605, 정밀도 0.682 를 기록했습니다.
• 탐지기 벤치마킹:
  • **Faster R-CNN (ResNet50)**과 SSD MobileNet이 지역적 재현율 (Regional Recall) 과 면적 중첩 (Mean Area Overlap) 에서 가장 우수한 성능을 보였습니다.
  • YOLOv8 은 성능 향상이 미미하여 복잡성 감소를 위해 제외되었습니다.
• 분포 이동 (Drift) 분석: 2025 년 데이터에 대한 일반화 테스트에서 PSI(Population Stability Index) 와 KS 거리가 관찰되었습니다. 이는 과거 데이터로 학습된 임계값이 시간에 따라 변할 수 있음을 시사하며, 'WATCH' 단계는 견고하게 유지하되 'ACTION' 임계값은 주기적인 재보정이 필요함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: REDNET-ML 은 레이블이 희소하고 노이즈가 많은 실제 환경에서도 다중 센서 융합을 통해 운영적으로 유의미한 HAB 위험 신호를 생성할 수 있음을 입증했습니다.
• 시스템 투명성: 블랙박스 모델이 아닌, 특성 중요도와 SHAP 값을 통해 의사결정 근거를 명확히 제시하여 운영자의 신뢰를 높였습니다.
• 한계 및 향후 과제: 레이블의 희소성과 시간적 분포 이동 (Temporal Distribution Shift) 이 주요 한계점입니다. 특히 2025 년 데이터에서 관찰된 분포 변화는 임계값의 주기적인 재보정 (Recalibration) 이나 모델 재학습의 필요성을 시사합니다.

이 프로젝트는 중동 지역의 해안 관리 및 산업 시설 보호를 위해 원격 탐사와 머신러닝을 결합한 새로운 표준을 제시하며, 향후 유사한 환경 모니터링 시스템에 중요한 벤치마크가 될 것으로 기대됩니다.