Landsat-Sentinel-2 Algal Bloom Mapping Using Vision Transformers: Model Description, Implementation, and Examples

기술 요약: Vision Transformer를 이용한 Landsat-Sentinel-2 조류 농축(Algal Bloom) 매핑

문제 제별
연안의 조류 농축 모니터링에는 빈번하고, 공간적으로 상세하며, 전 지구적으로 일관된 관측이 필요하다. 거친 해상도의 해양 색상 센서(예: MODIS, OLCI)는 광범위한 종합적 피복을 제공하지만, 중간 정도의 공간 해상도(30–250 m)로 인해 단일 픽셀보다 작은 클럼프(clump)나 라프트(raft) 형태로 형성되는 작고 파편화되었거나 저농도의 조류 농축을 탐지하는 데 한계가 있다. 또한, 연안 지역에서 정확한 수체 반사율을 산출하는 것은 저질 반사, 높은 부유 물질 함량, 육지 인접 효과(land adjacency effects)로 인해 매우 까다롭다. 전통적인 생물 광학적 방법과 분광 지수(예: NDVI, FAI, MCI)는 경험적 임계값에 의존하며, 구름이나 태양 글린트(sun glint)와 같은 대기 아티팩트, 또는 유사한 분광 특성을 가진 비조류 특징물로부터 조류 농축을 구분하는 데 종종 실패한다. 딥러닝(DL)이 원격 탐지 분야에서 유망함을 보여주었으나, 30m 해상도의 Landsat-8/9 및 Sentinel-2 데이터를 이용한 조류 농축 매핑에 대한 적용은 아직 초기 단계이며, 조화된 반사율 제품, 표준화된 레이블링 프로토콜, 공개 가능한 참조 데이터셋이 부족한 실정이다.

방법론
본 연구는 조화된 Landsat-8/9 OLI 및 Sentinel-2 MSI 데이터를 사용하여 30m 해상도의 연안 조류 농축 매핑을 위한 포괄적인 프레임워크를 제시한다.

• 데이터 조화 및 전처리: 저자들은 AQUAVis 파이프라인을 활용하여 조화된 원격 탐사 반사율($R_{rs}$) 제품을 생성하였다. 이 파이프라인은 대기 보정(6SV), 글린트 및 인접 효과 완화, 센서별 분광 밴드패스 조정을 적용한다. 출력물은 30m 해상도의 4개 분광 밴드(Blue, Green, Red, NIR)와 구름/그림자 마스킹을 위한 품질 보증(QA) 밴드로 구성된다.
• 데이터셋 생성: 225개의 식별된 조류 농축 핫스팟으로부터 전 지구적으로 분포된 데이터셋을 구축하였다.
  • 훈련(Training): 2023년의 660개 이미지를 24,265개의 훈련 패치(256×256 픽셀)로 처리하였다.
  • 검증(Validation): 시간적 전이 가능성(temporal transferability)을 평가하기 위해 2024년의 186개 이미지를 12,255개의 검증 패치로 처리하였다.
  • 레이블링(Labeling): 준자동(semi-automatic) 워크플로우가 사용되었다. 초기 마스크는 동적 NDVI 임계값과 비지도 객체 탐지를 사용하여 생성되었다. 이후 분광 지수의 불안정성을 교정하고 레이블이 단순히 분광적 크기가 아닌 형태학적 조류 구조(예: 필라멘트 패턴)를 반영하도록 가색상 합성(Red, NIR, Green)을 사용하여 수동으로 정밀하게 수정하였다. 입력 특징에는 4개의 $R_{rs}$ 밴드와 추가 채널로서의 NDVI 및 Floating Algae Index(FAI)가 포함되었다.
• 모델 아키텍처: 다섯 가지 딥러닝 모델이 구현 및 비교되었다:
  1. ResUNet: 컨텍스트 인코딩과 잔차 연결(residual connections)을 갖춘 CNN 기반 인코더-디코더(베이스라인).
  2. Vanilla Vision Transformer (ViT): 자기 주의(self-attention) 메커니즘을 갖춘 표준 트랜스포머 아키텍처.
  3. Swin Transformer: 국부적 컨텍스트를 포착하고 계산 복잡도를 줄이기 위해 윈도우 기반 다중 헤드 자기 주의를 사용하는 계층적 ViT.
  4. SegFormer: Mix Transformer (MiT) 인코더와 경량 디코더를 결리한 하이브리드 모델.
  5. Prithvi (MAE): Harmonized Landsat-Sentinel 데이터로 사전 학습된 IBM/NASA의 파운데이션 모델(foundational model)로, SegFormer 디코더로 미세 조정(fine-tuning)됨.
• 훈련 전략: AdamW 옵티마이저, 복합 손실 함수(Dice, Cross-Entropy, IoU), 그리고 경계부를 강조하기 위한 거리 기반 가중치 맵을 사용하여 모델을 훈련시켰다. 수렴을 용이하게 하기 위해 사전 학습된 가중치(ImageNet-1k 또는 Prithvi)가 사용되었다.

주요 기여

1. ViT의 첫 적용: 본 연구는 조류 농축 세그멘테이션에 Vision Transformer 아키텍처(Vanilla ViT, Swin, SegFormer)를 적용한 최초의 연구이다.
2. 글로벌 참조 데이터셋: 다양한 광학 수체 유형(OWTs)과 조류 형태를 포괄하는 전 지구적으로 분포된 30m 조류 농축 마스크 데이터셋(36,520개 패치) 개발 및 확장 가능한 준자동 레이블링 워크플로우 구축.
3. 운영 프레임워크: 지역 특화적 접근 방식을 넘어, Harmonized Landsat-Sentinel (HLS) 가상 성단(virtual constellation)을 이용한 일관된 중간 해상도 조류 모니터링을 위한 파이프라인 확립.

결과

• 모델 성능: 모든 딥러닝 모델은 부유 조류 농축을 탐지하는 데 강력한 능력을 입증하였다.
  • ResUNet은 균형 잡힌 누락(omission, 9.88%) 및 오탐(commission, 56.59%) 오류와 함께 가장 높은 전체 F1-score(0.58)를 달 기록하였다.
  • Swin Transformer는 ResUNet과 유사한 성능(F1-score 0.57)을 보였으며, 공간적 파편화(spatial fragmentation)를 처리하는 데 탁월한 견고함을 보였다.
  • SegFormer는 가장 높은 재현율(recall, 0.92)을 달성했으나, 과잉 세그멘테이션(over-segmentation) 경향을 보이는 높은 오탐 오류(64.96%)를 겪었다.
  • Vanilla ViT와 **Prithvi (MAE)**는 낮은 성능을 보였으며, 특히 Prithvi는 사전 학습 도메인(일반 지구 관측)과 수체 조류의 특정 분광/공간적 특성 간의 불일치로 인해 가장 높은 누락 오류(33.26%)를 나타냈다.
• 환경적 견고성: Swin Transformer와 ResUNet 모델은 탁도 높은 물과 맑은 물을 포함한 다양한 광학 수체 유형(OWTs) 전반에서 성능을 유지하였다. 결정적으로, 까다로운 대기 조건(얇은 구름 및 강한 태양 글린트) 하에서 딥러닝 모델은 전통적인 분광 지수(NDVI 및 FAI)가 겪었던 광범위한 오탐(글린트 영향 지역에서의 잘못된 탐지)을 효과적으로 회피하였다.
• 해상도 이점: 1-km MODIS 유도 제품과의 비교를 통해, 30m 해상도 모델이 더 거친 센서에서는 보이지 않는 파편화되고 불규칙한 조류 구조를 탐지할 수 있음을 확인하였다. MODIS는 조류 범위의 하한선을 제공하는 반면, 30m 맵은 훨씬 더 상세한 공간 패턴을 드러냈다.

의의 및 주장
저자들은 본 연구가 수중 원격 탐사 분야의 새로운 지평을 열었다고 주장한다. Vision Transformer가 역동적인 연안 환경에서 미세한 조류 특징을 성공적으로 묘사할 수 있음을 입증함으로써, 본 연구는 거친 글로벌 모니터링에서 확장 가능한 중간 해상도 운영 시스템으로의 전환을 지원한다. 본 연구는 딥러닝이 분광-공간적 컨텍스트를 활용함으로써, 특히 대기 및 표면 노이즈로부터 실제 조류를 구분하는 데 있어 전통적인 임계값 기반 지수의 한계를 극복할 수 있음을 강조한다. 저자들은 본 프레임워크가 잠재적인 30m 조류 농축 매핑 시스템을 위한 기초적인 단계이며, 이를 통해 조기 경보 능력과 생태학적 평가를 개선할 수 있다고 제언한다. 또한, 모델이 우수한 성능을 보이지만, 비수중 도메인의 사전 학습 모델에 대한 의존도를 줄이고 일반화 성능을 높이기 위해 수중 데이터셋으로 훈련된 도메인 특화 파운데이션 모델 개발이 향후 과제임을 인정한다.