Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

기술 요약: Sentinel-1 및 Sentinel-2 다중 시계열 데이터를 활용한 잎면적지수 (LAI) 추정

문제 제기
잎면적지수 (LAI) 는 생태계 건강, 식물 생산성, 탄소 순환을 평가하는 데 필수적인 지표입니다. 전통적인 지상 기반 방법 (파괴적 샘플링, 이형 방정식) 은 정확한 국소 데이터를 제공하지만 공간적 범위가 부족합니다. 위성 원격 탐사는 지역부터 전 세계까지의 모니터링에 대한 해결책을 제시하지만, 광학 데이터 (예: Sentinel-2) 는 구름에 의해 자주 방해받아 직접 측정을 차단하고 데이터 가용성을 감소시킵니다. LAI 예측을 위한 기존 딥러닝 접근법은 종종 단일 시점, 단일 센서 유형 (광학 또는 레이더) 에 의존하거나 픽셀을 독립적으로 처리하여 인접 픽셀로부터의 가치 있는 문맥 정보와 다중 센서 데이터의 상호 보완적 특성을 무시합니다.

방법론
저자들은 Sentinel-1(레이더) 과 Sentinel-2(다중 분광) 위성으로부터의 다중 시계열 데이터를 통합하는 픽셀 단위 LAI 예측을 위한 새로운 딥러닝 프레임워크를 제안합니다. 방법론의 핵심은 이질적인 입력 모달리티와 시계열 의존성을 처리하도록 설계된 맞춤형 심층 신경망 아키텍처입니다.

• 데이터셋 구성: 이 연구는 유럽의 다양한 지역에서 공개된 Sentinel-1 및 Sentinel-2 데이터를 활용합니다. 샘플은 1 주일 이내로 간격이 떨어진 세 개의 연속된 시점 ($T \in \{t-2, t-1, t\}$) 으로 구성됩니다. 입력에는 다음이 포함됩니다:

  • Sentinel-1 레이더 데이터 (VH 및 VV 편파).
  • 이전 시점에 대한 Sentinel-2 유래 LAI 지도 (Sen2Cor 프로세서를 통해 생성된 구름, 수역, 육지 등을 식별하는 의미적 마스크 포함).
  • 연중 요일을 나타내는 사인과 코사인 값으로 인코딩된 계절성 정보.
  • 참값은 시점 $t$의 LAI 지도입니다.
  • 데이터셋은 일반화를 테스트하기 위해"비구름", "구름", 그리고"고유 지역"(체코 공화국 및 이탈리아) 으로 분할됩니다.

• 아키텍처: 모델은 두 개의 병렬 인코더와 단일 디코더 (그림 1) 를 특징으로 합니다:

  1. 인코더 1: Sentinel-1 레이더 데이터, 의미적 마스크, 그리고 계절성을 처리합니다.
  2. 인코더 2: 과거 Sentinel-2 LAI 값 ($t-2, t-1$), 마스크, 그리고 계절성을 처리합니다.
  3. 디코더: 두 인코더의 특징 맵을 연결하여 최종 픽셀 단위 LAI 예측을 생성하는 U-Net 구조입니다. 이 설계는 중복을 줄이기 위해 다중 시계열 데이터의 초기 축소를 우선시합니다.

• 학습 전략: 아키텍처의 복잡성으로 인해 두 단계 학습 접근법이 사용됩니다:

  1. 사전 학습: 각 인코더는 LAI 를 예측하기 위해 픽셀 단위 합성곱 계층과 함께 별도로 학습되며, 평균 제곱 오차 (MSE) 를 최적화합니다.
  2. 종단 간 미세 조정: 사전 학습된 가중치가 전체 네트워크에 통합됩니다. 모델은 중간 감독을 사용하여 최적화되는데, 여기서 손실 함수는 최종 디코더 출력의 MSE 와 중간 인코더 단계의 출력을 결합합니다. 손실 함수는 다음과 같이 정의됩니다:
     $$Loss = MSE(LAI_{gt}, LAI_{dec}) + \alpha \cdot MSE(LAI_{gt}, LAI_{enc1}) + \beta \cdot MSE(LAI_{gt}, LAI_{enc2})$$
     여기서 $\alpha$와 $\beta$는 중간 단계의 중요도를 가중치로 부여하는 하이퍼파라미터 (각각 0.1 과 0.15 로 설정됨) 입니다. 손실 계산은 구름으로 덮인 픽셀을 명시적으로 제외합니다.

주요 결과
제안된 방법은 256x256 이미지 섹션으로 구성된 테스트 세트에서 평가되었습니다.

• 성능: 전체 모델은 비구름 데이터에서 RMSE 0.058및 $R^2$점수 0.930을 달성했습니다.
• 절차적 분석 (Ablation Studies):
  • Sentinel-1 데이터만 사용하면 결과가 부신했습니다 ($R^2 = 0.434$).
  • Sentinel-2 데이터만 사용 (마스크 및 계절성 포함) 한 경우 잘 수행되었으나 ($R^2 = 0.903$), 구름이 낀 데이터에서는 현저히 저하되었습니다 ($R^2 = -0.294$).
  • 결합된 접근법 (모든 입력) 은 데이터셋 전반에 걸쳐 견고한 성능을 유지했으나, "고유 지역"(미확인 위치) 에서는 더 높은 오차율을 보여 일부 위치별 편향이 있음을 시사했습니다.
• 비교: 딥러닝 접근법은 공간적 문맥 없이 단일 픽셀 데이터로 테스트되었을 때 Multi-Linear Regression($R^2 = -0.0445$) 및 Random Forest($R^2 = -0.0166$) 와 같은 전통적인 픽셀 단위 기준선보다 훨씬 우수한 성능을 보였습니다.

의의 및 주장
이 논문은 심층 신경망을 통해 Sentinel-1 및 Sentinel-2 데이터의 결합된 다중 시계열 정보를 효과적으로 활용하는 픽셀 단위 LAI 예측에 대한 선구적인 조사를 제시한다고 주장합니다. 주요 기여 사항은 다음과 같습니다:

1. 새로운 아키텍처: 특정 센서 모달리티에 맞춘 이중 병렬 인코더의 사용과 계절성 및 공간적 문맥을 고려하는 디코더에 의한 통합.
2. 복잡성 처리: 다중 모달 입력의 복잡성을 관리하고 효과적인 특징 표현을 보장하기 위한 중간 감독 및 사전 학습의 구현.
3. 문맥 인식: 이전 연구들의 빈번한 한계를 해결하기 위해 독립적인 픽셀 예측을 넘어 전역 문맥과 인접 픽셀 정보를 활용.
4. 공개 기여: 저자들은 향후 분야의 개선을 촉진하기 위해 코드와 기여 사항을 공개했습니다.

저자들은 겸손하게도 이 방법이 잘 수행되지만, 데이터 불균형 (특히 구름이 낀 학습 샘플의 부족) 과 완전히 새로운 지리적 위치로의 일반화에 관한 과제가 남아 있다고 지적합니다. 향후 연구는 구름이 낀 입력에 대한 손실 함수에 더 높은 가중치를 부여하고 지형 또는 기상 데이터와 같은 추가 메타 정보를 통합하는 것이 도움이 될 수 있다고 제안합니다.