Densification and forecasting of Sentinel-2 time series from multimodal SAR and Optical satellite data using deep generative models

본 논문은 임의의 과거 또는 미래 날짜에 광학 위성 이미지를 생성하기 위해 다중 모달 Sentinel-1 SAR 및 Sentinel-2 광학 데이터를 활용하는 확률적 딥러닝 프레임워크를 제안하며, 이는 구름에 가려진 관측의 시간적 밀도 증가와 미래 예측을 모두 효과적으로 해결하면서 생성 불확실성을 명시적으로 모델링한다.

핵심

농부의 밭이 계절에 따라 변하는 영화를 보려고 한다고 상상해 보세요. 하지만 프로젝터가 고장 났습니다. 때로는 필름이 건너뛰고, 때로는 정지 화면 (구름) 으로 덮이며, 때로는 릴 자체가 완전히 사라집니다. 여러분에게는 두 가지 유형의 필름 스트립이 있습니다:

1. 광학 필름 (Sentinel-2): 밭의 아름답고 다채로운 사진이지만, 하늘이 맑을 때만 작동합니다. 구름이 끼면 사진은 하얗게 변해 쓸모가 없습니다.
2. 레이더 필름 (Sentinel-1): 구름과 비를 뚫고 '볼 수 있는' 흑백의 거친 사진이지만, 작물의 생생한 색감을 보여주지는 못합니다.

문제:
과학자들은 지구의 완벽하고 연속적인 다채로운 영화를 원합니다. 하지만 구름 때문에 광학 필름에는 거대한 공백이 존재합니다. 기존 도구들은 두 개의 알려진 사진 사이의 '빈칸을 채우기' (건너뛰어진 장면의 중간에 무슨 일이 일어났는지 추측하는 것) 를 시도할 수 있지만, 영화가 끝난 후의 일을 추측할 수는 없으며, 그 추측에 대해 얼마나 확신하는지 알려줄 수도 없습니다.

해결책:
저자들은 마스터 편집자처럼 행동하는 똑똑한 AI '감독'을 구축했습니다. 이 감독은 고장 난 광학 필름과 거친 레이더 필름을 가져와 어떤 날짜든 (과거의 공백을 채우거나 미래의 다음 장면을 예측하는 경우) 매끄럽고 연속적인 다채로운 영화를 만들어냅니다.

다음은 간단한 비유를 사용하여 AI 감독이 작동하는 방식입니다:

1. 두 개의 전문적인 눈

AI 는 데이터를 보기 위해 두 개의 분리된 '눈'을 가지고 있습니다.

• 광학 눈은 다채로운 사진을 봅니다.
• 레이더 눈은 흑백 사진을 봅니다.
  두 눈이 같은 방식으로 보도록 강요하는 대신, AI 는 먼저 각자가 자신의 언어를 배우도록 합니다. 이는 화가와 조각가가 협업하기 전에 따로 작업하는 것과 같습니다. 화가는 색상을 이해하고, 조각가는 형태와 구조를 이해합니다.

2. '시간 여행' 달력

AI 는 단순히 사진을 보는 것이 아니라, 그 사진이 언제 촬영되었는지 알고 있습니다. 특별한 '시간 여행 달력'을 사용하기 때문입니다.

• AI 가 다음 주 화요일의 사진을 예측해야 한다면, "지난주 월요일에 밭은 어떻게 보였을까? 3 주 전은 어땠을까?"라고 묻습니다.
• '지금'과 '그때' 사이의 거리를 계산합니다. 이는 사진이 흐릿하더라도 밭이 봄과 가을에 매우 다르게 보인다는 것을 이해하는 데 도움이 됩니다.

3. 스마트 스포트라이트 (교차 주의)

이것이 AI 의 가장 영리한 트릭입니다. 무대 위에 많은 배우들 (서로 다른 위성 사진) 이 있다고 상상해 보세요. AI 는 최종 장면을 위해 어떤 배우를 들어야 할지 결정해야 합니다.

• 시나리오 A (주변이 맑은 하늘): 어제 찍은 맑고 다채로운 사진이 있다면, 스포트라이트가 그 사진에 밝게 비칩니다. AI 는 색상이 이미 있으므로 레이더 사진을 무시합니다.
• 시나리오 B (강한 구름): 최근의 다채로운 사진들이 구름 (흰색 정지 화면) 으로 덮여 있다면, AI 는 "이건 쓸 수 없어!"라고 깨닫습니다. 즉시 스포트라이트를 레이더 사진으로 돌립니다. 흑백이기는 하지만, 그들은 작물의 '형태'를 보여주어 AI 가 색상이 어떻게 되어야 할지 추측하는 데 도움을 줍니다.
• 시나리오 C (구름의 함정): 어제 찍은 사진이 구름으로 덮여 있다면, AI 는 시간이 '가깝다' 하더라도 그것을 완전히 무시하도록 학습합니다. 흐린 사진은 일주일 전의 맑은 사진보다 나쁘다는 것을 알고 있기 때문입니다.

4. '신뢰도 미터' (불확실성)

대부분의 AI 도구는 단순히 사진을 주고 최선의 결과를 기대합니다. 하지만 이 AI 는 다릅니다: 이 AI 는 또한 **'신뢰도 미터' (불확실성 지도)**를 건네줍니다.

• AI 가 어제의 맑은 사진을 바탕으로 추측한다면, 미터는 "나는 100% 확신한다"고 말합니다.
• AI 가 두 달 후 밭이 어떻게 보일지 추측하거나, 두꺼운 폭풍을 뚫고 추측해야 한다면, 미터는 "이 부분은 그렇게 확신하지 못한다"고 말합니다.
• 이것이 중요한 이유: 단순히 "비가 올 것이다"라고 말하는 대신, 기상 예보관이 "비가 오겠지만, 60% 만 확신한다"고 말하는 것과 같습니다. 이는 사용자가 언제 이미지를 신뢰하고 언제 조심해야 하는지 알 수 있게 합니다.

5. 결과

이 논문은 실제 농지 데이터로 이 '감독'을 테스트했습니다:

• 공백 채우기: 특히 빠르게 변하는 작물 (성장하는 밀 등) 의 경우, 단순한 수학 트릭이나 이전 AI 모델보다 더 잘 수행하여 영화에서 누락된 날들을 성공적으로 재구성했습니다.
• 미래 예측: 마지막 사진이 촬영된 후 몇 주가 지난 밭의 모습을 추측할 수 있었습니다. 완벽하지는 않았습니다 (추측할수록 이미지가 더 흐릿해졌습니다) 하지만, 일반적인 색상과 형태는 올바르게 유지했습니다.
• '눈' 실수: 저자들은 AI 가 눈에 혼란을 겪는다고 인정합니다. 구름으로 훈련되었기 때문에 때로는 눈을 또 다른 유형의 구름으로 간주하고 아래쪽 지면을 보여주기 위해 눈을 '지우려고' 시도하는데, 이는 잘못되었습니다. 또한 매우 밝은 도시 불빛에도 혼란을 겪습니다.

요약

이 논문은 한 박자도 놓치지 않고 지구의 이야기를 보는 새로운 방식을 제시합니다. 구름에 막히는 '색상' 카메라와 구름을 뚫고 보는 '형태' 카메라를 결합하고, AI 에게 어떤 카메라를 언제 신뢰해야 하는지 가르침으로써, 누락된 영화 장면을 채우고 미래 장면을 예측할 수 있는 시스템을 만들었습니다. 결정적으로, 이 시스템은 자신의 예측을 얼마나 신뢰하는지 알려주며, "여기서는 추측 중입니다"라고 인정하는 책임감 있는 편집자처럼 행동합니다.

기술 요약

기술적 요약: 다중 모달 SAR 및 광학 데이터로부터의 Sentinel-2 시계열의 밀집화 및 예측

문제 정의

광학 위성 이미지 시계열 (SITS) 은 농업, 기후 모니터링, 지표면 분석과 같은 지구 관측 응용 분야에서 중요합니다. 그러나 구름 덮임과 스와프 (swath) 가장자리로 인한 획득 간격 및 불규칙한 샘플링으로 인해 그 활용도가 심각하게 제한됩니다. 기존 딥러닝 접근법은 관측된 시간 창 내에서 구름 제거와 시간적 밀집화 (보간) 를 성공적으로 처리해 왔으나, 두 가지 주요 한계에 직면해 있습니다:

1. 예측 기능 부재: 대부분의 방법은 사용 가능한 데이터의 시간적 범위 내 간격 재구성에만 제한되어 미래 관측 (외삽) 을 예측할 수 없습니다.
2. 불확실성 정량화 부재: 기존 모델은 일반적으로 예측의 신뢰도나 확신을 명시적으로 정량화하지 않은 점 추정치를 제공하며, 이는 하류 의사결정에 중요합니다.
3. 데이터 제약: 많은 접근법은 시간적으로 정렬된 다중 모달 입력이나 명시적인 구름 마스크에 의존하여, 실제 세계의 희소하고 불규칙한 시나리오에서 견고성이 제한됩니다.

방법론

저자들은 희소하고 불규칙하며 다중 모달인 시계열 (Sentinel-2 광학 및 Sentinel-1 SAR) 로부터 임의의 과거 (보간) 또는 미래 (외삽) 날짜에 광학 이미지를 생성하도록 설계된 확률론적 딥러닝 프레임워크를 제안합니다. 이 접근법은 대상 조건부 이미지 생성 문제로 공식화됩니다.

아키텍처 개요

모델은 세 가지 주요 구성 요소로 구성됩니다:

1. 공간 특징 추출:

   • 별도의 2D 합성곱 인코더가 Sentinel-2(RGB-NIR) 및 Sentinel-1(VV/VH) 데이터를 독립적으로 처리하여 모달리티별 공간 패턴을 포착합니다.
   • 공간 피라미드 풀링 (SPP) 메커니즘이 미세한 공간 세부 정보를 보존하고 과도한 평활화를 방지하면서 다중 스케일 컨텍스트 정보를 집계하는 데 사용됩니다.
   • 입력 시퀀스는 시간 모델링 전에 공간 차원에서 각 획득을 독립적으로 처리하도록 재구성됩니다.

2. 시간 인코딩 및 크로스 어텐션:

   • 시간 인코딩: 모델은 불규칙한 샘플링을 처리하기 위해 시간을 명시적으로 인코딩합니다.
     • 목표 날짜($d_{target}$) 는 계절성을 포착하기 위해 연중 요일 (DOY) 기반의 연속 표현을 사용하여 인코딩됩니다.
     • 입력 획득 날짜($d_i$) 는 목표 날짜에 상대적으로 ($\Delta d = d_i - d_{target}$) 인코딩되어 시간적 거리와 방향 (과거/미래) 을 모두 포착합니다.
   • 크로스 어텐션 메커니즘: 목표 날짜의 시간 인코딩이 쿼리로 작용하고, 모든 사용 가능한 Sentinel-1 및 Sentinel-2 획득의 시공간 토큰이 키와 값으로 작용합니다.
   • 이 메커니즘을 통해 모델은 명시적인 구름 마스크나 시간적으로 정렬된 입력 없이도 시간적으로 가장 관련성 높은 관측에서 정보를 선택적으로 집계할 수 있습니다. 모델은 신뢰할 수 있는 관측에 가중치를 부여하고 신뢰할 수 없는 것들 (예: 구름이 낀 픽셀) 을 무시하도록 엔드 투 엔드로 학습합니다.

3. 확률론적 디코더:

   • 단일 결정론적 이미지를 예측하는 대신, 디코더는 각 스펙트럼 대역에 대해 픽셀 단위 라플라스 분포의 매개변수 (평균 $\mu$ 및 스케일 $b$) 를 예측합니다.
   • 라플라스 분포는 큰 예측 오차에 더 강건하고 가우스 가정보다 과도한 평활화를 줄이는 더 두꺼운 꼬리를 가지기 때문에 선택되었습니다.
   • 모델은 재구성된 광학 이미지 ($\mu$) 와 불확실성 지도 (스케일 매개변수 $b$에서 유도됨) 를 모두 출력합니다.
   • 학습은 라플라스 분포의 음의 로그 가능도를 최소화하여 수행됩니다.

주요 기여

1. 통합 보간 및 외삽: 간격 채우기에만 국한된 이전 작업과 달리, 이 프레임워크는 임의의 목표 날짜에 이미지를 생성하여 관측 창 내 재구성과 그 너머의 예측을 모두 지원합니다.
2. 명시적 불확실성 모델링: 확률론적 공식화는 잘 보정된 픽셀 단위 불확실성 추정을 제공하며, 데이터가 희소하거나 시간적으로 멀리 떨어져 있을 때 예측 신뢰도의 척도를 제공합니다.
3. 견고한 다중 모달 융합: 이 접근법은 외부 구름 마스크나 엄격한 시간 정렬에 의존하지 않고 Sentinel-1 SAR 및 Sentinel-2 광학 데이터를 공동으로 활용합니다. 크로스 어텐션 메커니즘은 광학 관측이 누락되거나 오염되었을 때 SAR 데이터를 적응적으로 활용합니다.
4. 엔드 투 엔드 학습: 모델은 구름 마스크와 같은 전처리 단계가 필요 없이 불규칙한 샘플링과 구름 오염을 암시적으로 처리하도록 학습합니다.

실험 결과

이 방법은 다양한 지형 (농업 지역 중심) 을 아우르는 Sentinel-1 및 Sentinel-2 패치 (96x96 픽셀) 데이터셋에서 평가되었습니다.

보간 성능

• 정량적 지표: 제안된 모델은 모든 토지 피복 유형 (도시, 숲, 농경지) 에서 MAE, RMSE, PSNR 측면에서 선형 보간 기준선 및 U-TILISE(광학 전용 시퀀스 투 시퀀스) 모델보다 우수한 성능을 보였습니다.
• 동적 지역: 성능 차이는 농경지 지역에서 가장 두드러졌으며, 여기서 모델은 선형 보간 및 광학 전용 모델이 정확하게 모델링하지 못한 복잡하고 비선형적인 계절적 역학을 성공적으로 포착했습니다.
• 정성적 분석: 큰 시간 간격이 있는 시나리오에서 모델은 기준선보다 더 선명한 재구성을 생성했습니다. 특히 재구성 난이도가 높은 영역 (예: 큰 간격) 은 더 높은 예측 불확실성을 보였으며, 이는 일관된 불확실성 추정을 입증합니다.

외삽 성능

• 모델은 외삽의 본질적 어려움에도 불구하고 방사 측정 일관성을 유지하면서 타당한 미래 관측을 성공적으로 생성했습니다.
• 오차는 보간보다 높았지만, 모델은 긴 간격 (예: 1 개월 20 일) 동안 주요 식생 역학 (예: NDVI 변화) 을 보존했습니다.
• 불확실성 지도는 외삽 중 신뢰도가 낮은 영역을 정확하게 강조했습니다.

제거 연구 (Ablation Studies)

• 다중 모달 대 광학 전용: Sentinel-1 SAR 데이터 포함은 광학 전용 변형에 비해 일관되게 성능을 향상시켰습니다 (MAE/RMSE 감소, PSNR 증가). 이는 구름이 끼거나 희소한 조건에서 SAR 의 구조적 정보의 가치를 확인시켜 줍니다.
• 시간 인코딩: 상대적 시간 인코딩($\Delta d$) 사용은 절대 날짜 인코딩보다 성능이 훨씬 우수했으며, 목표 날짜까지의 시간적 오프셋을 네트워크에 명시적으로 알리는 것이 성능에 중요함을 시사합니다.
• 어텐션 분석: 어텐션 가중치를 시각화한 결과, 모델이 적응적으로 초점을 이동하는 것이 드러났습니다. 가용할 때 시간적으로 가까운 광학 데이터에 크게 의존하지만, 광학 데이터가 없거나 심하게 구름이 끼었을 때 가장 가까운 SAR 획득에 대한 어텐션을 크게 증가시킵니다.

중요성 및 한계

중요성:
이 논문은 이 프레임워크가 예측과 불확실성 정량화라는 이중 과제를 해결함으로써 연속적이고 신뢰할 수 있는 광학 시계열 생성에서 한 걸음 전진했다고 주장합니다. 잘 보정된 불확실성 추정을 제공할 수 있는 능력은 의사결정 지원, 시나리오 분석 및 위험 평가가 필요한 응용 분야에서 핵심 기여로 강조됩니다. 수동 마스크 없이 SAR 와 광학 데이터를 적응적으로 융합하는 것은 실제 세계의 데이터 불규칙성에 대한 견고한 접근 방식을 보여줍니다.

한계:
저자들은 몇 가지 한계를 인정합니다:

• 극단적 반사율: 훈련 분포의 정규화로 인해 모델은 매우 높은 반사율 값 (예: 인공 표면, 밝은 작물) 을 과소평가하는 경향이 있습니다.
• 눈과 산: 모델은 산악 지역이나 눈 덮인 지역에 대한 훈련이 부족합니다. 눈과 구름을 자주 혼동하여 눈 신호를 보존하는 대신 underlying 표면 (예: 토양) 을 재구성하려 하여 물리적으로 잘못된 예측을 초래합니다.
• 분포 외 (Out-of-Distribution): 모델은 훈련 세트에 존재하지 않는 조건 (예: 눈) 에서 견고성이 감소하지만, 관련된 높은 불확실성이 경고 지표 역할을 합니다.

저자들은 이 프레임워크가 일반적인 지표면 모니터링에 효과적이지만, 향후 연구는 눈, 산과 같은 다양한 환경 조건을 포함하도록 훈련 데이터셋을 확장하고, 고반사 표면 간 구분을 개선하기 위해 추가 스펙트럼 대역을 통합하는 데 초점을 맞춰야 한다고 결론지었습니다.