Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

기술 요약: 저해상도 위성 영상용 크로스 스케일 사전 학습

문제 제기
원격 탐사에서의 의미 분할은 식량 안보, 재난 관리, 기후 연구와 같은 응용 분야에서 중요합니다. 그러나 이 분야의 딥러닝 성능은 종종 픽셀 수준의 주석 부족으로 인해 제한을 받습니다. 자기 지도 학습 (SSL) 은 방대한 라벨이 없는 영상을 활용함으로써 해결책을 제시하지만, 현재 원격 탐사 SSL 문헌은 주로 Sentinel-1/2(≥10m 지상 샘플 거리) 와 같은 중해상도 (MR) 데이터셋의 가용성으로 인해 해당 데이터에 주로 의존합니다. 고해상도 (HR, ≤5m GSD) 데이터셋은 더 풍부한 공간적 세부 정보를 제공하여 자연스럽게 우수한 성능을 발휘하지만, 비용이 많이 들거나 독점적이거나 접근이 제한된 경우가 많습니다.

HR 데이터만으로 사전 학습하는 단순한 접근법은 더 높은 스펙트럼 차원과 같은 MR 영상의 이점을 포착하지 못하며, MR 입력을 활용하는 하위 작업으로 전이되지 못할 수 있습니다. 반면, MR 데이터만으로 사전 학습하면 HR 영상에서 이용 가능한 공간적 세부 정보를 놓치게 됩니다. 이 연구가 다루는 핵심 과제는 MR 영상의 자기 지도 사전 학습에 HR 데이터셋을 통합하여 MR 데이터의 고유한 이점을 잃지 않으면서 표현 학습을 강화하는 방법입니다.

방법론
저자들은 기존 SSL 프레임워크에 통합되도록 설계된 공간 친밀도 (Spatial Affinity) 구성 요소를 활용한 크로스 스케일 사전 학습 전략을 제안합니다. 이 방법론은 동시성 Sentinel-2(10m) 와 Venus(5m) 영상을 포함하는 실제 페어 데이터셋 (Sen2Venus) 을 사용합니다.

• 아키텍처: 이 구성 요소는 자기 증류 (self-distillation) 를 위한 학생 - 교사 아키텍처를 활용합니다.
  • 학생 인코더: 중해상도 영상 ($I_{MR}$) 에서 패치를 처리합니다. 이 인코더는 호스트 SSL 프레임워크와 공유되며 역전파를 통해 업데이트됩니다.
  • 교사 인코더 (HR 교사): 고해상도 영상 ($I_{HR}$) 에서 패치를 처리합니다. 학생과 동일한 아키텍처를 공유하지만, 붕괴를 방지하기 위해 학생의 매개변수에 대한 지수 이동 평균 (EMA) 을 통해 업데이트됩니다.
• 패치 대응: 스케일 인자 $s=2$가 주어지면, $I_{MR}$의 각 패치는 $I_{HR}$의 $s^2$개의 패치에 해당합니다. 이러한 대응 패치에 대한 HR 교사의 출력은 학생의 출력과 차원을 일치시키기 위해 (이선형, 쌍입방 또는 선형 투영을 통해) 다운샘플링됩니다.
• 손실 함수: 이 방법의 핵심은 Gram Loss입니다. 패치 표현 간의 평균 제곱 오차 (MSE) 를 직접 최소화하는 대신, 학생과 다운샘플링된 교사의 Gram 행렬 (L2 정규화된 표현 간의 쌍별 내적) 간의 MSE 를 최소화합니다. 이 접근법은 두 해상도 간의 센서 특정 차이를 허용하면서도 패치 수준의 공간 구조 차이에 대해서는 패널티를 부과합니다.
• 테스트된 프레임워크: 이 구성 요소는 I-JEPA(블록 샘플링 사용) 와 LatentMIM(무작위 비연속 샘플링 사용) 의 두 가지 마스크 이미지 모델링 (MIM) 프레임워크에서 평가되었습니다.

주요 기여

1. 공간 친밀도 구성 요소: 잠재 공간 초해상도 목적을 통해 기존 SSL 프레임워크가 HR 영상을 활용하여 MR 영상의 더 풍부한 표현을 학습할 수 있게 하는 새로운 모듈.
2. 크로스 스케일 사전 학습 전략: 사전 학습 시 실제 HR 과 MR 페어 데이터를 결합하는 것이 단일 해상도만으로 사전 학습하는 것보다 더 나은 하위 작업 성능을 산출함을 입증.
3. 실증적 검증: 작물 유형, 홍수 매핑, 작물 매핑, 해양 오염물질 탐지 등 네 가지 다양한 MR 의미 분할 작업에 대한 포괄적인 평가를 통해 일관된 개선을 보임.

결과
저자들은 제안된 SA-model(HR/MR 페어로 공간 친밀도 구성 요소와 함께 사전 학습됨) 을 네 가지 데이터셋 (m-SA-Crop-Type, Sen1Floods11, PASTIS, MADOS) 에서 선형 프로빙을 사용하여 MR-model(MR 만으로 사전 학습) 과 HR-model(HR 만으로 사전 학습) 과 비교 평가했습니다.

• 성능: SA-model 은 한 경우를 제외하고 모든 경우에서 MR-model 보다 우수했으며, I-JEPA 와 LatentMIM 프레임워크 모두에서 대부분의 경우 HR-model 보다 우수했습니다. 예를 들어, LatentMIM 을 사용할 때 SA-model 은 m-SA-Crop-Type 에서 23.39 의 평균 교차율 (mIoU) 을 달성한 반면, MR 은 21.41, HR 은 22.39 였습니다.
• 실제 HR 대 가짜 HR: 제거 실험 (Ablation studies) 은 성능 향상이 실제 HR 데이터의 정보적 내용에서 비롯됨을 확인했습니다. MR 영상을 보간하여 생성된 "가짜" HR 데이터로 훈련된 모델은 일반적으로 실제 HR 페어로 훈련된 모델보다 성능이 낮아, 이 방법이 단순히 해상도 스케일링이 아닌 진정한 센서 특정 특성을 학습함을 검증했습니다.
• 제거 실험 (Ablations):
  • Gram Loss: 하위 작업에서 표준 MSE 손실보다 우수한 성능을 보임.
  • 다운샘플링: 쌍입방 또는 선형 투영에 비해 이선형 다운샘플링이 가장 효과적이고 계산 효율이 입증됨.
  • 샘플링: LatentMIM 의 경우 기본 무작위 샘플링보다 블록 샘플링이 성능을 향상시키지 못함.

의의 및 주장
이 논문은 제안된 공간 친밀도 구성 요소가 HR 위성 영상의 더 풍부한 시각적 세부 정보를 활용하면서도 MR 영상의 이점 (예: 스펙트럼 차원과 가용성) 을 유지한다고 주장합니다. 저자들은 HR 과 MR 데이터를 모두 사용하는 효과적인 훈련 전략이 단일 해상도로 훈련된 모델보다 우수함을 보여주는 이 접근법을 강조합니다.

이 연구는 HR 데이터가 가치 있지만, 단순히 그것으로 사전 학습하는 것은 MR 하위 작업에 최적이지 않음을 강조합니다. 실제 HR/MR 페어와 Gram-loss 기반 증류를 사용하여 모델은 HR 영상에 근접하는 수준의 공간적 세부 정보로 MR 패치를 표현하는 방법을 학습합니다. 저자들은 겸손하게도 이 방법이 효과적이지만, 이러한 데이터셋의 희소성과 획득의 어려움으로 인해 향후 연구는 고품질 동시성 HR/MR 영상 페어에 대한 의존도를 줄이는 데 초점을 맞춰야 한다고 결론지었습니다.