기술 요약: 모달리티의 변화: 새로운 위성 및 센서에 대한 원격 탐사 모델의 적응

문제 정의

원격 탐사(RS) 모델은 일반적으로 정적인 모달리티 세트(예: 특정 위성 센서 또는 분광 밴드)에 대해 학습되고 배포됩니다. 그러나 지구 관측 환경은 역동적입니다: 새로운 센서를 탑재한 위성이 발사되고, 기존 위성은 퇴역하며, 데이터 가용성이 변화합니다(예: 무료 데이터가 유료화됨). 이는 기존 모델이 학습 시 보지 못한 모달리티를 접했을 때 실패하게 만드는 결정적인 문제를 야기합니다. 예를 들어, Sentinel-2의 12개 밴드 이미지를 기반으로 학습된 모델은 수백 개의 밴드를 가진 새로운 초분광 센서에 대해 예측을 수행할 수 없습니다.

본 논문은 레이블링을 다시 하거나 계산 및 주석 제약으로 인해 처음부터 다시 학습하는 번거로움 없이 모델이 변화하는 모달리티에 적응해야 하는 세 가지 구체적인 시나리오를 식별합니다:

1. 모달리티 전이(Modality Transfer): 기존 모달리티($M_A$)에서 새로운 모달리티($M_B$)로 모델을 전환하면서도 예측 능력을 유지하는 것 (예: LandSAT에서 Sentinel-2로 이동).
2. 모달리티 추가(Modality Addition): 상호 보완적인 정보를 활용하기 위해 기존 모달리티($M_A$)와 함께 새로운 모달리티($M_B$)를 예측에 통합하는 것.
3. 모달리티 피킹(Modality Peeking): 적응 과정에서 레이블이 없는 새로운 모달리티($M_B$)를 관찰함으로써 기존 모달ity($M_A$)에 대한 예측을 개선한 후, 추론을 위해 다시 $M_A$로 돌아가는 것.

기존 문헌은 이러한 시나리오들을 개별적으로 다루거나(예: 전이를 위한 지식 증류, 피킹을 위한 준지도 학습, 추가를 위한 다중 모달 지식 확장), 고정된 모달리티를 가정합니다(예: 지속 학습, 도메인 적응). 레이블이 없는 다중 모달 데이터를 사용하여 이 세 가지 시나리오를 모두 처리할 수 있는 통합된 프레임워크는 존재하지 않습니다.

방법론: DeluluNet

저자들은 기존의 단일 모달 예측 모델($f_0$)을 레이블이 없는 쌍을 이룬 데이터($D_a \subset M_A \times M_B$)를 사용하여 변화하는 모달리티에 적응시키기 위해 설계된 통합 아키텍처인 DeluluNet을 제안합니다. 핵심 개념은 **모달리티 환각(Modality Hallucination)**으로, 존재하는 모달리티로부터 누락된 모달리티의 표현을 예측하는 것입니다.

아키텍처

DeluluNet은 사전 학습된 단일 모달 교사 모델($f_0$, 일반적으로 ViT)을 세 가지 모듈형 구성 요소로 확장합니다:

1. 모달리티 특화 추출(Modality-Specific Extraction):
   • $M_A$ 구성 요소는 $f_0$의 가중치로부터 초기화됩니다.
   • $M_B$ 구성 요소(토크나이저 및 트랜스포머 레이어)는 새로운 모달리티에 특화된 특징을 학습하기 위해 무작위로 초기화됩니다.
2. 마스킹 트랜스포머를 통한 교차 모달 융합(Cross-Modality Fusion via Masking Transformers):
   • 마스크 이미지 모델링(masked image modeling)에서 영감을 받은 이 구성 요소는 모달리티 간의 학습을 촉진합니다.
   • 이는 토큰 수준 마스킹(모달리티 간 토큰을 무작위로 마스킹)과 모달리티 수준 마스킹(전체 모달리티를 부재한 것으로 취급)을 채택합니다.
   • 마스킹 트랜스포머는 교차 주의 집중(cross-attention)을 사용하여 가시적인 토큰을 기반으로 마스킹된 토큰이나 전체 모달리티를 "환각(impute)"합니다. 학습된 쿼리가 다른 모달리티의 가시적인 토큰에 주의를 기울여 누락된 것을 예측합니다.
3. 예측 헤드(Predictor Head):
   • $M_B$ 표현으로부터 예측을 수행하는 작업 특화 헤드($Head_{M_B}$)입니다.

학습 전략

DeluluNet은 두 가지 데이터 분할을 교대로 사용하는 배치 믹싱(batch mixing) 전략을 사용하여 엔드 투 엔드로 학습됩니다:

• 레이블 없는 적응 분할 ($D_a$): 쌍을 이룬 $M_A$ 및 $M_B$ 데이터를 포함합니다. 모델은 마스킹(토큰 및 모달리티 수준)을 적용하고 **증류 손실(Distillation Loss)**을 사용합니다. 모델은 환각된 표현으로부터 예측하는 법을 배우며, 단일 모달 교사 $f_0$로부터 지식을 증류합니다.
• 레이블 포함 분할 ($D_l$): 레이블이 있는 $M_A$ 데이터를 포함합니다. 모델은 $M_B$를 마스킹된(환각된) 상태로 취급하고 실제 레이블에 대해 **교차 엔트로피 손실(Cross-Entropy Loss)**을 적용합니다. 이를 통해 모델은 의사 다중 모달 입력을 사용하여 실제 레이블로부터 학습할 수 있습니다.

손실 함수

학습 목적 함수는 네 가지 손실 항을 결합합니다:

1. 증류 손실(Distillation Loss): 레이블 없는 배치에서 교사 $f_0$와 예측을 정렬합니다.
2. 교차 엔트로피 손실(Cross-Entropy Loss): 레이블이 있는 배치에서 정답(ground truth)과 예측을 정렬합니다.
3. Pre-fusion MSE: 마스킹 트랜스포머를 직접 감독하여, 예측된 CLS 및 패치 토큰이 마스킹된 모달리티의 실제 토큰과 일치하도록 유도합니다.
4. Latent MSE: 디코더를 통해 융합된 표현을 동결된 교사의 펜얼티메이트(penultimate) 표현에 고정합니다.

주요 결과

저자들은 횡단 밴드 변화(Sentinel-2 내) 및 교차 위성 변화(Sentinel-1에서 Sentinel-2로)를 다루는 세 가지 데이터셋(EuroSAT, reBEN, DFC2020)에서 DeluluNet을 평가했습니다.

• 모달리티 전이: DeluluNet은 지식 증류(KD) 및 변환된 교사 매칭(TTM)과 같은 레이블 프리 베이스라인을 일관되적으로 능가했습니다. 특히, 여러 전이 시나리오(예: S2-rgb에서 S2-non-rgb)에서 DeluluNet은 타겟 모달리티에 대한 레이블 없이도 DINOv3의 완전 지도 미세 조정 모델을 능가하며 오라클 다중 모달 파운데이션 모델(RSFMs)에 근접한 성능을 달성했습니다.
• 모달리티 추가: DeluluNet은 단일 모달 베이스라인 $f_0$보다 성능을 개선했으며, 다중 모달 지식 확장(MKE) 베이스라인보다 우수한 성능을 보였습니다. 일부 경우, 레이블이 있는 다중 모달 데이터로 학습된 RSFM 오라클(예: Panopticon, OlmoEarth)과 일치하거나 이를 능가했습니다.
• 모달리티 피킹: DeluluNet은 레이블이 없는 $M_B$의 관측을 활용함으로써 원래 모달리티($M_A$)에 대한 예측을 일관되게 개선했으며, MixMatch와 같은 준지도 학습 베이스라인보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies): 마스킹 트랜스포머, Pre-fusion MSE, Latent MSE 또는 배치 믹싱 중 하나라도 제거하면 모든 시나리오에서 성능 저하가 발생하여, 환각 메커니즘과 특정 손실 항의 필요성을 확인했습니다.
• 계산 비용: DelulaNet은 환각으로 인해 단일 모달 모델보다 계산 비용이 더 많이 들지만, 다중 모달 입력을 처리할 때 기존의 다중 모달 RSFM(Panopticon 등)과 유사한 수준의 비용이 듭니다.

의의 및 주장

본 논문은 DelulaNet이 변화하는 세상에서 재레이블링 및 재학습에 대한 실용적인 레이블 프리 대안을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 통합 프레임워크: 단일 아키텍처 하에서 전이, 추가, 피킹 시나리오를 공동으로 다루는 최초의 방법입니다.
2. 지속 가능성: 파운데이션 모델을 처음부터 다시 사전 학습하거나 새로운 센서마다 방대한 레이블된 데이터셋을 수집하는 지속 불가능한 비용 없이, 기존 모델을 적응시킬 수 있는 경로를 제공합니다.
3. 즉각적인 배포 가능성: 실무자들은 새로운 파운데이션 모델이 개발될 때까지 기다리는 대신, 널리 사용 가능한 레이블 없는 쌍을 이룬 위성 데이터를 사용하여 모듈형 구성 요소를 기존의 미세 조정된 모델에 추가할 수 있습니다.

저자들은 현재의 작업이 정적인 토지 이용 작업과 위치가 일치하는 쌍을 이룬 관측을 가정한다는 점을 언급하며 한계를 인정했습니다. 이들은 시공간적 불일치(예: 재난 모니터링에서의 시간적 불일치)와 파운데이션 모델 자체의 지속적인 자기 지도 학습의 필요성이 향가 중요한 연구 방향임을 강조했습니다. 결론적으로 본 논문은 위성 군집과 함께 원격 탐사 모델의 지속 가능한 진화를 지원하기 위해 다양한 모달리티를 포괄하는 장기적인 벤치마크를 구축할 것을 촉구합니다.