기술 요약: SpectralEarth-FM

문제 제기

지구 관측 (EO) 기반 모델 (FMs) 은 increasingly 다중 센서 사전 학습을 채택하여 다중 분광 영상 (MSI), 합성 개구 레이더 (SAR), 그리고 파생된 지리 공간 레이어를 통합하고 있습니다. 그러나 고차원적이고 스펙트럼적으로 연속적인 측정 (~10nm 대역폭) 을 제공하는 초분광 영상 (HSI) 은 이러한 다중 모달 프레임워크에서 여전히 과소 대표되고 있습니다. 반대로, 기존 HSI 기반 모델은 주로 HSI 데이터만으로 훈련되어, HSI 와 공존하는 MSI, SAR, 열 관측의 결합된 사전 학습 및 융합은 아직 탐구되지 않았습니다.

현재의 모델링 접근법은 HSI 를 통합할 때 다음과 같은 특정 과제에 직면해 있습니다:

1. 스펙트럼 복잡성: HSI 는 강한 대역 간 상관관계와 센서 의존적 노이즈를 포함하므로, 단순한 패치 투영이 아닌 명시적인 스펙트럼 - 공간 처리가 필요합니다.
2. 이질성: HSI 를 저채널 센서 (MSI, SAR, 지표면 온도) 와 통합하려면 광대역 광학 입력을 지원하면서도 정교한 스펙트럼 처리를 유지하는 아키텍처가 필요합니다.
3. 데이터 부족: 우주선 HSI 와 주요 EO 모달리티 (Sentinel-2, Landsat, Sentinel-1) 를 공통 지리적 발자국 (footprint) 에서 매칭한 대규모 공간 정렬 데이터셋이 부족합니다.

방법론

1. 데이터셋: SpectralEarth-MM

대규모 사전 학습을 가능하게 하기 위해, 저자들은 우주선 HSI 임무를 중심으로 한 다중 센서 데이터셋인 SpectralEarth-MM을 구축했습니다.

• 출처: 이 데이터셋은 EnMAP, EMIT, DESIS 세 가지 센서의 HSI 를 기반으로 합니다.
• 공존: 이들은 Sentinel-2, Landsat-8/9(MSI 및 지표면 온도), 그리고 Sentinel-1(SAR) 과 공간적으로 정렬되어 있습니다.
• 규모: 이 데이터셋은 약 200 만 개의 전 세계적으로 분포된 위치를 커버하며, 2500 만 개의 지리 참조 패치와 40TB 이상의 데이터로 구성됩니다.
• 구축: 파이프라인은 센서별 품질 관리 (구름 스크리닝, 지리 참조 확인), 겹치지 않는 $(3.84 \text{ km})^2$ 발자국으로의 패치 추출, 그리고 희귀 센서 구성을 보존하면서 공간적 및 의미적 중복을 줄이기 위한 AlphaEarth 임베딩을 사용한 계층적 재균형을 포함합니다.

2. 아키텍처: SpectralEarth-FM

저자들은 이질적인 스펙트럼 차원을 위해 설계된 계층적 트랜스포머인 SpectralEarth-FM을 제안합니다. 이 아키텍처는 네 가지 주요 구성 요소로 이루어져 있습니다:

• 스펙트럼 토큰화 (HSI): 표준 패치 투영과 달리, HSI 입력은 센서별 스펙트럼 토크나이저를 거칩니다. 공간 패치 내의 대역들은 연속적인 그룹으로 분할되어 전용 투영을 통해 임베딩되고, **스펙트럼 트랜스포머 (SpecTr)**에 의해 처리됩니다. 학습 가능한 스펙트럼 위치 인코딩이 순서 정보를 주입합니다. 결과적으로 생성된 그룹 토큰들은 단일 공간 토큰으로 집계됩니다.
• 센서별 로컬 브랜치: 저차원 센서 (MSI, SAR, LST) 는 표준 컨볼루션 패치 투영을 사용합니다. 모든 브랜치는 그런 다음 Hiera 설계에 기반한 **로컬 계층적 블록 (LHBs)**을 통과합니다. 이러한 브랜치들은 융합 전에 센서별 통계를 처리하기 위해 독립적으로 작동합니다.
• 교차 센서 융합: 로컬 인코딩 후, 브랜치 임베딩은 각 공간 위치에서 융합됩니다. 학습된 쿼리는 투영된 센서 토큰 (센서별 임베딩으로 증강됨) 을 주시하여 단일 융합 토큰 그리드를 생성합니다.
• 공유 계층적 인코더: 융합된 토큰들은 최종 표현 $Z$를 생성하기 위해 공유 Hiera 인코더로 전달됩니다.

3. 사전 학습 전략

이 모델은 다중 모달 EO 융합에 맞게 적응된 Joint-Embedding Predictive Architecture (JEPA) 스타일의 목적 함수를 사용하여 사전 학습됩니다.

• 목적 함수: 서로 다른 노이즈 특성을 가진 모달리티 간에 원시 픽셀을 재구성하는 것 (이는 어렵습니다) 대신, 모델은 동일한 위치의 전역 뷰와 단일 센서 로컬 뷰 간의 표현을 매칭하도록 학습합니다.
• 교사 - 학생 설계: 안정된 목표를 정의하기 위해 지수 이동 평균 (EMA) 교사가 여러 모달리티를 포함하는 전역 뷰만 처리하는 비대칭 설정이 사용됩니다. 학생은 전역, 로컬, 그리고 센서 제거 뷰를 처리하여 이 목표를 예측합니다.
• 손실 함수: 목적 함수는 학생과 교사 투영 간의 불변성 손실 (MSE) 과 표현 붕괴를 방지하기 위한 SIGReg 페널티를 결합합니다.

주요 기여

1. SpectralEarth-MM: HSI, MSI, SAR, LST 를 아우르는 40TB 이상의 전 세계적으로 균형 잡힌 다중 시계열 코퍼스로서, 초분광과 다중 센서 EO 간의 격차를 해소하도록 특별히 설계되었습니다.
2. SpectralEarth-FM: HSI 를 위한 명시적 스펙트럼 토큰화, 센서별 로컬 브랜치, 그리고 계층적 트랜스포머 프레임워크 내의 교차 센서 융합 모듈을 특징으로 하는 새로운 기반 모델 아키텍처입니다.
3. 다중 모달 JEPA 사전 학습: 이질적인 센서 간 직접 픽셀 재구성을 피하고, 대신 전역 및 로컬 뷰 간의 잠재 표현 정렬에 초점을 맞춘 맞춤형 사전 학습 전략입니다.
4. 포괄적 평가: 10 개의 초분광 다운스트림 작업과 표준 PANGAEA EO 벤치마크 스위트에 대한 광범위한 벤치마킹입니다.

결과

이 논문은 SpectralEarth-FM 을 두 가지 설정에서 평가합니다: 단일 브랜치 라우팅 (입력을 가장 가까운 스펙트럼 브랜치로 라우팅) 과 다중 브랜치 라우팅 (여러 브랜치에서 특징을 연결).

• 초분광 벤치마크: 10 개의 다운스트림 작업 (CDL, BD-Foret, EuroCrops, OxHyperMinerals 포함) 에서 **SpectralEarth-FM-a(다중 브랜치)**는 1.4의 최고의 전체 평균 순위를 달성하여 HyperSIGMA, Panopticon, CARL 과 같은 최첨단 모델을 능가했습니다. 특히 EnMAP 기반 작업에서 강력한 성능을 보였으며, 스펙트럼 보간을 통해 EO-1 Hyperion, GF-5 와 같은 보지 못한 센서로의 성공적인 전이를 입증했습니다.
• 일반 EO 벤치마크 (PANGAEA): 7 개의 작업 (HLS Burns, Sen1Floods11, AI4Farms 등) 에서 평가된 SpectralEarth-FM-a 는 3.43의 평균 순위를 기록하여 TerraMind, CROMA, Prithvi 를 능가하는 최상위 모델들 사이에서 위치를 차지했습니다.
• 어블레이션 연구:
  • 브랜치 선택: EnMAP 브랜치는 일반적으로 HSI 작업에서 가장 높은 성능을 보였으며, 모든 HSI 브랜치를 결합하면 결과가 추가로 개선되었습니다.
  • 센서 융합: EnMAP 을 Sentinel-2 또는 Landsat OLI 와 융합하면 보완적인 정보를 제공하여 단일 센서 입력에 비해 상당한 향상 (예: EuroCrops 에서 mIoU +3.4) 을 가져왔습니다.

중요성과 주장

저자들은 SpectralEarth-FM이 초분광 데이터를 지구 관측 기반 모델의 더 넓은 생태계로 통합하는 데 있어 중요한 진전을 나타낸다고 주장합니다. 전용 토큰화 및 융합 메커니즘을 통해 HSI 의 높은 스펙트럼 차원성을 명시적으로 해결함으로써, 이 모델은 초분광 작업에서 최첨단 성능을 달성하면서도 표준 다중 센서 벤치마크에서 경쟁력 있는 성능을 유지합니다.

이 연구는 다음을 강조합니다:

• MSI, SAR, LST 와의 HSI 결합 사전 학습은 가능하며 유익하여, 모델이 센서 간에 일반화되는 표현을 학습할 수 있게 합니다.
• 제안된 JEPA 스타일 목적 함수는 픽셀 단위 재구성이 필요 없이 센서 노이즈 및 스펙트럼 해상도의 이질성을 효과적으로 처리합니다.
• SpectralEarth-MM과 SpectralEarth-FM의 공개는 다중 모달 EO 의 미래 연구에 필요한 자원을 제공하며, HSI 가 고립되거나 대규모 기반 모델에서 제외되었던 역사적 격차를 해소합니다.

이 논문은 겸손하게 결론을 내리며, 모델이 분포 내 (in-distribution) 성능을 강력하게 달성하지만, 융합된 표현 내의 공간 및 스펙트럼 특징의 복잡한 상호작용은 설명 가능성에 대한 추가 조사를 필요로 한다고 지적합니다. 또한, 현재 프레임워크는 특정 사전 학습 센서에 전념하여 즉각적인 유연성을 희생하고 더 강력한 스펙트럼 표현을 얻는 것으로, 저자들은 이를 향후 과제로 인정합니다.