기술 요약: 우주에서 본 관점: EOFM의 계측 차이 탐색

문제 정의

지구 관측 파운데이션 모델(EOFM)은 대규모 원격 탐사 데이터를 처리하기 위한 보편적인 도구가 되었으며, 유사성 검색 및 콘텐츠 특정 쿼리와 같은 작업을 위해 사전 학습된 출력을 임베딩으로 자주 활용한다. 그러나 다양한 센서 아키텍처가 모델의 내부 표현(internal representations)에 미치는 영향을 이해하는 데에는 중요한 격차가 존재한다.

전통적인 컴퓨터 비전은 비교적 균일한 공간(일관된 RGB 밴드 및 표준 양자화)에서 작동하는 반면, 지구 관측 데이터는 매우 비균질적이다. 센서는 다양한 아키텍처, 관측 조건, 그리고 복잡한 처리 스택(복사/기하 보정, 대기 보정, 구름 마스킹)을 보유하고 있다. 기존 연구들은 종종 단일 모달리티로 모델을 학습시키고, 서로 다른 센서 간에 분광 밴드를 단순히 맞추는 방식(예: Landsat-8로 학습된 모델이 HLS나 Sentinel-2에 원활하게 일반화될 것이라고 가정함)으로 벤치마크를 수행한다. 미세한 계측기 판독값과 센서 아키텍처의 차이가 EOFM의 임베딩 공간에 상당한 변동을 일으켜, 퓨샷 러닝(few-shot learning)이나 유사성 검색과 같은 다운스트림 작업에서의 효용성을 저해할 수 있는지 여부는 여전히 불분명하다.

방법론

센서 아키텍처에 대한 EOFM 표현 공간의 민감도를 평가하기 위해, 저자들은 새로운 데이터셋을 구축하고 동결된 모델 가중치를 사용하여 비지도 학습 분석 접근 방식을 채택하였다.

데이터셋 구축:

• 위치: 미국 인디애나주의 무작위 샘플링 지점 600곳.
• 해상도: 30미터 공간 해상도, 224x224 픽셀의 2개월 모자이크 컴포지트.
• 모달리티: 4종의 광학 데이터셋(HLS, Landsat-8, Landsat-9, Sentinel-2) 및 1종의 SAR 데이터셋(Sentinel-1, VV/VH 편파).
• 전처리: QA 픽셀을 사용하여 20% 이상의 구름 폐쇄가 있는 광학 데이터를 마스킹함. USDA 작물 데이터 레이어(Crop Data Layer)를 의미론적 참조(semantic reference)로 정렬함.

평가 대상 모델:

• Prithvi: 고정된 6개 밴드 입력을 위해 HLS 데이터로만 사전 학습된 모델. 이는 파장별로 분광 밴드를 일치시키고 나머지를 버려야 하는 모델의 전형을 나타낸다.
• DOFA: 입력의 중심 파장에 따라 컨볼루션 가중치를 생성하는 동적 네트워크 임베딩 레이어를 사용하는 모델. 다양한 모달리티(항공 RGB부터 위성까지)로 학습되었으며, 중심 파장에 의해서만 입력을 특징짓고 어떤 밴드 구성도 수용할 수 있다.

평가 기법:

1. 임베딩 공간 시각화: t-SNE를 사용하여 768차원의 잠재 공간을 2D로 축소하여, 소스 모달리티에 따른 클러스터링을 시각화하였다. 목표는 데이터가 의미론적 특징(예: 토지 피복)이 아닌 센서 유형에 따라 클러스터링되는지 확인하는 것이다.
2. 국소 이웃 분석 (Local Neighborhood Analysis):
   • CLS 토큰: 모달리티 간의 최근접 이웃(5, 10, 20) 중첩도를 측정하여 글로벌 이미지 유사성을 평가함.
   • 패치 임베딩 (Patch Embeddings): 코사인 유사도를 사용하여 이미지 패치의 10-최근접 이웃을 비교함. 의미론적 유사성은 USDA 작물 데이터 레이어 클래스를 공유하는 이웃의 비율로 대리 측정함.
   • 모달리티 분류: 패치 임베딩을 통해 입력 모달리티를 예측하도록 간단한 분류기(Random Forest 및 5-NN)를 학습시켜, 임베딩 공간이 센서 소스에 의해 얼마나 쉽게 분할되는지 테스트함.

주요 결과

본 연구는 EOFM의 표현 공간이 센서 아키텍처에 매우 민감하며, 분광 밴드가 명목상 일치하더라도 상당한 분포 변화를 초래한다는 것을 보여준다.

• 시각적 클러스터링: t-SNE 플롯(그림 1 및 2)은 Prithvi와 DOFA 모두에서 소스 모달리티에 따른 명확하고 뚜렷한 클러스터를 드러냈다. 이는 고차원 공간에서 데이터가 의미론적 콘텐츠가 아닌 주로 센서 소스에 의해 분포됨을 나타낸다. DOFA가 Prithvi에 비해 모달리티 변화에 대해 약간 더 높은 회복력을 보였으나, 대부분의 쌍별 사례에서 뚜렷한 분리가 관찰되었다.
• 낮은 이웃 중첩도: CLS 토큰의 국소 이웃 분석에서, 서로 다른 모달리티 간의 평균 일치 이웃 비율은 30%를 넘는 경우가 거의 없었다. 예를 들어, Landsat-8과 Sentinel-2 사이의 일치 이웃은 약 18-20%에 불과했다. 이는 유사성 검색 맥락에서 입력 모달리티가 "유사한" 후보의 주요 결정 요인이 되어, 잠재적으로 의미론적 유사성을 압도할 수 있음을 시사한다.
• 의미론적 표류 (Semantic Drift): 패치 임베딩을 분석했을 때, 동일한 작물 클래스를 공유하는 이웃의 비율은 모달리티에 따라 최대 4%까지 변했다. 이는 모달리티의 변화가 이웃 구조뿐만 아니라 국소 이미지 패치의 의미론적 유사성까지 변화시킨다는 것을 확인시켜 준다.
• 높은 모달리티 예측 가능성: 단순한 분류기를 사용했을 때 패치 임베딩의 소스 모달리티를 예측하는 정확도가 높았다(Prithvi 90.7%, DOFA 88.7%, Random Forest 기준). 이는 임베딩 공간이 센서 소스에 의해 쉽게 분할될 수 있음을 의미하며, 모달리티 불변(modality-invariant) 표현을 달성하기 어렵게 만든다.

의의 및 주장

본 논문은 현재의 설계와 사용 방식이 센서 아키텍처의 다양성에 대한 고려 부족으로 인해 심각한 함정을 안고 있다고 주장한다.

• 현재 관행의 한러한계: 저자들은 단순히 파장에 따라 분광 밴드를 맞추고 단일 모달리티로 학습하는 것만으로는 불충분하다고 주장한다. 이러한 접근 방식은 서로 다른 센서 기술과 처리 스택에 의해 발생하는 미묘한 기저 분포 변화를 설명하지 못한다.
• 사용자에 대한 시사점: EOFM 사용자들은 자신의 데이터 수집 체계를 선택한 모델의 사전 학습 데이터와 신중하게 정렬해야 한다. 엄격한 검증 없이 한 센서로 학습된 모델의 임베딩을 다른 센서의 데이터에 의존하는 것은 다운스트림 작업에서 상당한 성능 저하를 초래할 위험이 있다.
• 향estic 방향: 본 연구의 결과는 다양한 센서 모달리티와 분광 캡처 기술의 복잡성을 명시적으로 고려하는 모델 개발의 필요성을 촉구한다. 저자들은 새로운 교차 모달리티 능력을 엄격하게 테스트하기 위해, 매우 다중 모달리티적이고 다중 입력 스트림인 데이터셋(본 연구에서 구축한 것과 같은)의 생성을 권고한다.

본 논문은 이해관계가 다른 계측 차이를 이해하는 것이 견고한 원격 탐사 과학을 향해 나아가는 데 필수적이며, EOFM이 다양한 지구 관측 데이터 환경에서 신뢰할 수 있는 영향력을 전달할 수 있도록 보장하는 길임을 결론짓는다.