기술 요약: TESSERA V2 – 픽셀 단위 지구 기초 모델의 스케일링

문제 정의

지구 관측(EO)을 다운스트림 태스크에 적용하는 데에는 상당한 병목 현상이 존재한다: 데이터 준비 과정이 노동 집약적이며(복사 보정, 구름 제거, 센서 간 조화), 지상 실측값(ground-truth) 라벨이 부족하고 지역 특화적이며, 원시 영상은 불규칙한 샘플링 주기와 구름에 의한 가려짐 문제를 포함한다. "임베딩-데이터(embeddings-as-data)" 제품들이 지표면의 분석 가능한 벡터 표현을 제공하려는 시도가 있으나, 기존 시스템들은 경직된 사양으로 인해 어려움을 겪는다. 이들은 종종 단일한 고정 임베딩 차원과 모델 크기를 제공하여, 사용자가 자신의 특정 예산이나 태스크 요구 사항에 관계없이 동일한 저장 및 I/O 비용을 부담하게 만든다. 또한, EO 도메인에서 사전 학습 컴퓨팅(인코더 크기, 프로젝터 크기, 데이터 볼륨 사이의 배분)을 어떻게 할 것인가에 대한 스케일링 법칙은 여전히 잘 이해되지 않고 있으며, 많은 연구가 사전 학습 손실(pretraining loss)을 다운스트림 성능의 대리 지표로 사용하는데, 이는 (구름의 지배적 영향이나 궤도 샘플링과 같은) 위성 데이터의 독특한 특성으로 인해 신뢰할 수 없는 대리 지표가 될 수 있다.

방법론

1. 다운스트림 주도형 스케일링 연구

저자들은 고정된 픽셀 단위 Barlow Twins 패밀리 내에서 395회의 훈련 실행을 포함하는, EO 분야에서 현재까지 가장 규모가 큰 통제된 스케일링 연구를 수행했다.

• 아키텍처: 예비 탐색을 통해 선택된 고정된 픽셀 단위 Sentinel-1/2 인코더 아키텍처 패밀리를 사용했다.
• 변수: 연구는 세 가지 차원을 탐색했다: 인코더 크기($N_{enc}$, 7M에서 278M 파라미터까지 16개의 너비), 프로젝터 크기($N_{proj}$, 4개의 너비), 그리고 훈련 데이터 볼륨($D$, 0.03M에서 3,202M d-pixels).
• 평가: 모든 모델은 ALPHAEARTH 스위트의 15가지 다양한 다운스트림 태스크(분류, 변화 탐지, 회귀)에 대해 평가되었다.
• 컴퓨팅 메트릭: 총 훈련 FLOPs는 세 번의 인코더 패스(두 개의 증강된 뷰 + 하나의 mix-up 뷰)와 Barlow Twins 교차 상관 비용을 고려한 특정 공식을 사용하여 계산되었다.

2. 주요 발견 사항: 스케일링 법칙

이 연구는 표준 언어/비전 스케일링 가정과 상충되는 두 가지 중요한 경험적 발견을 도출했다:

• 발견 F1 (손실은 불량한 대리 지표임): 수렴된 사전 학습 손실은 다운스트듬 성능을 거의 예측하지 못했다 ($|Pearson\ r| < 0.2$). 오직 손실만을 기준으로 모델을 선택하는 것은 실제 태스크 성능을 기준으로 선택할 때보다 약 2~5배 더 많은 컴퓨팅을 요구한다.
• 발견 F2 (최적의 배분): 훈련 예산이 증가함에 따라, 최적의 전략은 프로젝터 크기를 고정한 채 인코더 용량과 훈련 데이터를 함께 늘리는 것이다. 프로젝터는 "일회용 훈련 스캐폴드(scaffold)" 역할을 할 뿐 스케일링 축이 아니다. 적합된 멱법칙(power laws)은 $N_{enc} \propto C^{0.36}$ 및 $D \propto C^{0.63}$이며, $N_{proj} \propto C^{0.011}$은 통계적으로 0과 구별할 수 없을 정도로 작다.

3. 교사-학생 증류(Teacher-Student Distillation) 및 MATRYOSHKA 임베딩

대규모 고성능 교사 모델과 배포 가능한 제품 사이의 간극을 메우기 위해, 저자들은 증류 전략을 채택했다:

• 교사 훈련: 유도된 스케일링 규칙(오버사이즈 인코더 + 매칭된 데이터, 고정 프로젝터)을 사용하여 약 140억 개의 d-pixels에 대해 거대한 2B-파라미터 픽셀 단위 인코더를 훈련했다.
• 증류: 고정된 2B 교사 모델을 사용하여 일련의 컴팩트한 학생 모델(N, S, M, L 크기, 1M에서 44M 파라미터 범위)을 증류했다.
• MATRYOSHKA 표현: 좌표 회전까지만 부분 공간을 식별하는 자기 지도 학습(self-supervised learning)과 달리, 고정된 교사에 대한 증류는 임베딩 좌표를 정렬할 수 있는 필요한 신호를 제공한다. 이를 통해 학생 모델은 차원 $d \in \{16, 32, 64, 128\}$의 접두사(prefix)가 유효한 표현이 되는 **중첩된 임베딩(nested embeddings)**을 생성할 수 있게 한다. 16차원 접두사는 전체 128차원 임베딩 성능의 약 92%를 유지하면서 저장 비용은 1/8로 줄인다.
• 추론 최적ization: 시스템은 **적응형 버킷 샘플링(adaptive bucket sampling)**을 사용하여, 가변 길이의 관측 시퀀스를 가장 잘 맞는 최소 고정 길이 버킷에 패킹하고, 잔여 부분은 중간점 재샘플링(midpoint resampling)으로 채운다. 이는 관측치를 임의로 버리거나 데이터를 중복 생성하는 것을 방지한다.

주요 결과

• 성능: 증류된 TESSERA v2-2B-L (44M 파라미터)은 테스트된 모든 공개 및 독점 임베딩 제품, 즉 ALPHAEARTH (480M 파라미터) 및 OlmoEarth-L (308M 파라미터)을 능가한다.
  • 14개의 홀드아웃 데이터셋 세트에 대해, TESSERA v2는 0.647의 복합 점수를 기록했으며, 이는 차순위 시스템의 0.614보다 높다.
  • 15개 태스크의 ALPHAEARTH 스위트에서 0.593을 기록하여 ALPHAEARTH(0.560)와 TESSERA v1(0.541)을 넘어섰다.
• 효율성: 44M 학생 모델은 2B 교사 모델보다 두 자릿수 낮은 추론 비용으로, 그리고 더 큰 독점 모델들보다 훨씬 낮은 비용으로 최첨단(SOTA) 결과를 달s한다.
• 저장 적응성: MATRYOSHKA 접두사를 통해 사용자는 저장 공간과 성능을 교환할 수 있다. 16차원 접두사는 전체 점수의 92%를 유지하면서 저장 용량은 1/8로 줄이며, 32차원 접두사는 97%를 유지한다.
• 아티팩트 감소: TESSERA v2는 v1에서 보이던 경로 방향 스트라이핑(along-track striping) 및 타일 경계 불연속성을 크게 줄이는 동시에 연간 안정성을 유지한다.

의의 및 주장

본 논문은 픽셀 단위 지구 관측 기초 모델을 위한 구체적이고 경험적으로 근거가 확실한 레시피를 제공한다고 주장하며, "대규모로 훈련하고 손실이 상관관계가 있기를 바라는" 패러다임에서 "대규모로 훈련하고, 다운스트림 성능으로 선택하며, 증류한다"는 패러다임으로의 전환을 제시한다.

1. EO를 위한 스케일링 재정의: 저자들은 EO 스케일링 법칙이 언어/비전과 근본적으로 다르다고 주장한다. 즉, 사전 학습 손실에 의존하는 것은 비효율적이고 오해의 소지가 있다. 제안된 배분 규칙(인코더와 데이터를 키우고, 프로젝터를 고정함)이 EO를 위한 최적의 경로임을 제시한다.
2. 중첩 임베딩을 위한 증류의 필수성: 논문은 (좌표 대칭성 문제로 인해) 자기 지도 학습의 접두사 손실만으로는 중첩된 임베딩(MATRYOSHKA)을 효과적으로 학습할 수 없다고 주장한다. 대신, 고정된 교사에 대한 증류가 서로 다른 차원에서 접두사를 사용할 수 있게 하는 정렬 신호를 공급하기 위해 필요하다.
3. 제품으로서의 생존력: TESSERA v2는 단순한 모델이 아니라 적응성을 제공하는 배포 가능한 제품 패밀리로 제시된다. 이는 사용자가 재학습 없이 자신의 예산 제약에 맞춰 모델 크기와 임베딩 차원을 선택할 수 있게 함으로써, 기존의 "분석 준비 완료(analysis-ready)" 데이터 제품들의 핵심적인 격차를 해소한다.

저자들은 TESSERA 제품의 버전 2로서 2017~2025년을 커버하는 글로벌 10m 연간 임베딩을 출시할 계획이며, 코드와 체크포인트를 커뮤니티에 공개할 예정이다.