🤖 machine learning

Now We Know? A Systematic Comparison of TerraMind and THOR

본 논문은 유럽 우주국(ESA)의 두 지형 공간 파운데이션 모델인 THOR와 TerraMind를 열 가지 다양한 활용 사례에 걸쳐 체계적으로 비교함으로써, 패치 크기와 디코더 복잡성 같은 아키텍처 설계 선택이 모델의 정체성보다 더 많은 성능 편차를 설명한다는 것을 입증하고, 상호 보완적인 투자 전략을 밝혀내며, 향후 지형 공간 파운데이션 모델(GFM) 평가를 위한 진단 방법론을 확립한다.

원저자: Frederick Schindlegger, Kenzo Bounegta, Eva Gmelich Meijling, Johannes Jakubik, Arnt-Børre Salberg, Theodor Forgaard, Nicolas Longepe, Valerio Marsocci

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Frederick Schindlegger, Kenzo Bounegta, Eva Gmelich Meijling, Johannes Jakubik, Arnt-Børre Salberg, Theodor Forgaard, Nicolas Longepe, Valerio Marsocci

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 우주에서 본 지구를 이해하는 법을 가르치려 한다고 상상해 보세요. 수년 동안 과학자들은 "지형 공간 파운데이션 모델(Geospatial Foundation Models, GFM)"을 구축해 왔습니다. 이 모델들을 수십억 장의 위성 사진을 이미 살펴본 매우 똑똑하고 사전 학습된 '두뇌'라고 생각하면 됩니다. 이들은 마치 특정 시험을 치르기 전에 도서관에 있는 모든 지리 교과서를 다 읽은 학생와 같습니다. 워낙 많은 것을 보았기 때문에, 이들은 처음부터 시작하는 모델보다 새로운 과업(예를 들어 홍수를 찾거나 빙산을 추적하는 일)을 훨씬 더 빠르게 배울 수 있습니다. 하지만 까다로운 점이 있습니다. 우리는 이러한 '슈퍼 두뇌'를 많이 가지고 있으며, 그 모델마다 테스트 점수가 제각각이라는 것입니다. 때로는 어떤 모델은 홍수를 찾는 데 더 뛰어나고, 다른 모델은 화재를 포착하는 데 더 뛰어납니다. 큰 의문은 이것입니다. 왜일까요? 한 모델이 단순히 그 두뇌 구조 덕분에 더 똑똑한 것일까요? 아니면 더 나은 '디코더'(두뇌 신호를 지도로 번역하는 부분)를 가졌기 때문일까요? 아니 혹은 단지 테스트에 사용된 특정 사진들이 운 좋게 잘 맞았던 것일까요? 지금까지 우리는 그 메커니즘을 이해하기보다는, 마치 스포츠 순위표를 보듯 최종 점수만을 살펴보았습니다.

"Now We Know?"라는 제목의 이 논문은 두 명의 라이벌 탐정인 THOR와 TerraMind가 무엇이 그들을 움직이게 하는지 알아내기 위해 일련의 통제된 실험을 수행하는 탐정 소설과 같습니다. 두 모델 모두 유럽 우주국(ESA)의 지원을 받은 팀들에 의해 만들어졌지만, 서로 다른 철학을 가지고 있습니다. THOR는 '카멜레온'입니다. 이 모델은 필요할 때 컴퓨터 자원을 소모하더라도 더 선명한 세부 정보를 얻기 위해 이미지의 '패치 크기'(이미지를 어떻게 조각내는지)를 즉석에서 변경할 수 있습니다. 반면 TerraMind는 '생성 예술가'입니다. 이 모델은 퍼즐의 빠진 조각을 상상하도록 훈련되었으며, 이를 통해 빈 공간을 채우거나 "모달리티 내 사고(Thinking-in-Modalities)"라는 기술을 사용하여 서로 다른 유형의 센서(예: 레이더 이미지를 광학 이미지로 전환) 사이를 전환할 수 있습니다.

연구진은 단순히 순위표에서 그들이 싸우게 내버려 두지 않았습니다. 대신 그들은 "어블레이션 연구(ablation study)"라는 방식을 사용했는데, 이는 아주 멋진 표현으로, 모델을 조각조각 분해했다가 다시 조립하며 어떤 부분이 가장 중요한지 확인하는 과정을 말합니다. 그들은 메탄 누출 추적부터 눈 덮인 지역 매핑에 이르기까지 10가지의 서로 다른 실제 임무를 대상으로 이 모델들을 테스트했습니다.

연구 결과는 다음과 같으며, 여기에는 약간의 반전이 있습니다. 첫째, "순위표" 점수는 종종 거짓말을 한다는 것을 발견했습니다. 승자를 결정짓는 가장 큰 요인은 반드시 어떤 모델(THOR 또는 TerraMind)을 선택하느냐가 아니라, 이미지를 어떻게 조각내느냐와 디코더가 얼마나 복잡하냐였습니다. 만약 이미지를 아주 작은 조각(작은 패치 크기)으로 나눈다면, THOR는 특히 빙하나 홍수 구역처럼 작고 까다로운 물체를 찾아내는 데 있어 믿기 힘들 정도로 강력해집니다. 왜냐하면 미세한 디테일까지 볼 수 있기 때문입니다. 하지만 여기에는 높은 대가가 따릅니다. 많은 컴퓨터 자원이 필요합니다. 반면, 고정된 조각 크기를 사용하는 TerraMind는 광학 이미지(표준 사진 같은 것)를 효율적으로 처리해야 할 때 빛을 발하지만, 매우 강력한 디코더를 제공하지 않는 한 레이더 전용 데이터에서는 다소 어려움을 겪습니다.

또한 이 연구는 몇 가지 흔한 가설들을 반박했습니다. 예를 들어, 많은 이들이 두 개의 서로 다른 위성 데이터(레이더와 광학 결합 등)를 단순히 융합하는 것이 항상 모델을 더 똑똑하게 만들 것이라고 생각했습니다. 그러나 연구진은 전체 데이터셋을 사용할 때 이것이 항상 사실은 아니라는 것을 발견했습니다. 사용된 융합 방식이 추가적인 노이즈를 처리하기에는 너무 단순했기 때문에, 때로는 광학 데이터만을 사용하는 것이 더 나을 수도 있었습니다. 또한, 모델의 두뇌를 '동결(freeze)'하는 것(테스트 중에 새로운 것을 배우지 못하게 하는 것)이 광학 작업에 대한 TerraMind에는 놀라울 정도로 효과적이었지만, THOR는 특히 레이더 작업에서 잠재력을 최대한 발휘하기 위해 완전히 '언프리즈(unfreeze, 학습 허용)' 상태가 되어야 한다는 점도 발견했습니다.

궁극적으로 이 논문은 단 하나의 "승자"는 없다는 점을 시사합니다. 어떤 모델이 세계 최고인가의 문제가 아니라, 도구를 작업에 맞게 매칭하는 것이 핵심입니다. 만약 당신에게 강력한 컴퓨터가 있고 레이더 이미지에서 작고 특정한 물체를 찾아내야 한다면, 아주 작은 패치 크기를 가진 THOR가 당신의 영웅이 될 것입니다. 만약 일반적인 광학 매핑을 위한 빠르고 효율적인 모델이 필요하다면, TerraMind가 더 나은 선택일 수 있습니다. 저자들은 이러한 모델의 미래가 단순히 더 큰 두뇌를 만드는 것이 아니라, 데이터를 어떻게 조각내는지, 답을 어떻게 디코딩하는지, 그리고 우리가 사용하는 '두뇌'가 무엇인지 사이의 구체적인 트레이드오프(절충 관계)를 이해하는 데 있다고 결론지었습니다. 이는 AI의 세계에서 맥락(context)이 전부라는 사실을 상기시켜 줍니다.

제목: 이제 우리는 알게 되었는가? TerraMind와 THOR의 체계적 비교

문제 정의
지형 공간 파운데이션 모델(GFM)을 위한 현재의 벤치마크는 모델 순위를 매기기 위해 점점 더 집계된 점수에 의존하고 있다. 저자들은 이러한 순위 매기기가 사전 학습된 백본(backbone), 디코더 용량, 미세 조정(fine-tuning) 방식, 그리고 공간 토큰화 방식의 기여도를 혼재시켜, 성능 차이의 근본적인 원인을 가린다고 주장한다. 이는 성능 격차가 진정한 구조적 이점 때문인지, 아니면 데이터셋 특유의 아티팩트(artifact) 때문인지 판단하기 어렵게 만든다. 더욱이 기존 벤크마크는 패치 크기, 디코더 복잡도, 입력 모달리티와 같은 설계 선택이 다양한 지구 관측(EO) 도메인에서 실제 성능에 어떻게 영향을 미치는지와 같이, 왜 모델들이 서로 다른지에 대한 답을 제시하지 못하는 경우가 많다.

방법론
본 연구는 유럽 우주국(ESA)의 $\phi$ -lab에서 개발되었으며 서로 대조적인 설계 철학을 구현하고 있는 두 가지 GFM을 비교하는 통제된 절제 연구(controlled ablation study)를 수행한다:

THOR: 추론 시 가변 패치 크기를 지원하는 컴퓨팅 적응형 아키텍처(FlexiViT)를 사용하는 비전 트랜스포머(ViT)이다. 이는 지면 샘플링 거리(GSD) 인식 위치 인코딩을 사용하여 Sentinel-1, -2, -3 데이터를 각각의 고유 해상도(10 m–1 km)로 통합한다.
TerraMind: 8가지 모달리티(SAR, 광학, LULC, DEM, 텍스트 포함)에 걸쳐 500억 개의 토큰으로 사전 학습된 멀티모달 생성형 GFM이다. 이 모델은 이중 스케일 토큰/픽셀 목적 함수와 "모달리티 내 사고(Thinking-in-Modalities, TiM)" 메커니즘을 채택하여, 추론 중에 누락된 센서를 추론하거나 보조 모달리티를 생성한다.

평가는 의미론적 분할(semantic segmentation), 회귀(regression), 객체 탐지(object detection), 변화 탐지(change detection)를 아우르는 10가지 유즈케이스를 대상으로 한다. 방법론은 다음 원칙을 준수한다:

통제 변수: 아키텍처에 내재되지 않은 하이퍼파라미터는 고정하되(PANGAEA 프로토콜 준수), 구조적 특이성(예: THOR의 가변 패치 크기)은 활용한다.
용량 매칭: 한 모델을 다른 모델에 맞추기 위해 성능을 저하시키는 대신, 하드웨어 제약 조건(단일 RTX A6000 GPU) 내에서 각 모델이 달성 가능한 최선의 구성으로 실행되도록 한다.
절제 축(Ablation Axes): 패치 크기(THOR의 경우), 디코더 복잡도(Linear vs. UperNet), 백본 적응(frozen vs. fine-tuned), 입력 모달리티, 모델 규모(Tiny vs. Base)를 체계적으로 변화시킨다.
진단적 접근: 단일 리더보드에 그치지 않고, 특정 설계 축의 한계 기여도를 분리하여 성능 편차의 원인을 이해한다.

주요 기여

대규모 통제 절제 연구: 저자들은 서로 다른 아키텍처를 가진 두 GFM과 10가지 EO 유즈케이스에 대해 포괄적인 비교를 수행했다.
진단적 방법론: 모델의 정체성 자체로부터 설계된 배치 선택(예: 패치 크기, 디코더 유형)의 한계 기여도를 분리해내는 프레임워크를 도입했다.
데이터셋 수준의 특성화: 본 연구는 절제 결과의 정확한 해석을 위해서는 유즈케이스를 데이터셋 수준에서 특성화해야 함을 입증하며, 이를 단순한 전처리 세부 사항이 아닌 엄격한 벤치마킹의 필수 요소로 주장한다.
일반화 가능한 가설: 저자들은 THOR와 TerraMind를 넘어 ViT 기반 GFM에 일반화될 것으로 기대되는 패턴을 추출하여 실질적인 배포 가이드를 제공한다.

결과

아키텍처 설계 vs. 모델 정체성: 패치 크기와 디코더 유형과 같은 아키텍처 설계 선택이 모델의 정체성 자체보다 더 많은 성능 편차를 설명한다.
상호 보완적 전략: 두 모델은 상호 보완적인 투자 전략을 나타낸다. TerraMind는 강력한 고정 해상도 특징을 생성하기 위해 사전 학습 시점의 규모(500B 토큰, 이중 스케일 목적 함수)에 투자하는 반면, THOR는 계산량을 해상도와 교환하기 위해 추론 시점의 토큰화(가변 패치 크기)로 부담을 전환한다.
패치 크기의 지배력: 공간적 토큰화는 가장 지배적인 성능 레버이다. 패치 크기를 절반으로 줄이는 것(예: 32에서 16으로)은 특히 공간적으로 조밀하거나 소수 클래스 타겟(예: 홍수 범위, 빙산)이 있는 작업에서 가장 큰 정확도 향상을 가져온다. 그러나 이 관계는 엄격하게 단조적이지 않으며 작업에 따라 달라진다.
디코더 상호작용: 복잡한 디코더(UperNet)와 단순한 선형 디코더 사이의 성능 격차는 패치 크기가 작아질수록 줄어든다. THOR의 경우, 더 미세한 토큰화(예: ps4/ps8)는 백본 특징이 이미 충분한 국소적 세부 정보를 인코딩하고 있기 때문에 복잡한 디코더의 필요성을 줄여준다. 반대로, 고정된 ps16을 사용하는 TerraMind는 특히 광학 분할 작업에서 다중 스케일 디코더의 혜택을 지속적으로 받는다.
모달리티 및 센서 통합:
- 광학 vs. SAR: 전체 데이터 환경에서 Sentinel-1(SAR)과 Sentinel-2(광학)의 단순 융합이 Sentinel-2 단독 사용보다 일관되게 우수하지는 않았는데, 이는 광학 신호가 풍부할 때 얕은 융합(shallow fusion) 메커니즘이 노이즈를 유발할 수 있음을 시사한다. 그러나 저데이터 환경에서는 SAR의 기여가 긍정적이었다.
- 교차 센서 일반화: Sentinel-3가 사전 학습 코퍼스에 없음에도 불구하고, TerraMind는 Sentinel-3 밴드를 Sentinel-2 파장으로 매핑했을 때 눈 모니터링 작업에서 경쟁력을 유지했다. 이는 스펙트럼 호환성이 고유의 공간 해상도보다 더 중요할 수 있음을 시사한다.
모델 규모: Base 모델은 일반적으로 Tiny 모델보다 우수하지만, 그 격차는 작업에 따라 다르다. 특히 SAR 중심 작업(해빙)의 frozen 환경에서는 Tiny 모델이 Base 모델보다 더 나은 성능을 보이기도 했는데, 이는 용량이 항상 주요 학습 도메드 외부로의 전이 가능성을 보장한다는 가설에 도전한다.
데이터 효율성: 저데이터 환경에서 미세 조정을 거친 THOR와 미세 패치 크기(ps4) 조합은 UNet이 50%의 데이터를 필요로 할 때 5%의 데이터만으로도 동일한 성능 수준에 도달하는 등 상당한 데이터 효율성을 보여주었다.

의의 및 주장
본 논문은 결과물이 단일한 "승자"가 아니라 일련의 가설과 진단적 절제 방법론임을 주장한다. 저자들은 다음과 같이 단언한다:

집계된 리더보드는 모델의 동작을 이해하는 데 불충분하며, 성능은 반드시 특정 설계 축과 데이터셋 특성의 관점에서 분석되어야 한다.
사전 학습 투자(TerraMind)와 추론 시 적응성(THOR) 사이의 트레이드오프는 실무자에게 중요한 결정 사항이며, 이는 배포 제약 조건(학습 예산 vs. 추론 지연 시간)과 센서 모달리티에 따라 달라진다.
여기서 개발된 진단적 방법론은 미래의 GFM에도 일반화될 것으로 기대되며, 성능 차이를 블랙박스로 취급하는 대신 구체적이고 명명 가능한 설계 선택에 귀속시킬 수 있는 프레임워크를 제공한다.
본 연구는 "결과를 올바르게 해석하려면 데이터셋 수준의 특성화가 필요하다"는 점을 강조하며, 이를 엄격한 GFM 벤치마킹을 위한 근본적인 요구 사항으로 규정한다.

유사한 논문