How To Embed Matters: Evaluation of EO Embedding Design Choices

이 논문은 NeuCo-Bench 를 활용하여 지구 관측 (EO) 워크플로우에서 GeoFM 기반 임베딩 설계 요소 (백본 아키텍처, 사전 학습 전략, 표현 깊이, 공간 집계, 조합 방식 등) 가 다운스트림 작업 성능에 미치는 영향을 체계적으로 분석하고, 원시 데이터 대비 500 배 이상 작은 고정 크기 임베딩으로도 높은 성능을 달성할 수 있음을 입증합니다.

핵심

🌍 배경: 거대한 사진 도서관과 무거운 짐

우리는 지구 관측 위성 (EO) 을 통해 매일 페타바이트 (수천만 장) 단위의 고화질 사진을 찍습니다. 이 사진들은 기후 변화, 농작물 상태, 도시 열섬 현상 등을 분석하는 데 쓰입니다.

하지만 이 사진들을 하나하나 다 분석하려면 컴퓨터가 너무 무겁고, 저장 공간도 부족합니다. 그래서 연구자들은 **"이 사진들을 한 번만 잘 요약 (Embedding) 해서, 그 요약본만 가지고 여러 가지 문제를 해결하자"**라고 생각했습니다.

이 요약본을 **'요리 레시피 카드'**라고 상상해 보세요.

• 원본 사진: 생재료 (무겁고 부피가 큼).
• 요약본 (Embedding): 그 재료로 만든 '완성된 요리 레시피 카드' (가볍고 작음).

이제 문제는 이 **'레시피 카드'**를 어떻게 만들면 가장 잘 쓸 수 있을까요?

---

🔍 연구의 핵심: "어떻게 요약할 것인가?"

저자들은 다양한 '요약 방법 (디자인 선택지)'을 실험해 보았습니다. 마치 요리사가 "재료를 다 섞을까, 아니면 특정 부분만 발라낼까?"를 고민하는 것과 같습니다.

1. 어떤 '요리 도구' (모델) 를 쓸까? (Transformer vs CNN)

• CNN (ResNet): 전통적인 요리 도구입니다. 국소적인 맛 (지역적인 특징) 을 잘 파악하지만, 전체적인 흐름을 보기엔 약합니다.
• Transformer (ViT): 최신 스마트 주방 기기입니다. 재료 전체의 관계 (장거리 의존성) 를 한눈에 파악합니다.
• 결과: Transformer 가 더 좋습니다. 특히 구름, 식생량, 기온 같은 복잡한 자연 현상을 분석할 때는 Transformer 가 압도적으로 잘합니다. 전통적인 도구 (CNN) 는 단순한 분류 (예: "이건 밭이다, 숲이다") 에는 좋지만, 복잡한 물리량 분석에는 부족했습니다.

2. 레시피의 '어느 단계'를 가져올까? (레이어 깊이)

요리 과정은 여러 단계 (재료 다지기 -> 볶기 -> 끓이기 -> 완성) 가 있습니다.

• CNN (ResNet): 중간 단계가 가장 맛있습니다. (완성된 요리보다 중간에 다진 재료가 더 유용한 경우가 많음). 마지막 단계로 가면 오히려 정보가 날아갑니다.
• Transformer: 마지막 단계가 가장 좋습니다. 깊게 갈수록 정보가 잘 정제됩니다.
• 교훈: 무조건 마지막 단계의 요약본을 쓰는 게 정답이 아닙니다. 모델에 따라 '가장 맛있는 중간 단계'를 골라야 합니다.

3. 어떻게 '모아'서 요약할까? (공간 집계)

사진을 한 장으로 줄일 때, 어떻게 합칠지 고민해야 합니다.

• 평균 (Mean): 모든 픽셀의 정보를 평균내서 요약. (가장 안정적이고 좋음)
• 최댓값/최솟값: 가장 밝은 부분이나 가장 어두운 부분만 뽑아냄. (중요한 정보가 빠질 수 있음)
• 결과: 평균을 내는 것이 가장 좋습니다. 극단적인 값만 뽑으면 중요한 세부 정보가 사라집니다.

4. 다른 '요리법'을 섞을까? (결합)

서로 다른 목적 (예: 대조법, 복원법) 으로 훈련된 모델들의 요약본을 섞으면 어떨까요?

• 결과: 섞으면 더 좋습니다.
  • A 모델은 '구름'을 잘 보고, B 모델은 '작물'을 잘 봅니다.
  • 이 두 개의 요약본을 합치면, 두 가지 모두를 잘 파악하는 **'슈퍼 요약본'**이 됩니다.
  • 특히 서로 다른 학습 목적을 가진 모델들을 섞으면, 예측이 더 튼튼해집니다.

---

💡 이 연구가 우리에게 주는 메시지

1. 단순한 압축이 아닙니다: 위성 사진을 단순히 줄이는 게 아니라, 어떤 정보를 남길지, 어떻게 줄일지에 따라 결과가 천차만별입니다.
2. 맞춤형 요약이 필요해요: "구름을 분석할 때는 A 모델을, 농작물을 볼 때는 B 모델의 중간 단계를 쓰는 식"으로 상황에 맞게 요약 방식을 선택해야 합니다.
3. 미래의 데이터 저장: 이 '요약본 (임베딩)' 기술이 잘 발달하면, 우리는 거대한 위성 사진 원본을 저장할 필요 없이, 가벼운 요약본만 저장해도 다양한 분석이 가능해집니다. 마치 거대한 냉장고 대신, 필요한 레시피 카드만 들고 다니는 것과 같습니다.

🏁 결론

이 논문은 **"위성 데이터를 어떻게 요약하느냐가 그 데이터를 어떻게 쓸 수 있는지를 결정한다"**는 것을 증명했습니다.

단순히 "최신 모델"을 쓴다고 좋은 게 아니라, 모델의 종류, 요약하는 단계, 그리고 어떻게 정보를 섞을지를 잘 설계해야만, 우리가 가진 거대한 지구 데이터를 가장 효율적으로 활용할 수 있다는 교훈을 줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

지구 관측 (EO) 임무는 페타바이트 규모의 다중 스펙트럼 영상을 생성하며, 이를 분석하기 위해 대규모 지리 공간 기초 모델 (GeoFMs) 이 널리 사용되고 있습니다. 기존에는 엔드 - 투 - 엔드 (end-to-end) 적응 방식이 주류였으나, 이는 원본 영상과 백본 모델에 대한 반복적인 접근을 요구하여 계산 및 저장 비용이 큽니다.

대안으로 임베딩 중심 (Embedding-centric) 워크플로우가 부상하고 있습니다. 이 방식에서는 GeoFM 을 고정된 특징 추출기로 사용하여 중간 표현 (임베딩) 을 한 번 계산한 후, 다양한 하위 작업 (downstream tasks) 에서 재사용합니다. 그러나 현재까지 어떻게 임베딩을 추출하고, 집계하며, 결합할 것인지에 대한 체계적인 가이드라인이 부재합니다.

• 어떤 백본 아키텍처 (CNN vs Transformer) 가 적합한가?
• 어떤 레이어 (최종 레이어 vs 중간 레이어) 에서 특징을 추출해야 하는가?
• 공간적/시간적 집계 방법 (Pooling) 과 사전 학습 목적 (SSL Objective) 이 성능에 미치는 영향은 무엇인가?

이 논문은 이러한 설계 선택지들이 하위 작업의 성능과 견고성 (robustness) 에 어떤 영향을 미치는지 체계적으로 분석하여, 효율적이고 확장 가능한 EO 임베딩 워크플로우를 위한 실증적 지침을 제시합니다.

2. 방법론 (Methodology)

연구팀은 NeuCo-Bench 프레임워크를 활용하여 고정된 크기의 임베딩 (Compact Fixed-size Embeddings) 을 평가했습니다.

• 데이터 및 태스크: SSL4EO-S12-downstream 데이터셋을 기반으로 한 8 가지 회귀 태스크 (생체량, 작물, 구름, 토지 피복, 열섬 등) 를 사용했습니다. 입력은 Sentinel-1/2 의 4 계절 시계열 데이터 (264x264 패치) 입니다.
• 평가 프로토콜:
  • 백본 (Backbones): ResNet-50 (CNN) 과 ViT-Small (Transformer) 을 비교했습니다.
  • 사전 학습 전략 (SSL Objectives): DINO, MoCo, MAE, SoftCon, FGMAE 등 다양한 자기지도학습 (Self-Supervised Learning) 목적 함수를 적용한 모델들을 평가했습니다.
  • 임베딩 설계 변수:
    1. 레이어 선택: 최종 레이어 vs 중간 레이어 (ResNet 의 경우 64~2048 채널, ViT 의 경우 12 개 트랜스포머 블록).
    2. 공간 집계 (Spatial Aggregation): 평균 풀링 (Mean), 최대 풀링 (Max), 최소 풀링 (Min), CLS 토큰.
    3. 임베딩 결합 (Concatenation): 동일 모델 내 Mean+CLS 결합, 서로 다른 SSL 목적 함수 간 임베딩 결합.
  • 지표: 평균 예측 정확도 ($R^2$) 와 NeuCo-Bench 품질 점수 (Q-Score, 정확도와 변동성을 모두 고려한 지표) 를 사용했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 백본 아키텍처: Transformer(ViT) 의 우위

• 지리물리 및 대기 태스크: Biomass(생체량), Clouds(구름), Heat Island(열섬) 와 같은 연속적인 물리량 예측 태스크에서는 ViT(Transformer) 가 ResNet(CNN) 을 압도적으로 능가했습니다. ResNet 은 이러한 태스크에서 $R^2$가 거의 0 에 수렴하거나 음수인 반면, ViT 는 유의미한 성능을 보였습니다.
• 의미론적 태스크: 토지 피복 (Landcover) 및 작물 (Crops) 과 같은 범주형 비율 예측 태스크에서는 두 아키텍처 모두 경쟁력이 있었으나, ViT 가 전반적으로 더 일관된 성능을 보였습니다.
• 결론: 고정된 크기의 임베딩을 사용할 경우, 장기적인 공간 의존성을 포착하는 ViT 아키텍처가 지구 관측 태스크에 더 적합합니다.

B. 사전 학습 목적 함수 (SSL Objectives) 의 태스크 의존성

• 단일한 "가장 좋은" 목적 함수는 존재하지 않으며, 태스크에 따라 강점이 다릅니다.
  • DINO (대비 학습): 의미론적 구성 (Semantic composition) 신호 (토지 피복, 작물) 에 강점이 있습니다.
  • MAE/FGMAE (재구성 기반): 연속적인 지구물리학적 변동 (생체량, 구름) 을 포착하는 데 더 효과적입니다.
  • SoftCon: 가장 균형 잡힌 성능을 보였습니다.
• 서로 다른 목적 함수의 임베딩을 결합하면 견고성이 향상되는 경향이 있습니다.

C. 공간 집계 방법 (Spatial Pooling)

• 평균 풀링 (Mean Pooling): 모든 백본과 태스크에서 가장 강력하고 일관된 성능을 보였습니다.
• 최대/최소 풀링: 특히 연속적인 물리량 태스크에서 정보를 잃어 성능이 크게 저하되었습니다.
• CLS 토큰: ViT 모델에서 평균 풀링과 유사한 성능을 보였으나, 평균 풀링이 전반적으로 더 안정적이었습니다.

D. 레이어 깊이 (Representation Depth) 의 중요성

• ViT: 초기 레이어에서 정보를 포착하여 성능이 빠르게 상승한 후 포화 상태에 도달합니다.
• ResNet (CNN): 역 U 자형 (Inverted-U) 패턴을 보입니다. 최종 레이어가 아닌 중간 레이어 (Stage 2~4) 에서 성능이 최고조에 달하며, 최종 레이어로 갈수록 연속적인 물리량 태스크의 성능이 급격히 떨어집니다.
• 시사점: CNN 기반 모델을 사용할 때 최종 레이어를 기본으로 사용하는 것은 비효율적일 수 있으며, 중간 레이어 임베딩을 추출하는 것이 중요합니다.

E. 임베딩 결합 (Concatenation)

• 동일 모델 내 결합 (Mean + CLS): 성능 향상은 미미했습니다. 이는 두 표현이 중복된 정보를 담고 있음을 시사합니다.
• 서로 다른 모델 간 결합 (Mean + Mean): 서로 다른 SSL 목적 함수 (예: DINO + MAE) 로 학습된 임베딩을 결합하면 전체적인 성능과 견고성이 크게 향상되었습니다. 이는 각 목적 함수가 서로 보완적인 정보를 제공하기 때문입니다.

4. 의의 및 결론 (Significance & Conclusion)

이 논문은 지구 관측 분야에서 임베딩 기반 워크플로우의 설계 원칙을 체계적으로 정립했다는 점에서 의의가 있습니다.

1. 효율성: 원본 영상을 저장하고 반복적으로 처리할 필요 없이, 컴팩트한 임베딩 (원본 대비 500 배 이상 압축) 만으로도 다양한 태스크에서 높은 성능을 달성할 수 있음을 입증했습니다.
2. 설계 가이드라인:
   • 기본 추천: Transformer 백본 (ViT) + 평균 풀링 (Mean Pooling) 이 강력한 기본 옵션입니다.
   • CNN 사용 시: 최종 레이어 대신 중간 레이어를 추출해야 합니다.
   • 강건성 향상: 서로 다른 사전 학습 목적 함수를 가진 임베딩을 결합하여 모델의 견고성을 높일 수 있습니다.
3. 확장성: 이러한 인사이트는 대규모 EO 데이터의 저장, I/O, 검색 및 분산 배포를 위한 확장 가능한 파이프라인 구축에 필수적입니다.

요약하자면, "임베딩을 어떻게 설계하느냐 (How To Embed)"는 것이 단순히 모델 선택 이상으로 EO 분석 파이프라인의 성능과 확장성을 결정하는 핵심 요소임을 증명했습니다.