Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications

이 논문은 NASA 의 Landsat 및 Sentinel-2 데이터를 기반으로 학습된 Prithvi-EO-2.0 이 이전 모델과 다른 기존 지리공간 기초 모델들보다 다양한 원격 탐사 작업에서 뛰어난 성능을 보이며, 재난 대응 및 토지 피복 매핑 등 다양한 분야에 적용 가능한 오픈소스 지리공간 기초 모델임을 제시합니다.

핵심

지구 관찰의 '슈퍼 두뇌' 프리티비-EO 2.0: 과거의 지도를 넘어 미래를 예측하다

이 논문은 **프리티비-EO 2.0 (Prithvi-EO-2.0)**이라는 새로운 인공지능 모델을 소개합니다. 이 모델은 지구를 관찰하는 데 특화된 '기초 모델 (Foundation Model)'로, 마치 지구의 건강 상태를 진단하는 초고성능 의사이자 예언자와 같습니다.

이 복잡한 기술 내용을 일반인이 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

---

1. 프리티비-EO 2.0 이란 무엇인가요?

비유: "지구를 10 년간 지켜본 만능 관찰자"

과거의 인공지능 모델들은 지구의 특정 부분만 보거나, 한 번 찍은 사진만 보고 판단했습니다. 하지만 프리티비-EO 2.0은 NASA 의 위성 데이터 (랜드샛과 센티널-2) 를 이용해 전 세계를 10 년간 매일매일 관찰하며 학습했습니다.

• 학습량: 420 만 개의 지구 시간 시리즈 (Time-series) 데이터를 먹었습니다.
• 특징: 단순히 "이건 숲이다"라고 외우는 게 아니라, "봄에는 초록색이 되고, 겨울에는 갈색이 되며, 비가 오면 어떻게 변하는지" 같은 계절의 흐름과 시간의 변화까지 완벽하게 이해합니다.

2. 이전 버전 (1.0) 과 무엇이 다를까요?

비유: "미국만 본 학생" vs "전 세계를 여행한 유학파"

• 1.0 버전: 미국 데이터만 보고 배워서, 미국 밖의 상황에는 약했습니다.
• 2.0 버전: 전 세계 데이터를 학습했고, **시간 (계절)**과 위치 (위도/경도) 정보를 추가로 학습했습니다.
  • 마치 지도와 달력을 동시에 들고 있는 것과 같습니다. "이곳은 북반구라 겨울이 길고, 저곳은 열대라 비가 자주 온다"는 맥락을 스스로 이해합니다.
  • 그 결과, 기존 모델보다 8% 더 정확해졌고, 다른 최신 모델들보다도 훨씬 뛰어난 성능을 보여줍니다.

3. 이 모델은 실제로 무엇을 할 수 있나요?

이 모델은 다양한 분야에서 **실전 전문가 (SME)**들과 함께 테스트되었습니다.

🌊 1. 재난 대응 (홍수, 산불, 산사태)

• 상황: 갑자기 큰 홍수가 났거나 산불이 났을 때, 위성 사진으로 피해 범위를 빠르게 파악해야 합니다.
• 프리티비-EO 2.0 의 역할:
  • 홍수: 물과 땅을 구별하는 능력이 뛰어나, 물에 잠긴 지역을 정확히 찾아냅니다.
  • 산불: 타버린 지역과 살아남은 나무를 구분하고, 얼마나 불이 심하게 탔는지 (화재 강도) 를 분석합니다.
  • 산사태: 비가 온 후 산이 무너질 위험이 있는 곳을 찾아냅니다.
  • 핵심: 데이터가 아주 적어도 (Few-shot) 잘 작동합니다. 기존 모델은 새로운 재난을 보려면 많은 학습이 필요했지만, 프리티비는 적은 사진만 봐도 "아, 이건 홍수구나!"라고 바로 알아챕니다.

🌾 2. 농사와 토지 관리

• 상황: 유럽이나 미국의 농장에서 어떤 작물이 심어졌는지, 숲이 어떻게 변하는지 파악해야 합니다.
• 프리티비-EO 2.0 의 역할:
  • 계절에 따라 작물이 어떻게 자라는지 (시간의 흐름) 를 기억하고 있어, 옥수수인지 콩인지를 정확히 구분합니다.
  • 해상도가 높은 드론 사진 (나무 한 그루, 소 한 마리) 이나 낮은 해상도의 위성 사진 모두에서 잘 작동합니다.

🌳 3. 생태계와 기후 연구

• 상황: 숲이 얼마나 탄소를 흡수하는지 (생물량), 식물이 광합성을 통해 얼마나 에너지를 만드는지 (일차 생산성) 를 계산해야 합니다.
• 프리티비-EO 2.0 의 역할:
  • 나무의 잎만 보는 게 아니라, 나뭇가지와 줄기까지 포함한 전체 나무의 크기를 추정합니다.
  • 기후 데이터 (온도, 강수량 등) 와 위성 이미지를 합쳐, 식물이 얼마나 건강하게 자라고 있는지 예측합니다.

4. 왜 이 모델이 특별한가요? (핵심 장점)

1. 열린 과학 (Open Science): 이 모델은 누구나 무료로 사용할 수 있습니다. (Hugging Face, GitHub 등) 마치 레고 블록처럼 누구나 가져가서 자신만의 응용 프로그램을 만들 수 있게 했습니다.
2. 유연성: 해상도가 낮은 위성 사진부터 해상도가 높은 드론 사진까지, 다양한 크기의 데이터를 다룰 수 있습니다.
3. 전문가와의 협업: 개발 초기부터 재난 전문가, 농학자, 생태학자 등이 참여하여 "실제 현장에서 쓸모 있는 모델"이 되도록 만들었습니다.

5. 결론: 지구를 위한 새로운 도구

프리티비-EO 2.0 은 단순한 컴퓨터 프로그램이 아닙니다. 이는 지구의 과거를 학습하고, 현재를 진단하며, 미래를 예측하는 강력한 도구입니다.

• 재난이 왔을 때 더 빠르게 대응하게 해주고,
• 농부들에게 더 정확한 작물 정보를 주며,
• 과학자들에게 기후 변화의 단서를 제공합니다.

이 모델은 IBM, NASA, 그리고 전 세계 대학 및 연구소들이 힘을 합쳐 만든 결과물로, 열린 과학 (Trusted Open Science) 정신을 통해 인류가 지구를 더 잘 이해하고 보호하는 데 기여할 것으로 기대됩니다.

---

한 줄 요약:

"프리티비-EO 2.0 은 전 세계의 10 년간 위성 사진을 먹어치운 지구의 슈퍼 두뇌로, 재난, 농업, 기후 변화 등 다양한 분야에서 적은 데이터로도 뛰어난 예측을 가능하게 하는 무료 오픈 소스 모델입니다."

기술 요약

1. 문제 정의 (Problem)

최근 지구 관측 (EO) 분야에서는 자기지도학습 (Self-supervised learning) 을 기반으로 방대한 라벨 없는 위성 영상을 학습한 **지리공간 기초 모델 (Geospatial Foundation Models, GFMs)**이 등장하고 있습니다. 그러나 기존 GFMs 은 다음과 같은 한계점을 가지고 있어 실제 적용에 제약이 있었습니다.

• 시계열 (Multi-temporal) 특성의 부재: 지구 관측 데이터는 본질적으로 시계열 특성을 가지지만, 대부분의 기존 모델은 이를 고려하지 않거나, 단일 픽셀/작은 패치에 국한된 긴 시계열만 처리할 수 있었습니다.
• 검증 및 벤치마킹의 부족: 다양한 작업과 명확한 비교 프로토콜을 통한 심층적인 검증이 부족하여, 사용자가 자신의 사용 사례에 적합한지 판단하기 어려웠습니다.
• 적용의 어려움: 최첨단 GFMs 을 다양한 응용 분야에 적용하려면 전문적인 AI 지식이 필요하며, 미세 조정 (Fine-tuning) 을 위한 명확한 지침이나 간소화된 코드베이스가 부족했습니다.

2. 방법론 (Methodology)

가. 데이터셋 및 샘플링 전략

• 데이터 소스: NASA 의 Harmonized Landsat and Sentinel-2 (HLS) 아카이브를 기반으로 전 세계 420 만 개의 시계열 샘플을 구축했습니다.
• 해상도: 30m 해상도의 6 개 스펙트럼 밴드 (Blue, Green, Red, NIR, SWIR1, SWIR2) 를 사용했습니다.
• 샘플링 전략:
  • 지리적 다양성: 토지 피복 (LULC) 클래스와 생태구 (Ecoregions) 를 대표하도록 타일 (Tile) 을 샘플링했습니다.
  • 시계열 구성: 2014 년부터 2023 년까지의 데이터를 활용하여, 연속된 타임스탬프 간격을 1~6 개월로 설정한 4 개의 이미지 시퀀스를 구성했습니다. 이는 계절적 변화와 장기적 추세를 포착하기 위함입니다.
  • 품질 관리: 구름이 20% 이상이거나 결측치가 1% 이상인 샘플은 제거했습니다.

나. 모델 아키텍처 (Prithvi-EO-2.0)

• 기반 구조: Masked Autoencoder (MAE) 와 Vision Transformer (ViT) 를 기반으로 합니다.
• 3D 임베딩: 기존 2D 패치 임베딩을 3D 패치 임베딩 (시간, 높이, 너비) 으로 변경하여 시공간적 특성을 동시에 처리하도록 개선했습니다.
• 메타데이터 통합: 위도/경도 (위치) 와 연도/요일 (시간) 정보를 **임베딩 (Embedding)**으로 인코딩하여 모델 입력에 추가했습니다. 이는 모델이 공간적, 시간적 맥락을 학습하도록 돕습니다.
• 모델 크기: 3 억 (300M) 과 6 억 (600M) 파라미터 두 가지 크기로 개발되었으며, ViT-L 과 ViT-H 아키텍처를 기반으로 합니다.
• 학습 방식: 400 에포크 동안 전 세계 HLS 데이터로 사전 학습 (Pretraining) 을 수행했습니다.

다. 평가 및 미세 조정

• 벤치마킹: GEO-Bench 프레임워크를 사용하여 6 가지 분류 및 6 가지 시맨틱 세그멘테이션 데이터셋에서 기존 모델들과 비교했습니다.
• 하류 작업 (Downstream Tasks): 재난 대응 (홍수, 산불, 산사태), 토지 피복 및 작물 매핑, 생태계 역학 (생물량, GPP 추정) 등 전문가 (SME) 가 주도하는 다양한 실제 응용 분야에서 성능을 검증했습니다.
• 도구: 모델은 PyTorch Lightning 과 TorchGeo 기반의 TerraTorch 툴킷에 통합되어 재현성과 접근성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 전 세계 시계열 기초 모델: 420 만 개의 샘플로 학습된 6 억 파라미터 규모의 모델로, 기존 Prithvi-EO-1.0(미국 지역 한정, 25 만 샘플) 을 크게 확장했습니다.
2. 시공간 임베딩의 통합: 위치 (Lat/Lon) 와 시간 (Time) 메타데이터를 명시적으로 모델에 통합하여 다양한 시공간 해상도와 도메인에서 우수한 일반화 성능을 달성했습니다.
3. 포괄적인 벤치마킹 및 검증: GEO-Bench 를 통한 표준화된 벤치마킹과 함께, 재난, 농업, 생태 등 3 가지 주요 분야의 실제 사례를 통해 모델의 실용성을 입증했습니다.
4. 오픈 소스 및 생태계 구축: Hugging Face 와 IBM TerraTorch 를 통해 모델, 코드, 데이터 로더를 오픈 소스로 공개하여 커뮤니티 접근성을 극대화했습니다.

4. 결과 (Results)

• 벤치마킹 성능 (GEO-Bench):

  • Prithvi-EO-2.0 은 이전 모델 (Prithvi-EO-1.0) 대비 평균 8% 향상된 성능을 보였습니다.
  • 6 가지 다른 지리공간 기초 모델 (SatMAE, Scale-MAE, DOFA 등) 을 상대로 다양한 해상도 (0.1m~15m) 와 도메인에서 가장 높은 성능을 기록했습니다.
  • 특히 시계열 정보가 포함된 태스크 (예: 토지 이용 분류, 작물 분류) 에서 시간/위치 임베딩을 포함한 모델 (TL 버전) 이 가장 우수한 성능을 보였습니다.

• 실제 응용 분야 성과:

  • 재난 대응: 홍수 및 산불 피해 매핑에서 기존 모델 대비 IoU(Intersection over Union) 가 크게 향상되었습니다 (예: 산불 화상 IoU 5.6%p 향상).
  • 소량 데이터 학습 (Few-shot): 산사태 탐지 (L4S) 실험에서 훈련 데이터의 1% 만 사용했을 때, 기존 U-Net 기반 모델들은 성능이 급격히 하락한 반면, Prithvi-EO-2.0 은 높은 일반화 능력을 유지하며 우위를 점했습니다.
  • 생태계 모니터링:
    • 지상 생물량 (AGB): 12 개월의 Sentinel-2 시계열 데이터를 입력으로 사용하여 기존 U-Net 기반 모델과 유사하거나 더 나은 성능을 보였습니다.
    • 총 일차 생산량 (GPP): 전 세계 37 개 관측소 데이터에서 Random Forest 및 XGBoost 기반 모델 대비 R² 점수가 최대 20% 향상되었습니다. 식생 지수 (VI) 를 입력으로 사용하지 않음에도 불구하고 우수한 성능을 보인 것은 모델이 스펙트럼 및 공간 정보를 효율적으로 학습했음을 의미합니다.

5. 의의 및 결론 (Significance)

Prithvi-EO-2.0 은 지구 관측 분야에서 시계열 특성을 고려한 최초의 대규모 글로벌 기초 모델로서 중요한 이정표가 되었습니다. 이 모델은 다음과 같은 의의를 가집니다:

• 다목적 활용성: 낮은 해상도 (30m) 로 사전 학습되었음에도 불구하고, 고해상도 (드론 영상 등) 작업까지 일반화되는 뛰어난 유연성을 입증했습니다.
• 데이터 효율성: 라벨이 적은 소량 데이터 환경에서도 강력한 성능을 발휘하여, 라벨링 비용이 높은 지구 관측 분야에서 실용적인 솔루션을 제공합니다.
• 신뢰할 수 있는 오픈 사이언스: IBM, NASA, 대학 및 연구 기관 간의 긴밀한 협력을 통해 투명하고 검증된 오픈 사이언스 접근 방식을 보여주었으며, TerraTorch 를 통한 도구 제공으로 연구자와 실무자의 접근 장벽을 낮췄습니다.

결론적으로, Prithvi-EO-2.0 은 기후 변화 모니터링, 재난 대응, 농업 관리 등 다양한 지구 관측 응용 분야에서 새로운 표준을 제시하며, 기초 모델의 실용적 가치를 입증한 획기적인 연구입니다.