Earth-Agent: Unlocking the Full Landscape of Earth Observation with Agents

이 논문은 RGB 및 분광 데이터를 통합하고 전문 도구를 동적으로 활용하여 복잡한 지구 관측 임무를 수행하는 최초의 에이전트 프레임워크인 'Earth-Agent'와 이를 평가하기 위한 'Earth-Bench' 벤치마크를 제안하며, 지구 관측 분석의 새로운 패러다임을 제시합니다.

핵심

지구를 위한 AI 비서 '어스-에이전트 (Earth-Agent)': 복잡한 지구 관측을 해결하는 새로운 방법

이 논문은 지구를 연구하는 과학자들이 직면한 거대한 문제를 해결하기 위해 개발된 새로운 AI 시스템, **'어스-에이전트 (Earth-Agent)'**에 대해 설명합니다. 이를 쉽게 이해하기 위해 몇 가지 비유를 들어보겠습니다.

1. 기존 AI 의 한계: "눈만 있는 비서"

기존의 AI(멀티모달 LLM) 는 마치 오직 '눈'만 가진 비서와 같습니다.

• 일상적인 업무: 위성 사진 (RGB) 을 보고 "이건 숲이야, 이건 바다야"라고 말해주거나 "이 사진에 차가 몇 대 있니?"라고 물어보면 대답할 수 있습니다.
• 한계점: 하지만 이 비서는 색깔만 볼 뿐, 온도나 수분 같은 '감각'은 못 느낍니다. 또한, 한 번에 사진 한 장만 볼 수 있고, "건물의 부피 변화를 계산해줘" 같은 복잡한 수학적 문제를 직접 풀거나, 전문적인 과학 도구 (예: 기상청 데이터 분석 프로그램) 를 직접 사용할 줄 모릅니다. 마치 "계산기는 못 쓰지만 머릿속으로만 계산해"라고 하는 것과 비슷합니다.

2. 어스-에이전트 (Earth-Agent): "전천후 과학자 비서"

이 논문에서 제안한 어스-에이전트는 단순한 비서를 넘어 **모든 도구를 갖춘 '전천후 과학자 비서'**입니다.

• 다양한 감각 (RGB + 스펙트럼): 이 비서는 일반 카메라 사진뿐만 아니라, 열화상 (온도), 레이더, 적외선 등 인간의 눈에는 보이지 않는 다양한 '스펙트럼' 데이터도 볼 수 있습니다. 마치 안경을 갈아 끼듯 상황에 따라 다양한 센서를 켜고 지구 상태를 파악하는 것입니다.
• 도구 상자 (104 개의 전문 도구): 이 비서는 혼자서 모든 걸 해결하려 하지 않습니다. 대신 **104 개의 전문 도구 (툴)**가 들어있는 거대한 도구 상자를 가지고 있습니다.
  • 예시: "건물의 부피를 계산해줘"라는 요청을 받으면, 비서는 직접 계산하지 않고 '건물 면적 계산기', '통계 분석기', '지수 계산기' 같은 전문 도구를 차례대로 꺼내 사용합니다.
• 복잡한 문제 해결 (다단계 추론): "황河流域의 가뭄 지수를 계산해줘"라는 복잡한 질문을 받으면, 비서는 다음과 같이 생각하며 행동합니다.
  1. 필요한 위성 데이터 파일을 찾아서 가져온다.
  2. 식생 지수 (NDVI) 와 지표면 온도 (LST) 를 계산하는 도구를 실행한다.
  3. 그 결과로 나온 수치들을 비교하여 가뭄 지수를 도출한다.
  4. 최종적으로 "가뭄이 5 번 발생했습니다"라고 보고한다.
     이 과정은 마치 레고 블록을 하나하나 조립해서 복잡한 기계를 만드는 과정과 같습니다.

3. 새로운 시험지: '어스-벤치 (Earth-Bench)'

이 비서가 정말로 잘하는지 확인하기 위해, 연구팀은 어스-벤치라는 새로운 시험지를 만들었습니다.

• 기존 시험지: "이 사진이 뭐야?" 같은 단순한 질문만 있었습니다.
• 어스-벤치: "2023 년 6 월부터 9 월까지 황河流域의 가뭄 지수 피크 (최고점) 가 몇 번이나 발생했는지 계산해줘"처럼, 정답뿐만 아니라 '어떻게 계산했는지 (추론 과정)'도 평가합니다.
• 마치 학생이 시험을 볼 때, 정답만 맞히는 게 아니라 풀이 과정 (연산 단계, 도구 사용 순서) 까지 꼼꼼히 채점하는 것과 같습니다.

4. 왜 이것이 중요한가요?

이 기술은 지구 환경 변화, 재난 모니터링, 농업 관리 등 실제 과학적 의사결정에 큰 도움을 줍니다.

• 기존: AI 가 "여기에 불이 났네요"라고 알려주는 데 그쳤다면,
• 새로운 방식: AI 가 "불이 난 면적은 50 헥타르이며, 3 일 전 대비 20% 증가했고, 바람 방향을 고려할 때 2 시간 후 A 지역으로 확산될 위험이 높습니다"라고 구체적인 수치와 예측을 제공합니다.

요약

어스-에이전트는 단순히 사진을 보는 AI 를 넘어, **전문적인 과학 도구들을 능숙하게 다루며 복잡한 지구 데이터를 분석하는 '초지능 과학자 비서'**입니다. 이는 우리가 지구를 더 정확하게 이해하고, 기후 변화나 재난에 대비하는 데 있어 AI 가 단순한 '관찰자'가 아닌 '해결사'로 거듭날 수 있는 길을 열었습니다.

기술 요약

1. 문제 정의 (Problem)

지구 관측 (Earth Observation, EO) 은 지구 시스템의 변화를 이해하는 데 필수적이지만, 기존 연구 방법론에는 다음과 같은 근본적인 한계가 존재합니다.

• MLLM 기반 연구의 한계: 최근 멀티모달 대규모 언어 모델 (MLLM) 은 RGB(가시광선) 이미지 기반의 단순한 질문 응답 (VQA), 분류, 객체 탐지 등 지각적 (Perceptual) 작업에서 성과를 보였으나, 다음과 같은 제약이 있습니다.
  • 모달리티 제한: 열적외선 (TIR), 합성개구레이더 (SAR), 초분광 (Hyperspectral) 등 RGB 외의 다양한 EO 데이터 모달리티를 처리하지 못함.
  • 데이터 처리 규모: 한 번에 한 장 또는 소수의 이미지만 처리 가능하며, 대규모 EO 코퍼스를 다루기 어려움.
  • 추론의 단순성: 단일 단계의浅한 (Shallow) 추론에 그치며, 복잡한 다단계 과학적 분석 (예: 시계열 추세 분석, 정량적 지리공간 계산) 이 불가능함.
  • 도구 통합 부재: 사전 학습된 지식에 의존하여 외부 과학 도구나 전문가 모델을 동적으로 호출할 수 없음.
• 기존 에이전트 연구의 부족: 기존 EO 에이전트 연구들은 주로 RGB 기반의 변화 탐지나 분류에 국한되어 있으며, 전문적인 도구 생태계 (Tool Ecosystem) 가 부족하고, 복잡한 지리과학 워크플로우를 처리하는 데 한계가 있음. 또한, 최종 답변의 정확성만 평가할 뿐 추론 과정 (Reasoning Trajectory) 에 대한 체계적인 평가가 부재함.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 Earth-Agent라는 새로운 에이전트 프레임워크와 Earth-Bench라는 벤치마크를 제안했습니다.

A. Earth-Agent 프레임워크

• ReAct 기반 POMDP: 에이전트의 작동은 부분 관측 가능 마르코프 결정 과정 (POMDP) 으로 공식화되었으며, ReAct (Reasoning + Acting) 패턴을 따릅니다. 에이전트는 목표 $g$와 과거 상호작용 기록 $m_t$를 바탕으로 다음 도구를 선택하고 실행합니다.
• MCP 기반 도구 생태계: **Model Context Protocol (MCP)**을 기반으로 104 개의 전문 도구를 통합했습니다. 이 도구들은 5 가지 도메인별 툴킷으로 구성됩니다.
  1. Index: NDVI, NDWI, NBR 등 다양한 원격탐사 지수 계산.
  2. Inversion: 지표면 온도 (LST), 수증기 (PWV), 해빙 농도 등 지구물리 파라미터 역산.
  3. Perception: 장면 분류, 객체 탐지, 분할 (SAM2 등 활용).
  4. Analysis: 추세 탐지, 계절성 분해, 변화점 분석, 공간 자기상관 분석.
  5. Statistics: 대규모 데이터 전처리, 통계 계산, 클라우드 마스킹 등.
• 다중 모달리티 지원: RGB 이미지뿐만 아니라 원시 스펙트럼 데이터 (Raw Spectral Data) 와 처리된 지구 제품 (Processed Earth Products, 예: GEE, NASA EarthData) 을 모두 처리할 수 있습니다.
• 동적 도구 호출: 에이전트는 LLM 의 추론 능력을 활용하여 작업의 복잡도에 따라 필요한 도구를 동적으로 호출하고, 다단계 추론을 통해 정량적 분석을 수행합니다.

B. Earth-Bench (벤치마크)

• 데이터 구성: 248 개의 전문가 큐레이션 질문과 13,729 개의 이미지로 구성되었습니다. 데이터는 스펙트럼 (Spectrum), 제품 (Products), RGB 모달리티를 모두 포함합니다.
• 평가 프로토콜: 기존 벤치마크가 최종 답변 정확도만 평가한 것과 달리, 이중 수준 (Dual-level) 평가를 도입했습니다.
  1. End-to-End 평가: 최종 답변의 정확도 (Accuracy) 와 효율성 (Efficiency, 전문가 솔루션 대비 단계 수).
  2. Step-by-Step 평가: 추론 궤적의 품질을 평가.
     • Tools-Any-Order: 필요한 모든 도구를 사용했는지.
     • Tools-In-Order: 도구를 올바른 순서로 호출했는지.
     • Tool-Exact-Match: 예측된 도구 시퀀스와 전문가 시퀀스의 접두사 정확도.
     • Parameter Accuracy: 도구 입력 인자의 정확성.
• 쿼리 모드: Auto-Planning(단계 명시 없이 에이전트가 스스로 계획) 과 Instruction-Following(단계 명시 포함) 두 가지 모드를 모두 지원합니다.

3. 주요 기여 (Key Contributions)

1. Earth-Agent 제안: EO 분야에서 최초의 에이전트 프레임워크로, MCP 기반의 104 개 전문 도구를 통합하여 RGB 및 스펙트럼 데이터를 아우르는 정량적 시공간 추론을 가능하게 함.
2. Earth-Bench 구축: 248 개의 복잡한 다단계 EO 작업과 13,729 개의 이미지를 포함하는 대규모 벤치마크를 구축하고, 추론 궤적과 최종 결과를 모두 평가하는 체계적인 프로토콜을 제시함.
3. 성능 입증: 다양한 LLM 백본 (GPT-5, DeepSeek-V3.1, Kimi-K2 등) 을 사용하여 Earth-Bench 에서 일반 에이전트 (Operator, Manus 등) 와 기존 MLLM 기반 EO 모델보다 월등히 우수한 성능을 보임을 실험을 통해 입증함.

4. 실험 결과 (Results)

• LLM 백본 비교: GPT-5, Gemini-2.5, DeepSeek-V3.1, Kimi-K2 등 도구 호출에 특화된 모델들이 높은 성능을 보였습니다. 특히 오픈소스 모델인 DeepSeek-V3.1 과 Kimi-K2 는 도구 사용 정확도 (Tool-Exact-Match) 에서 GPT-5 를 능가하거나 유사한 성능을 보이며 추론 궤적 정렬 능력이 뛰어났습니다.
• 일반 에이전트 대비 우위: Earth-Bench-Lite(축소 버전) 에서 일반 에이전트 (Manus, Coze, MGX 등) 와 비교했을 때, Earth-Agent 는 스펙트럼, 제품, RGB 모든 모달리티에서 압도적인 성능 차이를 보였습니다. 일반 에이전트는 도메인 특화 도구가 없어 복잡한 EO 작업에서 실패하거나 낮은 정확도를 보였습니다.
• 기존 MLLM 대비 우위: 원격탐사 벤치마크 (AID, DOTA, DIOR-RSVG 등) 에서 기존 MLLM 기반 모델 (GeoChat, LHRS-Bot 등) 보다 분류, 탐지, 분할 작업에서 더 높은 정확도를 기록했습니다. Earth-Agent 는 모듈식 도구 호출을 통해 다양한 작업 유형에 적응할 수 있었습니다.
• 오류 분석: 주요 오류는 '불완전한 종료 조건 인식', '도구/파일 환각 (Hallucination)', '유효하지 않은 파라미터' 등이었습니다. 오픈소스 모델들은 환각 오류가 상대적으로 많았으며, 이는 강화학습 전략과 관련이 있을 것으로 분석되었습니다.

5. 의의 및 중요성 (Significance)

• 패러다임 전환: 지구 관측 분석이 단순한 '지각 (Perception)'과 '단일 단계 추론'에서 '다단계 과학적 추론'과 '외부 도구 통합'으로 전환되는 새로운 패러다임을 제시합니다.
• 정량적 분석 가능: 단순한 이미지 설명을 넘어, 기후 변화 분석, 재해 모니터링, 도시 계획 등 실제 과학적 의사결정에 필요한 정량적 데이터 처리를 가능하게 합니다.
• 확장성: MCP 기반의 모듈식 설계로 인해 새로운 도구나 모델을 쉽게 추가할 수 있어, 향후 지구과학 분야의 다양한 응용 분야로 확장 가능성이 큽니다.
• 체계적 평가 기준: 추론 과정 자체를 평가하는 기준을 마련함으로써, 향후 EO 에이전트 연구의 발전 방향과 평가 체계를 정립하는 데 기여합니다.

결론적으로, 이 논문은 LLM 을 지구 관측의 복잡한 과학적 문제 해결에 적용하기 위한 첫 번째 포괄적인 에이전트 프레임워크와 벤치마크를 제시하여, AI 기반 지구과학 연구의 새로운 지평을 열었습니다.