🤖 AI

TerraBench: Can Agents Reason Over Heterogeneous Earth-System Data?

이 논문은 언어 모델을 환경 분석, 시뮬레이션 및 검증을 위한 전문적인 과학적 도구와 결합함으로써, 이질적인 지구 시스템 데이터 전반에 걸쳐 접지된 다단계 추론을 수행하는 AI 에이전트의 능력을 평가하고 발전시키기 위해 설계된 포괄적인 벤치마크이자 실행 가능한 프레임워크인 TerraBench를 소개한다.

원저자: Dat Tien Nguyen, Thao Nguyen, Fadillah Adamsyah Maani, Huy M. Le, Muhammad Umer Sheikh, Numan Saeed, Muhammad Haris Khan, Salman Khan

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dat Tien Nguyen, Thao Nguyen, Fadillah Adamsyah Maani, Huy M. Le, Muhammad Umer Sheikh, Numan Saeed, Muhammad Haris Khan, Salman Khan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 기상 현상에 관한 복잡한 미스터리를 풀기 위해 노력하고 있다고 상상해 보십시오. 그런데 당신의 팀에는 매우 서로 다른 두 종류의 탐정이 있습니다:

"단어 마법사" (대규모 언어 모델): 이 탐정은 책을 읽고, 언어를 이해하며, 전략을 짜는 데 매우 뛰어납니다. 그들은 문제를 해결하기 위해 어떤 단계를 밟아야 하는지 말해줄 수 있습니다. 하지만 그들은 기상도를 본 적도 없고, 위성 사진을 읽을 줄도 모르며, 만약 당신이 숫자 하나를 계산해 달라고 요청한다면 그저 추측해 버릴 수도 있습니다.
"데이터 처리기" (과학적 도구들): 이 탐정은 슈퍼컴퓨터를 탑재한 로봇입니다. 위성 이미지를 즉각적으로 읽고, 복잡한 기후 시뮬레이션을 실행하며, 정확한 숫자를 계산할 수 있습니다. 하지만 이들은 인간의 언어를 구사하지 못하며, 질문을 이해하지 못하고, 누군가가 자신에게 정확히 무엇을 해야 할지 알려주어야만 움직입니다.

문제점:
현재 이 두 탐정은 서로 잘 협력하지 못합니다. 단어 마법사는 데이터 처리기의 도구들을 효과적으로 사용할 수 없고, 데이터 처리기는 단어 마법사의 계획을 이해할 수 없습니다. 이로 인해 AI가 기후 변화, 농업 또는 재난 대응과 같은 실제 의사결정을 돕는 데 기여하는 것이 매우 어렵습니다.

해결책: TerraBench와 TerraAgent
이 논문의 저자들은 AI가 마침내 이 두 탐정을 한 팀으로 만드는 법을 배울 수 있는지 확인하기 위해, 새로운 테스트 환경인 TerraBench와 새로운 "관리자"인 TerraAgent를 구축했습니다.

TerraAgent를 프로젝트 매니저라고 생각해 보십시오. 당신이 *"다음 주에 허리케인이 플로리다의 농작물에 어떤 영향을 미칠까?"*와 같은 질문을 던지면, 이 매니저는 다음과 같이 행동합니다:

계획(Plans): 질문을 여러 단계로 나눕니다.
도구 호출(Calls Tools): 데이터 처리기에게 위성 이미지를 찾아보고, 과거 기상 기록을 확인하며, 시뮬레이션을 실행하라고 명령합니다.
작업 검토(Checks Work): 로봇이 돌려준 결과물을 검토합니다.
보고(Reports): 명확하고 구조화된 형식으로 최종 답변을 작성합니다.

테스트 (TerraBench)
이 매니저가 유능한지 확인하기 위해, 저자들은 TerraBench라는 거대한 시험을 만들었습니다. 이것은 단순한 객관식 테스트가 아닙니다. 이것은 AI가 다음을 수행해야 하는 403개의 복 복잡한 "미션"들의 집합체와 같습니다:

기초(Fundamentals): 지도와 기상 차트를 읽고 기본적인 질문에 답하기.
시뮬레이션(Simulation): 홍수와 같은 재난이 발생했다고 가정하고, 시뮬레이터를 사용하여 피해를 예측하기.
검증(Verification): AI의 답변이 실제 과학 논문 및 데이터와 일치하는지 확인하기.

이 테스트는 매우 엄격합니다. 단순히 AI가 올바른 도구를 선택했는지만 보는 것이 아니라, AI가 그 도구의 올바른 설정값을 사용했는지, 그리고 최종 숫자가 아주 미세한 오차 범위 내에서 정확한지를 따집로 합니다.

결과: 현실 점검
저자들은 현존하는 가장 똑똑한 AI 모델들(Claude Sonnet 4.6 및 Qwen3.5 등)을 이 시험에 투입했습니다. 결과는 놀라웠습니다:

계획은 잘하지만, 수학에는 젬병: 상위 AI 모델들은 어떤 도구를 어떤 순서로 사용할지 결정하는 것(프로세스 부분)은 준수했습니다(약 59%의 점수).
정밀도에는 형편없음: 그러나 최종 숫자를 정확하게 맞추는 데 있어서는 처참하게 실패했습니다. 가장 뛰어난 모델조차 최종 정답을 맞힌 비율은 약 23%에 불과했습니다.
"거의 다 왔지만 틀린" 함정: 대부분의 경우, AI는 올바른 도구를 선택했지만 잘못된 설정값(예: 엉뚱한 날짜나 잘못된 위치를 참조함)을 사용했습니다. 이로 인해 결과값은 근사치에 가깝긴 하지만 과학적으로는 무용지물인 답변이 나왔습니다.

"잘못된 레시피"의 비유
요리사(AI)에게 특정 레시피(과학적 데이터)를 사용하여 케이크를 구우라고 명령한다고 상상해 보십시오.

요리사는 어떤 재료를 집어야 할지는 정확히 알고 있습니다 (도구 선택).
하지만 밀가루를 측정할 때, 전자저울 대신 계량컵을 사용합니다 (잘못된 인자/설정값).
그 결과, 케이크처럼 보이지만 맛은 모래알 같은 케이크가 만들어집니다.

이 논문은 현재의 AI가 무엇을 해야 할지는 잘 알지만, 그것을 실제 과학 분야에서 신뢰할 수 있을 만큼 정밀하게 수행하는 데는 어려움을 겪고 있다는 점을 보여줍니다.

결론
논문은 지구 과학을 위한 진정으로 유용한 AI를 구축하기 위해서는 단순히 도구에 대한 접근 권한을 주는 것만으로는 부족하다고 결론짓습니다. 우리는 AI에게 극도로 정밀하게 도구를 조정하는 법, 복잡한 워크플로우를 처리하는 법, 그리고 최종 숫자가 과학적으로 정확하도록 보장하는 법을 가르쳐야 합니다. TerraBench는 우리가 그 목표로부터 얼마나 멀리 떨어져 있는지를 정확히 측정하는 첫 번째 도구입니다.

기술 요약: TerraBench 및 TerraAgent

문제 정의

현재의 기후 및 환경 의사결정에는 격자 형태의 물리 데이터, 위성 이미지, 지리공간 컨텍스트, 시뮬레이터 출력 등 이질적인 데이터 소스에 걸친 추론이 필요합니다. 기존 AI 시스템의 능력에는 다음과 같은 상당한 격차가 존재합니다:

기상/기후 파운데이션 모델: 예측은 잘 수행할 수 있으나, 자연어로 상호작면적으로 추론하는 능력은 부족합니다.
대규모 언어 모델(LLM): 언어로 추론할 수는 있으지만, 고차원 지구 시스템 데이터 상에서 직접 작동할 수는 없습니다.

기존 벤치마크(예: OpenEarthAgent, ThinkGeo)는 이러한 능력을 좁은 범위의 작업으로 고립시키거나 주로 도구 추적 정렬(tool-trace alignment)에 집중하며, 에이전트가 위성 이미지, 격자 데이터, GIS 컨텍스트, 시뮬레이션 출력 및 문서 기반 증거를 단일화된 감사 가능한 워크플로 내에서 공동으로 추론할 수 있는지 여부를 평가하는 데 실패합니다. 결과적으로, 지구 과학 분야의 실제 과학적 워크플로는 여전히 충분히 다뤄지지 못하고 있으며, 수치 허용 오차 실패(numeric-tolerance failures) 또한 감지되지 않은 채 지나가고 있습니다.

방법론

TerraAgent 프레임워크

저자들은 LLM 계획과 과학적 도구를 결합하도록 설계된 ReAct 스타일의 실행 가능한 프레임워크인 TerraAgent를 소개합니다. 주요 아키텍처 특징은 다음과 같습니다:

워크플로 오케스트레이션: 모델은 워크플로를 조정하며, 언어 모델 생성에 의한 것이 아니라 데이터 검색, 지리공간 처리, 예측, 시뮬레이션 또는 명시적 계산을 통해 생성되는 정량적 출력을 활용하여 전문화된 도구를 호출합니다.
도구 레지스트리: 이 프레임워크는 재분석/환경 데이터 검색, 예측, 위성/EO 처리, GIS/OpenStreetMap 분석, 결정론적 시뮬레이션, 시각화, 웹 검색을 포함한 카테고리에 걸쳐 77개의 하위 도구를 통합합니다.
시뮬레이션 스택: AquaCrop(작물-수분), DSSAT(작물 시스템), CLIMADA(이벤트 영향), UTCI(열 스트레스), EnergyPlus(건물 수요), SUMO(교통 혼잡)와 같은 다양한 영향 영역을 위한 결정론적 시뮬레이터를 포함합니다.
출력: 구조화되고 출처를 밝힐 수 있는 출력(NetCDF, GeoTIFF, CSV, PNG)과 증거 추적(evidence trace)을 반환합니다.

TerraBench 벤치마크

TerraAgent를 기반으로 구축된 TerraBench는 403개의 광범위한 에이전트 작업을 포함하는 근거 기반 지구 과학 추론 벤치마크입니다.

구조: 세 가지 트랙으로 구성됩니다:
1. 기초(Fundamentals): 격자 데이터, 위성 이미지 및 GIS 레이어에 대한 결정론적 실행.
2. 시뮬레이터 기반(Simulator-Grounded): 명시적 가설 하에서의 개입, 계획 및 반사실적 추론.
3. 문서 기반 검증(Document-Grounded Verification): 공공 데이터와 도구를 사용하여 발표된 수치를 재현하거나 근사함.
도메인: 기상 예측, 허리케인/사이클론 분석, 인프라 계획, 비상 대응, 수자원 관리, 농업 적응, 대기 질, 환경 모니터링 등 8개 응용 분야를 다룹니다.
추론 수준: 작업은 Pearl의 인과 계층 구조를 채택하여 네 가지 수준(0–3)으로 주석이 달렸습니다:
- Level 0: 관측적 근거 형성(시공간 좌표 해결, 데이터 그리드 정렬).
- Level 1: 연관 추론.
- Level 2: 개입적 추론.
- Level 3: 반사실적/회고적 추론.
주석 프로토콜: 엄격한 반자동 방식의 인간 참여형(human-in-the-loop) 파이프라인을 사용합니다. 제안된 샘플 중 50.9%만이 인간 검토를 거쳐 최종 유지되었습니다. 또한 수락된 항목의 74.4%가 정형화된 추적을 완성하기 위해 여러 번의 실행 패스를 필요로 했습니다. 이는 규모보다는 주석의 깊이와 과학적 근거를 우선시함을 보여줍니다.

평가 방법론

이 벤치마크는 프로세스 수준의 도구 사용과 최종 답변의 정확성을 분리하는 세밀한 평가 프로토콜을 채택합니다:

프로세스 메트릭: 명령 유효성(InstAcc), 도구 호출 성공률, 도구 선택 정확도(ToolAcc), 인자 정확도(ArgAcc), 워크플로 순서 일관성(OrderScore)을 포함한 6가지 메트릭을 사용합니다. 이들은 종합적인 ToolUseScore로 결합됩니다.
결과 메트릭:
- Hit@tol: 절대 오차가 정의된 허용 오차( $\lambda = \max(\tau_{abs}, \tau_{rel}|y|, f)$ ) 내에 있는지 여부에 따른 엄격한 통과/실패 메트릭입니다.
- NumScore: 허용 범위를 벗어나는 오차에 대해 지수 감소 함수(base 2)를 사용하여 부분 점수를 부여하는 허용 오차 인식 점수 메트릭입니다.

주요 결과

모델 성능

경험적 평가는 최첨단 시스템들 사이에서도 현재 모델들의 상당한 한계를 드러냅니다:

최첨단 모델: 가장 우수한 성능을 보인 Claude Sonnet 4.6은 59.22의 ToolUseScore를 달성했으나, Hit@tol은 22.88, NumScore는 28.44에 그쳤습니다.
오픈 웨이트 모델: 가장 강력한 오픈 웨이트 모델인 Qwen3.5-35B는 39.95의 ToolUseScore와 5.89의 Hit@tol로 크게 뒤처졌습니다.
프로세스 vs 결과 격차: 모든 모델에서 나타나는 일관된 패턴은 프로세스 품질(ToolUseScore)이 답변 품질(NumScore/Hit@tol)보다 실질적으로 높다는 것입니다. 예를 들어, Qwen3.5-9B는 31.18의 ToolUseScore를 기록했음에도 Hit@tol은 1.20에 불과했습니다.

실패 분석

지배적인 실패 모드: 주요 병목 현상은 도구 선택 오류가 아니라 **인자 근거 형성(argument grounding)**과 **수치 미달(numeric misses)**입니다. 모든 모델에서 84% 이상의 수치적 답변이 허용 오차 범위를 벗어났습니다.
특정 오류: "잘못된 인자 값(Wrong Argument Values)"과 "허용 오차 초과 수치 미달(Numeric Miss Beyond Tolerance)"이 가장 보편적인 실패 모드였습니다.
도구 사용: 더 강력한 모델은 더 넓은 범위의 도구 집합(재분석, GIS, 예측)을 활용한 반면, 약한 모델은 더 좁은 집합으로 수렴했습니다. 시뮬레이션 및 시각화 도구는 거의 사용되지 않았으며(예: 호출의 <1.5%), 이는 모델들이 외부 증거를 구체화하기보다 직접적인 텍스트 답변을 최적화하려 함을 시사합니다.
트랙 난이도: 시뮬레이터 기반 작업이 전체적으로 가장 어려운 것으로 확인되었으며, 기초 작업이 가장 쉬운 것으로 나타났습니다.

의의 및 주장

본 논문은 TerraBench가 지구 관측 이미지, 격자형 환경 데이터, GIS 추론, 결정론적 시뮬레이션 및 문서 기반 검증을 단일 실행 가능한 인터페이스 아래에 통합한 최초의 벤치마크라고 주장합니다. 그 의의는 다음과 같습니다:

통합된 평가: 지구 과학 에이전트의 능력을 비교하기 위한 통합되고 감사 가능한 워크플로를 제공하여, 기존 벤치마크의 파편화 문제를 해결합니다.
허용 오차 인식 점수: 프로세스 수준의 메트릭과 수치 허용 오차 점수를 결합함으로써, 기존의 "도구 추적 전용" 평가가 놓쳤던 도구 오케스트레이션 숙련도와 과학적 정확성 사이의 체계적인 격차를 드러냅니다.
재현성: TerraAgent와 TerraBench는 구조화된 출력 계약과 아티팩트 기반 계산을 제공하여, 과학적으로 근거 있는 LLM 에이전트 개발을 가능하게 하는 재현 가능한 테스트베드를 제공합니다.
현실적인 제약: 본 벤치마크는 신뢰할 수 있는 지구 과학 에이전트가 단순한 도구 접근을 넘어 이질적인 워크플로를 조정하고, 도구의 파라미터를 정밀하게 설정하며, 아티팩트의 출처(provenance)를 보존해야 함을 입증합니다.

저자들은 결론적으로, 최첨단 모델들이 프로세스 메트릭에서는 오픈 베이스라인보다 우수하지만, 수치적으로 정확하고 과학적 근거가 있는 출력을 생성하는 데에는 여전히 큰 격차가 존재하며, 이는 현재의 에이전트들이 아직 견고하고 자율적인 지구 과학 워크플로를 수행할 준비가 되지 않았음을 나타낸다고 밝힙니다.