기술 요약: GeoR-Bench

문제 제기

현재 지구과학 지능 연구는 원격 탐사 해석 및 지리 질문 응답과 같은 좁은 범위의 작업에서 진전을 보였습니다. 그러나 기존 벤치마크는 대부분 작업 특이적이며, 고립된 인식 또는 캡션 생성 능력에 초점을 맞추고 있습니다. 이는 실제 지구 시스템 문제의 개방적이고 시각적으로 근거된 본질을 포착하지 못합니다. 결과적으로 현재 AI 시스템이 진정한 지구과학 지능에 얼마나 가까운지 불분명합니다. 지구과학 지능은 표면적인 시각적 사실성뿐만 아니라 지구 시스템 변화를 이해하고 추론하며 예측하여 과학적으로 유효한 결과를 산출하는 능력을 요구하기 때문입니다.

방법론

벤치마크 설계: GeoR-Bench

지구과학 추론 평가의 격차를 해소하기 위해 저자들은 GeoR-Bench를 소개합니다. 이는 추론 기반 시각 편집을 통해 지구과학 시각 추론을 평가하도록 설계된 벤치마크입니다. 핵심 원칙은 모델의 지구과학 지능이 지구 시스템 이해를 정확하고 시각적으로 근거된 생성물로 변환하는 능력으로 측정되어야 한다는 점입니다.

• 데이터셋 구성: 본 벤치마크는 6 가지 지구과학 범주(지형학, 수문학, 대기 및 해양 역학, 빙권, GIS 및 공간 기하학, 지각 과학) 와 24 가지 작업 유형에 걸친 440 개의 선별된 샘플로 구성됩니다.
• 데이터 출처: 이 데이터셋은 실제 지구 관측 이미지 (위성, 지도, DEM) 와 공식 과학적 표현 (단면도, 다이어그램, 지질 라벨) 을 포함한 이질적인 시각적 형태를 통합합니다.
• 작업 구조: 각 샘플은 입력 이미지, 정답 출력 이미지, 자연어 지시문, 작업별 평가 기준을 포함하는 표준화된 형식을 따릅니다. 작업에는 시간적 진화 (예: 삼각주 성장, 빙하 후퇴), 공간적 재구성 (예: 거리에서 위성 뷰로), 과학적 다이어그램 완성 등이 포함됩니다.

평가 프로토콜

저자들은 모델 출력을 판단하기 위해 엄격한 정확도 지표를 보완한 3 차원 평가 프레임워크를 제안합니다:

1. 추론: 생성된 출력이 의도된 물리적, 공간적 또는 과정 기반 생성을 반영하는지 평가합니다. 이는 입력, 정답, 모델 예측 및 작업별 평가 기준 (예: 삼각주 전진이 올바르게 전진하는지, 사이클론이 반시계 방향으로 회전하는지 확인) 을 비교하여 평가됩니다.
2. 일관성: 생성된 출력이 입력 이미지 및 정답과 필요한 시각적 관계 (스타일, 구조, 편집 외의 내용 보존 포함) 를 유지하는지 평가합니다.
3. 품질: 과학적 정확성과 무관하게 생성된 산출물의 시각적 사용성을 측정합니다 (예: 흐림, 왜곡 또는 아티팩트 부재).
4. 엄격한 정확도: 샘플은 추론, 일관성, 품질을 동시에 충족할 때만 정확한 것으로 간주됩니다.

실험 설정

저자들은 폐쇄형 (예: GPT-Image-2, FLUX.2 변형, Nano Banana 시리즈) 과 오픈 소스 시스템 (예: Qwen-Edit, Step-1x, Bagel) 을 모두 포함하는 21 개의 멀티모달 모델을 평가했습니다.

• 평가 도구: 추론과 일관성은 Gemini 3 Flash를 사용하여 평가 기준에 기반한 정규화된 0~100 척도로 점수화되었습니다. 이미지 품질은 Q-Align을 사용하여 평가되었습니다.
• 검증: 자동 평가 파이프라인은 전문가 평가와 비교하여 검증되었으며, Gemini 3 Flash 가 추론 및 일관성 정렬에서 가장 낮은 평균 절대 오차 (MAE) 를 달성한 것으로 나타났습니다.

주요 결과

전반적 성능

• 지구과학 추론은 결정적인 병목 현상: 어떤 모델도 50% 이상의 엄격한 정확도를 달성하지 못했습니다. 가장 성능이 뛰어난 모델인 GPT-Image-2는 **42.7%**의 엄격한 정확도를 달성했습니다.
• 오픈 소스 격차: 가장 성능이 뛰어난 오픈 소스 모델인 Qwen-Edit-2511은 **10.3%**의 엄격한 정확도를 달성하여 최상위 폐쇄형 모델보다 약 4 배 낮았습니다. 다섯 개의 오픈 소스 모델은 2% 미만의 점수를 기록했으며, OmniGen 은 0% 를 기록했습니다.
• 시각적 성능과 과학적 성능 간의 불일치: 시각적 일관성과 이미지 품질 점수가 추론 점수보다 현저히 높다는 일관된 패턴이 나타났습니다. 예를 들어, FLUX.2 Pro 는 품질 점수 79.1 을 기록했으나 추론 점수는 42.6 에 불과하여 엄격한 정확도는 5.6% 였습니다. 이는 모델이 종종 과학적으로 정확하지 않지만 시각적으로 그럴듯한 결과를 생성함을 시사합니다.

범주별 분석

• 쉬운 작업: 수문학과 빙권 작업이 가장 용이했으며, 최상위 모델은 50~57% 의 엄격한 정확도에 도달했습니다. 이러한 작업은 종종 계절적 습윤/건조 전환, 빙하 후퇴와 같은 반복적인 시간적 패턴에 의존하며, 여기서 외관 사전 지식은 과학적 행동과 일치합니다.
• 어려운 작업: 대기와 해양 역학이 가장 어려웠으며, 최상위 모델은 35.3% 점수에 그쳤습니다. 이러한 작업은 코리올리 효과, 순환 구조와 같은 복잡한 물리적 힘에 대한 추론이 필요하며, 이는 표면적 외관 사전 지식으로 가장할 수 없습니다. 지형학 또한 과정 기반 퇴적물 이동 논리에 의존하기 때문에 상당한 도전을 제시했습니다.

제거 실험 및 분석

• 명시적 지시: "분지 수로 추가"와 같은 명시적 절차적 지시를 제공하면 오픈 소스 모델의 성능이 크게 향상되었습니다 (예: Qwen-Edit-2511 은 10.3% 에서 24.7% 로 향상). 이는 이러한 모델이 암시적 지구과학 사전 지식보다는 명시적 분해에 의존함을 시사합니다. 폐쇄형 모델은 더 소극적인 향상을 보였으며, 이는 더 강력한 암시적 추론 능력을 시사합니다.
• 추론 대 생성: 분석은 현재 모델이 시각적 외관을 보존하는 데 비해 지구과학 추론에서 현저히 약함을 확인했습니다. '추론' 차원은 리더보드 전반에서 품질과 일관성 점수가 포화되는 경향이 있어 지구과학 역량의 주요 차별화 요소입니다.

중요성과 주장

본 논문은 GeoR-Bench가 그럴듯한 자연 이미지 생성이 아닌, 도메인 이해를 과학적으로 정확한 시각적 출력으로 변환할 수 있는지를 평가함으로써 중요한 격차를 메운다고 주장합니다.

• 측정 가능한 지능: 이 벤치마크는 편집된 이미지가 모델의 지구 시스템 이해를 외부화하는 능력을 직접적으로 증명하는 증거가 되는, 추론 기반 시각 편집을 통해 지구과학 지능이 측정 가능함을 확립합니다.
• 현재의 한계: 결과는 최첨단 폐쇄형 모델을 포함한 현재 AI 시스템이 근본적인 지구 과학 과정을 포착하지 못함을 구체적으로 입증합니다. 이들은 "표면적으로 그럴듯한" 결과를 생성하지만, 재난 대응 및 기후 적응과 같은 중요한 분야에서 요구되는 엄격한 과학적 유효성은 결여되어 있습니다.
• 미래 방향: 저자들은 향후 연구가 미적 그럴듯함을 넘어 물리적으로 근거되고 과학적으로 충실한 이미지 생성으로 나아가야 한다고 주장합니다. 이 벤치마크는 멀티모달 지구과학 시각 추론의 발전을 촉진하는 탐침 역할을 합니다.