🤖 AI

OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents

OmniMapBench는 시각적 의존성 지수(Visual Dependency Index)를 도입하여 환원 불가능한 시각적 접지(visual grounding)를 측정함으로써, 대규모 시각-언어 모델의 시각 중심 추론을 평가하고 발전시키기 위해 설계된, 다양한 지도 문서에 걸쳐 2,000개 이상의 수동 주석이 달린 질문-답변 쌍으로 구성된 새로운 벤치마크입니다.

원저자: Yang Chen, Yunwen Li, Yufan Shen, Minghao Liu, Tianyu Zheng, Bin Fu, Qunshu Lin, Zhi Yu, Botian Shi

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yang Chen, Yunwen Li, Yufan Shen, Minghao Liu, Tianyu Zheng, Bin Fu, Qunshu Lin, Zhi Yu, Botian Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 지도를 읽는 법을 가르치려 한다고 상상해 보세요. 당신은 이렇게 생각할지도 모릅니다. "문제없어! 그냥 로봇에게 지도에 적힌 텍스트를 책처럼 읽게 하면 되잖아." 하지만 여기 반전이 있습니다. 지도는 아주 영악합니다. 지도는 글자로만 "읽을" 수 없는 선, 색상, 그리고 도형 속에 그 비밀들을 숨겨두기 때문입니다.

이 논문은 OmniMapBench라는 새로운 도전 과제를 소개합니다. 이것은 기본적으로 지도들로만 만들어진 거대하고 까다로운 장애물 코스입니다. 저자들은 로봇이 실제로 보이는 것을 '보고' '생각'하는 것인지, 아니면 단순히 텍스트를 읽어서 속임수를 쓰는 것인지를 확인하기 위해 이 코스를 만들었습니다.

거대한 "텍스트 함정" (The Great "Text-Trap")

이 논문은 기존의 많은 AI 테스트들이 마치 학생에게 문제의 답이 질문의 문구 속에 숨겨져 있는 수학 문제를 주는 것과 같다고 주장합니다. 만약 로봇이 그림을 단어 목록(예: "흡연자의 70%는...라고 느낀다")으로 바꿀 수 있다면, 이미지를 제대로 보지도 않고도 문제를 풀 수 있게 됩니다.

저자들은 말합니다. "그만 속이세요!" 그들은 기존의 많은 테스트가 그림을 텍스트로 너무 쉽게 변환할 수 있기 때문에 너무 쉽다고 주장합니다. 그들은 텍스트 설명을 읽는 것만으로는 지도 문제를 해결하기에 충분하지 않다는 점을 명시하며, 텍스트 설명만으로 해결 가능하다는 생각을 명시적으로 배제했습니다. 실제로 그들은 어떤 지도들의 경우, 전체 그림을 글로 묘사하려고 하면 정답을 맞히는 데 필요한 결정적인 세부 사항들을 놓치게 된다는 것을 보여주었습니다.

새로운 도전: 지도의 정글 (A Map Jungle)

이를 해결하기 위해 팀은 OmniMapBench를 만들었습니다. 이것은 1,603개의 서로 다른 지도를 담고 있는 거대한 도서관이라고 생각하면 됩니다. 이 지도들은 단순히 지루한 지하철 노선도가 아닙니다. 다음과 같은 다양한 종류가 섞여 있습니다:

실내 내비게이션 (쇼핑몰에서 음료수 자판기 찾기).
지형도 (산의 높이와 강의 경로 읽기).
판타지 게임 지도 (눈 모양 기호가 있는 건물 찾기).
역사적 탐험가 경로 (아프리카 주변을 도는 배의 경로 추적하기).

그들은 이 지도들을 위해 2,096개의 질문을 직접 제작했습니다. 어떤 질문은 쉬운 편이지만(단순히 색상 찾기), 어떤 질문은 매우 어렵습니다(경로를 파악하기 위해 세 단계를 거쳐야 하는 경우).

"시각적 의존성" 테스트 (The "Visual Dependency" Test)

로봇이 실제로 지도를 보고 있는지, 아니면 그냥 추측하는 것인지 어떻게 알 수 있을까요? 저자들은 **시각적 의존성 지수(VDI)**라는 영리한 테스트를 고안했습니다.

가상의 로봇이 있다고 상상해 봅시다.

테스트 A: 당신은 로봇에게 지도를 보여주고 "오른쪽에 집이 몇 채 있나요?"라고 묻습니다. 로봇이 대답합니다.
테스트 B: 당신은 지도를 치워버립니다. 대신, 로봇에게 지도를 글로 길고 지루하게 설명한 문단(예: "초록색 들판과 네 개의 구름이 있는...")을 줍니다. 그러고 나서 똑같은 질문을 합니다.

만약 로봇이 테스트 B에서 틀린다면, 그것은 좋은 신호입니다! 이는 로봇이 문제를 풀기 위해 반드시 그림이 필요했다는 뜻이기 때문입니다. VDI는 그림을 없앴을 때 로봇의 점수가 얼마나 떨어지는지를 정확히 측정합니다.

높은 VDI: 로봇이 그림 없이는 실패했습니다. 즉, 실제로 보고 있었다는 뜻입니다!
낮은 VDI: 로봇이 글만 있어도 맞혔습니다. 즉, 텍스트를 읽고 있었던 것입니다.

저자들은 이를 측정했고, OmniMapBench가 다른 테스트들보다 훨씬 높은 VDI를 가진다는 것을 발견했습니다. 이미지를 설명하는 엄청난 양의 텍스트를 허용하더라도, 로봇들은 실제 그림 없이는 여전히 어려움을 겪었습니다. 이는 이 테스트가 공정하며 실제로 시각적 기술을 검증하고 있음을 증명합니다.

결과: 로봇은 여전히 배우는 중입니다

저자들은 25개의 가장 똑똑한 AI 모델(무료 및 유료 모델 모두)을 이 장애물 코스에 투입했습니다.

최고 점수: 가장 뛰어난 로봇인 Gemini-3.1-Pro는 **75.03%**의 정답률을 기록했습니다.
격차: 이 점수가 높아 보일 수도 있지만, AI의 세계에서는 아직 개선의 여지가 많다는 것을 의미합니다. 논문은 최고 수준의 모델들도 복잡한 다단계 추론 작업에서는 어려움을 겪는다고 언급합니다.
"맹인" 테스트: 그림을 완전히 없애고 질문과 객관식 선택지만 주었을 때, 점수는 평균 **58.87%**에서 **23.35%**로 폭락했습니다. 이는 로봇들이 단지 단어를 바탕으로 추측할 수 없으며, 정말로 지도가 필요하다는 것을 증명합니다.

앞으로의 과제는?

이 논문은 이 문제가 해결되었다고 주장하는 것이 아닙니다. 대신, 현재의 AI 모델들이 텍스트를 읽는 능력은 좋아지고 있지만, 복잡한 시각적 추론에는 여전히 어려움을 겪고 있다는 점을 시사합니다. 저자들은 연구자들이 단순히 라벨을 읽는 것이 아니라, 세상을 진정으로 "보는" 로봇을 만들 수 있도록 이 새로운 벤치마크를 사용하기를 희망합니다.

그러니, 만약 당신이 미로를 통과하려는 로봇이라면, 표지판만 읽지 말고 벽을 보세요! 이 논문은 현재 가장 똑똑한 로봇들도 그렇게 하는 법을 여전히 배우고 있다는 것을 보여줍니다.

기술 요약: OmniMapBench

문제 정의

최근 대규모 시각-언어 모델(LVLM)의 발전은 연구의 초점을 단순한 지각 작업(예: 객체 인식)에서 복잡하고 시각적으로 근거가 있는 추론으로 전환시켰습니다. 그러나 저자들은 기존의 문서 이해 벤치마크에서 결정적인 한계를 식별했습니다. 즉, 이러한 데이터셋의 시각적 콘텐츠 중 상당 부분이 텍스트로 환원 가능하다는 점입니다. 광학 문자 인식(OCR), 레이아웃 분석 또는 코드 생성을 통해 차트, 표, 구조화된 문서의 이미지는 텍ịch 형태(예: Markdown)로 변환될 수 있으며, 이를 통해 모델은 진정한 시각적 근거를 거치지 않고 언어적 추론만으로 문제를 해결하는 '텍스트화 지름길(textualization shortcut)'을 이용할 수 있습니다. 이러한 현상은 LVLM의 진정한 시각적 추론 능력을 가립니다.

이를 해결하기 위해, 본 논문은 **지도(map)**가 텍스트 환원에 본질적으로 저항하는 문서 카테고리라고 주장합니다. 구조화된 문서와 달리, 지도의 의미론적 콘텐츠는 공간적 위상, 기호 관습, 그리고 연속적인 그래픽 특징(예: 등고선, 색상으로 구분된 영역)에 내재되어 있으며, 이는 특정 질의에 대한 사전 지식 없이는 선형적인 텍스트 설명만으로는 완전히 포착될 수 없습니다.

방법론

1. OmniMapBench 데이터셋 구축

저자들은 지도 문서에 특화된 시각 중심 추론을 촉진하기 위해 설계된 벤치마크인 OmniMapBench를 소개합니다. 데이터셋 구축은 3단계 파이프라인을 따릅니다:

데이터 수집: 정부 포털 및 소셜 미디어로부터 웹 스크래핑과 수동 수집을 통해 5,000개 이상의 지도 이미지를 수집했습니다. 이미지의 중복성, 해상도 및 정치적 민감도를 기준으로 필터링하여 최종적으로 1,603개의 고품질 지도 이미지를 확보했습니다.
주석 달기(Annotation): 전문 주석가들이 2,096개의 수동 검증된 질의응답(QA) 쌍을 생성했습니다. 모호성을 최소 최소화하기 위해 질문은 객관적인 형식(단일 선택, 다중 선택, 정렬)으로 구성되었습니다.
교차 검증: 두 개의 독립된 팀이 QA 쌍의 명확성, 정확성 및 능력 수준 준수 여부를 검증하였으며, 모호하거나 잘못된 항목은 폐기했습니다.

이 데이터셋은 9가지 다양한 카테기를 포괄합니다: 실내 내비게이션, 교육 및 역사, 공학 및 시설, 교통, 관광, 지형 및 원격 탐사, 환경 및 자연, 사회경제, 게임 지도. QA 쌍은 세 가지 능력 수준으로 분류됩니다:

레벨 1 (지각): 기본적인 정보 추출.
레벨 2 (단일 단계 추론): 직접적인 공간 추론.
레벨 3 (다단계 추론): 복잡한 다단계 관계 추론.

2. 시각 의존 지수 (Visual Dependency Index, VDI)

벤치마크가 시각 정보에 얼마나 의존하는지를 정량적으로 측정하기 위해, 저자들은 **시각 의존 지수(VDI)**를 제안합니다.

정의: VDI는 특정 토큰 예산( $k_{max}$ ) 하에서 참조용 LVLM에 의해 생성된 텍스트 전용, 질문 불가지론적(question-agnostic) 설명으로 전체 시각 입력을 대체했을 때 발생하는 정규화된 정확도 하락을 측정합니다.
공식: $VDI = \frac{Acc_{full} - Acc_{text}}{Acc_{full}}$
해석: 높은 VDI는 해당 과업이 텍스트 지름길을 통해 해결하기 어렵고 진정한 시각적 근거를 필요로 함을 나타냅니다. 낮은 VDI는 과업이 주로 텍кси를 통해 해결될 수 있음을 시사합니다.
보완 지표: 실제 사용된 토큰과 최대 예산 간의 비율을 측정하여 설명에 필요한 정보 밀도를 나타내는 **기술 포화 지수(Descriptive Saturation Index, DSI)**가 함께 도입되었습니다.

3. 평가 프로토콜

본 벤치마크는 GPT-5(Gemini-3.1-Pro 포함), Qwen3.5 시리즈, InternVL 등 25개의 주요 LVLM을 평가하는 데 사용되었습니다. 평가는 엄격한 일치 정확도(exact-match accuracy) 메트릭을 사용하였으며, 최대의 추론 능력을 이끌어내기 위해 생각의 사슬(Chain-of-Thought, CoT) 프롬프팅을 활용했습니다.

주요 결과

1. 성능 격차

종합적인 평가 결과, 현재 모델들 사이에서 상당한 성능 격차가 드러났습니다.

가장 우수한 성능을 보인 모델인 Gemini-3.1-Pro는 **75.03%**의 정확도를 달성했습니다.
최고의 오픈 소스 모델인 Qwen3.5-397B-A17B는 **72.22%**를 달기하며, 독점 시스템과의 격차를 3% 포인트 미만으로 좁혔습니다.
성능은 일반적으로 추론 복잡성이 증가함에 따라 감소했으며, 레벨 3(다단계 추론) 과업이 모든 모델의 주요 병목 구간임이 확인되었습니다.

2. 시각 의존성 분석

VDI 분석 결과, OmniMapBench는 기존 벤치마크(예: DocVQA, ChartQA, AI2D)보다 시각 정보에 훨씬 더 높은 의존도를 보였습니다.

토큰 예산 $k_{max} = 1024$ 에서, OmniMapBench는 평가된 모든 벤치마크 중 가장 높은 0.338의 VDI를 유지했습니다.
반면, AI2D 및 MMBench와 같은 벤치마크는 동일한 예산에서 VDI가 거의 0에 가까운 수치(각각 0.019 및 0.028)로 떨어졌으며, 이는 해당 과업들이 주로 텍스트로 해결 가능함을 나타냅니다.
이미지 없는 베이스라인(No-Image Baseline): 모델을 시각적 입력 없이(텍스트 전용) 테스트했을 때, 평균 정확도가 58.87%에서 23.35%로 급락하여, 본 벤치마크가 언어적 사전 지식이나 답변 선택 편향만으로는 해결될 수 없음을 확인했습니다.

3. 카테고리별 편차

모델의 성능은 지도 카테고리에 따라 크게 달랐습니다. 모델들은 구조화된 텍스트 정보가 포함된 카테고리(예: 관광)에서는 더 나은 성능을 보였으나, 밀집되고 비표준적인 기호 및 복잡한 위상 관계를 해석해야 하는 카테로리(예: 지형 및 원격 탐사)에서는 어려움을 겪었습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

OmniMapBench: 지각에서 다단계 추론에 이르는 기술 계층을 조사하도록 설계된, 9가지 지도 카테고리에 걸쳐 2,096개의 수동 주석 QA 쌍을 특징으로 하는 다양하고 시각 중심적인 벤치마크를 도입했습니다.
시각 의존 지수 (VDI): 벤치마크가 시각 정보에 의존하는 정도와 텍스트 지름길에 의존하는 정도를 정량화하기 위한 간단하면서도 효과적인 지표를 제안했습니다.
종합적 평가: 현재 모델들이 직면한 시각 중심 추론의 과제를 밝히고 성능 병목 현상을 식별하는 25개 LVLM에 대한 체계적인 평가를 수행했습니다.

저자들은 본 연구가 문서 이해를 위한 시각 중심 추론의 발전을 촉진하는 것을 목표로 한다고 밝혔습니다. 텍스트 환축에 저항하는 벤치마크와 이를 정량화하는 지표를 제공함으로써, OmniMapBench는 다중 모달 모델의 지각과 추론 통합을 평가하고 개선하기 위한 원칙적인 프레임워크를 제공합니다. 데이터셋과 코드는 이 목표를 지원하기 위해 공개되었습니다.