Learning to Wander: Improving the Global Image Geolocation Ability of LMMs via Actionable Reasoning

이 논문은 3 만 2 천 개 이상의 파노라마로 구성된 행동 기반 지리 위치 추론 벤치마크 'WanderBench'와 시각적 탐색 행동을 통해 불확실성을 줄이는 추론 프레임워크 'GeoAoT'를 제안하여, 대규모 멀티모달 모델의 전 세계 지리 위치 추정 능력을 혁신적으로 향상시켰습니다.

핵심

🌍 1. 문제점: "눈만 뜨고 있는 AI"

기존의 AI(지도 찾기 프로그램) 는 마치 눈을 가리고 한 장의 사진만 보고 장소를 맞추는 게임을 하듯 작동했습니다.

• 상황: "이 사진은 어디일까요?"라고 물으면 AI 는 그 사진 속의 건물이나 나무만 보고 "아마도 한국일 거야"라고 추측합니다.
• 한계: 만약 사진에 명확한 간판이 없다면? AI 는 그냥 "모르겠다"거나 엉뚱한 곳을 맞힙니다.
• 비유: 길을 잃었을 때, 한 장의 사진만 들고 서 있는 사람을 상상해 보세요. 주변을 돌아보지도, 걸어가서 간판을 읽지도 못한다면 길을 찾을 수 없겠죠? 기존 AI 는 바로 이런 상태였습니다.

🗺️ 2. 새로운 도구: "WanderBench (방랑 벤치)"

연구진은 AI 가 실제로 움직일 수 있는 환경을 만들기 위해 **'WanderBench'**라는 새로운 시험장을 만들었습니다.

• 비유: 기존 시험지가 '정지된 사진'이었다면, WanderBench 는 가상의 VR(가상현실) 게임입니다.
• 특징: AI 는 이 게임 안에서 360 도를 돌고 (회전), 앞뒤로 걸을 수 있습니다. 마치 구글 스트리트 뷰를 직접 조작하듯, "여기가 너무 어두우니까 오른쪽으로 돌아보자", "저기 간판이 보이니까 다가가서 읽어보자"라고 직접 행동할 수 있는 공간입니다.
• 규모: 전 세계 6 대륙의 3 만 2 천 개 이상의 장소를 담고 있어, AI 가 전 세계를 방랑하며 학습할 수 있게 했습니다.

🧠 3. 새로운 방법: "GeoAoT (생각의 행동)"

이제 AI 가 이 게임에서 어떻게 지능적으로 행동하는지 소개합니다. 이를 GeoAoT라고 부릅니다.

• 기존 방식 (생각만 하는 것): "이건 한국 같아. 왜냐하면..."이라고 말만 하고 끝납니다.
• 새로운 방식 (생각 + 행동):
  1. 생각: "이곳이 어디인지 모르겠어. 간판이 안 보여."
  2. 행동: "그럼 오른쪽으로 180 도 돌아서 다시 보자!" (AI 가 직접 시선을 돌림)
  3. 새로운 발견: "아! 돌아보니까 '서울'이라고 적힌 간판이 있네!"
  4. 결론: "그렇다면 여기는 서울이야!"
• 핵심: AI 가 단서를 찾기 위해 직접 움직이는 과정을 통해 정답에 도달하는 것입니다. 이는 사람이 길을 찾을 때 주변을 두리번거리며 단서를 모으는 방식과 똑같습니다.

📊 4. 실험 결과: "움직이는 AI 가 더 똑똑하다"

연구진은 19 개의 최신 AI 모델들을 이 새로운 시험장에 투입해 봤습니다.

• 결과: 움직일 수 있는 능력 (GeoAoT) 을 부여받은 AI 들은 정답을 맞히는 정확도가 압도적으로 높아졌습니다.
• 비유: 정지된 사진만 보고 답을 맞히려는 사람보다, 주변을 돌아다니며 단서를 찾는 탐정이 훨씬 더 빠르게 사건을 해결하는 것과 같습니다.
• 특히, 기존에 잘하지 못하던 AI 들도 이 방식을 쓰면 실력이 크게 향상되었습니다.

🚀 5. 결론: "AI 의 지능이 한 단계 업그레이드됨"

이 연구는 AI 에게 단순히 "보는 것"을 넘어 **"행동하며 추론하는 능력"**을 심어주었습니다.

• 앞으로 자율 주행 자동차나 재난 구조 로봇이 길을 찾을 때, 단순히 지도 데이터만 보는 게 아니라 주변을 직접 탐색하며 상황을 파악하는 데 이 기술이 쓰일 수 있습니다.
• 마치 스마트한 여행 가이드처럼, AI 가 "여기가 어디야?"라고 물으면 "잠깐만요, 제가 한 바퀴 돌아보고 간판을 확인해 볼게요"라고 대답하며 정확한 장소를 찾아내는 시대가 온 것입니다.

---

한 줄 요약:

"기존 AI 는 사진 한 장만 보고 장소를 맞췄다면, 이 연구는 AI 에게 VR 게임처럼 직접 돌아다니며 단서를 찾는 능력을 심어주어, 길을 찾는 정확도를 획기적으로 높였습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 한계: 기존 이미지 지리 위치 추정 (Geolocation) 연구는 주로 정적 (Static) 인 단일 이미지 인식에 의존해 왔습니다. PlaNet, Im2GPS 와 같은 기존 모델들은 방대한 지리 태그 데이터베이스를 기반으로 정적 이미지를 분류하거나 검색하는 방식에 그쳤습니다.
• 인간적 접근의 부재: 인간이 길을 잃었을 때 단일 사진을 바라보기만 하는 것이 아니라, 고개를 돌려 표지판을 보거나 랜드마크에 가까이 다가가는 등 능동적인 탐색 (Active Exploration) 을 통해 정보를 수집합니다.
• 데이터셋의 결함: 기존 데이터셋 (Im2GPS3K, YFCC 등) 은 이산적이고 정적인 이미지로 구성되어 있어, 에이전트가 환경을 탐색하거나 시점을 변경하는 물리적 행동을 수행할 수 있는 프레임워크를 제공하지 못합니다.
• 핵심 문제: 대형 멀티모달 모델 (LMMs) 이 뛰어난 추론 능력을 가지고 있음에도 불구하고, 정적 인식에 머무르며 불확실성을 줄이기 위해 능동적으로 정보를 수집하는 '신체화된 (Embodied)' 지리 위치 추정 능력을 평가하고 향상시킬 수 있는 벤치마크와 방법이 부재했습니다.

2. 제안 방법론 (Methodology)

A. WanderBench: 새로운 글로벌 지리 위치 추정 벤치마크

• 개요: embodied agent(신체화된 에이전트) 의 상호작용을 위해 설계된 최초의 오픈 액세스 글로벌 지리 위치 추정 데이터셋입니다.
• 구성: 6 대륙에 분포된 1,047 개의 고유한 위치를 기반으로 하며, 총 32,741 개의 파노라마 이미지와 39,442 개의 탐색 가능한 연결 (Edges) 로 구성된 그래프 구조를 가집니다.
• 특징:
  • 탐색 가능 그래프: 각 위치는 노드 (파노라마) 와 에지 (이동 경로) 로 구성된 그래프로 표현되어, 에이전트가 회전 (Rotation) 이나 이동 (Movement) 과 같은 행동을 수행할 수 있게 합니다.
  • 생성 방식: LMM 을 활용하여 다양한 난이도와 지리적 특성을 가진 위치를 생성하고, 위성 지도를 통해 검증한 후 실제 파노라마 데이터를 수집했습니다.
  • 양방향 평가: 단순히 위치를 맞추는 것뿐만 아니라, 모델이 특정 난이도의 새로운 지리 위치 문제를 생성하고 평가할 수 있는 능력을 측정합니다.

B. GeoAoT (Action of Thought): 행동 기반 추론 프레임워크

• 개념: 기존의 정적 '생각의 사슬 (Chain-of-Thought, CoT)'을 넘어, 행동의 사슬 (Action of Thought, AoT) 을 도입한 새로운 에이전트 프레임워크입니다.
• 작동 원리:
  1. 초기 추정: 현재 시각적 관찰을 기반으로 초기 위치를 추정합니다.
  2. 불확실성 분석: 어떤 정보가 부족하거나 모호한지 분석합니다.
  3. 행동 계획 수립: 불확실성을 줄이기 위한 구체적인 물리적 행동을 제안합니다 (예: "180 도 오른쪽으로 회전하여 건물 간판을 확인", " landmark 에 가까이 이동").
  4. 환경 상호작용 및 재추정: 제안된 행동을 수행하여 새로운 시각 정보를 얻고, 이를 바탕으로 위치 추정을 업데이트합니다.
• 특징: 추가적인 모델 학습 없이 추론 시간 (Inference time) 에만 작동하며, LMM 이 환경과 상호작용하며 정보를 수집하는 과정을 시뮬레이션합니다.

3. 주요 기여 (Key Contributions)

1. WanderBench 데이터셋 공개: 32,000 개 이상의 파노라마를 포함하며, 이동 및 회전과 같은 상호작용적 에이전트 행동을 지원하는 최초의 오픈 액세스 글로벌 지리 위치 추정 데이터셋을 구축했습니다.
2. GeoAoT 프레임워크 제안: 정적 추론을 넘어 환경 내에서 물리적 행동을 생성하고 실행하여 정보를 능동적으로 수집하는 새로운 에이전트 아키텍처를 제시했습니다.
3. 새로운 평가 프로토콜: 모델이 지리 위치 추정 문제를 해결하는 능력뿐만 아니라, 난이도가 조절된 새로운 문제를 생성하고 평가하는 능력 (메타 추론) 을 함께 측정하는 양방향 평가 방식을 도입했습니다.

4. 실험 결과 (Results)

• 평가 대상: 19 개의 주요 오픈 소스 및 폐쇄 소스 LMM (GPT-4o, Gemini-2.5 Pro, Qwen, InternVL 등) 에 대해 실험을 수행했습니다.
• 성능 향상:
  • GeoAoT 적용 효과: 모든 모델에서 GeoAoT 를 적용한 결과, 거리 오차 (Distance Error) 가 크게 감소하고 정확도 (Accuracy), 재현율 (Recall), F1 점수가 향상되었습니다.
  • 구체적 수치: 예를 들어, LLaVA-OneVision-72B 모델은 거리 오차가 4,080km 에서 3,007km 로 약 1,000km 이상 감소했고, o3 모델은 거리 오차가 318km 에서 180km 로 줄어들며 정밀도가 크게 개선되었습니다.
  • 세부 영역: 거리, 도시, 국가 수준의 모든 공간적 스케일에서 일관된 성능 향상을 보였습니다.
• 모델 비교: 폐쇄 소스 모델 (Gemini-2.5 Pro, o3 등) 이 전반적으로 최상의 성능을 보였으나, 오픈 소스 모델 (Qwen2.5-VL, GLM-4.5V 등) 도 GeoAoT 를 통해 폐쇄 소스 모델과의 격차를 줄이며 경쟁력 있는 성능을 보였습니다.
• 난이도별 분석: 데이터 커버리지 (20%, 50%, 80%) 가 증가함에 따라 성능이 일관되게 향상되는 모델들 (o3, GPT-4o 등) 과 그렇지 않은 모델들 간의 차이를 통계적으로 분석했습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 지리 위치 추정을 '정적 인식'에서 '상호작용적 추론 (Interactive Inference)'으로 전환하는 새로운 패러다임을 제시했습니다.
• 신체화된 AI 연구의 토대: 에이전트가 환경을 능동적으로 탐색하며 불확실성을 해결하는 능력을 평가할 수 있는 표준 벤치마크를 제공함으로써, embodied visual understanding 연구의 새로운 기준을 마련했습니다.
• 해석 가능성: 단순히 정답을 출력하는 것을 넘어, 어떤 행동을 통해 어떤 정보를 얻었는지 단계별로 추적할 수 있어 모델의 추론 과정에 대한 투명성과 해석 가능성을 높였습니다.
• 미래 전망: 이 연구는 자율주행, 사실 확인 (Fact-checking), 문화 탐험 등 다양한 분야에서 지리적으로 기반을 둔 더 자율적이고 자기 평가적인 AI 시스템 개발의 기초가 될 것으로 기대됩니다.

이 논문은 LMM 이 단순히 이미지를 '보는' 것을 넘어, 문제를 해결하기 위해 환경을 '탐색'하고 '행동'할 수 있는 능력을 어떻게 평가하고 향상시킬 수 있는지를 체계적으로 증명했다는 점에서 의의가 큽니다.