💻 computer science

City Navigation in the Wild: Exploring Emergent Navigation from Web-Scale Knowledge in MLLMs

이 논문은 MLLM(멀티모달 거대언어모델)의 실세계 지식 기반 내비게이션 능력을 평가하기 위한 새로운 벤치마크인 'CityNav'를 제안하고, 도시 규모의 인지 지도를 활용해 경로를 구체화하는 'VoP(Verbalization of Path)' 기법을 통해 탐색 성능을 크게 향상시켰음을 보여줍니다.

원저자: Dwip Dalal, Utkarsh Mishra, Narendra Ahuja, Nebojsa Jojic

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dwip Dalal, Utkarsh Mishra, Narendra Ahuja, Nebojsa Jojic

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏙️ 제목: "AI, 길치 탈출기: 구글 스트리트 뷰로 떠나는 도시 탐험"

1. 문제 제기: "AI는 똑똑하지만, 길은 잘 못 찾아요" (The Problem)

지금까지의 AI(멀티모달 거대언어모델, MLLM)는 책을 읽거나 그림을 보고 설명하는 건 아주 잘했습니다. 하지만 **"실제 도시에서 길 찾기"**라는 미션을 주면 이야기가 달라집니다.

기존의 AI 길 찾기 테스트는 마치 '실내 게임기' 안에서 움직이는 것과 같았습니다. 정해진 규칙이 있고, 지도가 있고, 주변에 "여기는 거실입니다"라고 친절하게 알려주는 환경이었죠. 하지만 진짜 세상은 어떤가요? 표지판은 외국어로 되어 있고, 건물은 비슷비슷하며, 가다 보면 막다른 길도 나옵니다.

이 논문의 저자들은 AI에게 **"지도도 없고, GPS도 없고, 친절한 설명도 없다! 오직 네 눈(카메라 이미지)과 네 머릿속 지식만 믿고 뉴욕이나 도쿄 같은 대도시에서 목적지까지 찾아가 봐!"**라는 아주 어려운 미션을 던진 것입니다. 이것을 논문에서는 **'CityNav'**라고 부릅니다.

2. 새로운 해결책: "말로 하면서 가기" (The Solution: VoP)

연구팀은 AI가 길을 헤매는 이유를 찾아냈습니다. AI가 눈앞의 사진만 보고 "왼쪽으로 갈까, 오른쪽으로 갈까?"를 결정하다 보니, 자기가 지금 어디쯤 있는지, 원래 어디로 가려고 했는지를 금방 까먹는 것이죠. 마치 **"눈앞의 맛있는 냄새에 홀려 목적지를 잊어버리는 여행객"**처럼 말이죠.

그래서 연구팀은 **'VoP(Verbalization of Path, 경로의 언어화)'**라는 마법 같은 방법을 제안했습니다.

이 방법은 AI에게 이렇게 시키는 것입니다:

"길을 결정하기 전에, 네가 지금 어디에 있는지, 목적지는 어디인지, 그리고 앞으로 어떤 길로 갈 건지 입 밖으로(텍스트로) 소리 내어 말해봐!"

비유를 들어볼까요?

기존 AI: 눈을 감고 걷다가 갈림길이 나오면 "음, 왼쪽인가?" 하고 대충 찍어서 가는 사람.
AgentNav (새로운 AI): 걷는 내내 **"나는 지금 뉴욕 브로드웨이 5번가에 있어. 목적지는 원 월드 트레이드 센터야. 이제 남쪽으로 쭉 가다가 베시 스트리트에서 우회전할 거야!"**라고 끊임없이 중얼거리며 걷는 사람.

이렇게 **말로 내뱉는 과정(Verbalization)**을 통해 AI는 자신의 머릿속에 있는 '도시 지식'을 끄집어내고, 자신이 어디에 있는지 스스로 확인하며(자기 위치 파악), 길을 잃지 않게 됩니다.

3. 결과: "놀라운 성적 향상" (The Results)

연구팀은 뉴욕, 도쿄, 비엔나, 상파울루 등 전 세계 다양한 도시에서 실험을 했습니다. 결과는 놀라웠습니다.

성적 급상승: 단순히 사진만 보고 결정하던 AI보다, **"말로 계획을 세우며 걷는 AI"**의 성공률이 압도적으로 높았습니다.
지식의 활용: AI는 학습 과정에서 이미 인터넷의 방대한 데이터를 통해 도시의 구조를 배웠는데, '말로 하기'를 시키니까 그 잠들어 있던 지식을 깨워서 길 찾기에 사용하기 시작했습니다.

4. 요약하자면? (Summary)

이 논문은 **"AI에게 단순히 '보고 움직여'라고 하는 대신, '네가 아는 것을 말하면서 움직여'라고 하면 훨씬 똑똑하게 길을 찾는다"**는 것을 증명했습니다.

이 기술이 발전하면, 나중에는 AI 로봇이 우리 대신 복잡한 도시를 돌아다니며 심부름을 하거나, 자율주행 자동차가 훨씬 더 사람처럼 유연하게 길을 찾는 세상을 만들 수 있을 것입니다. 🚀

[기술 요약] 도시 환경에서의 자율 내비게이션: MLLM의 웹 규모 지식을 활용한 창발적 내비게이션 탐구

1. 문제 정의 (Problem Statement)

기존의 멀티모달 거대 언어 모델(MLLM) 기반 에이전트 연구는 주로 실내 환경이나 시뮬레이션 환경에 국한되어 있었습니다. 이러한 환경은 지식 집약적이지 않으며, 모델이 보유한 방대한 외부 세계 지식을 활용하는 능력을 평가하기 어렵습니다. 반면, 실제 도시 내비게이션은 다음과 같은 고도의 인지 능력을 요구합니다:

지식 집약적 추론: 랜드마크, 거리 이름, 도시 구조에 대한 내부 지식 활용.
공간 추론 및 자기 위치 추정(Self-localization): 지도나 GPS 없이 시각적 단서만으로 현재 위치 파악.
장기적 의사결정: 수십 개 이상의 교차로를 거치는 연속적인 경로 계획.

본 논문은 기존 벤치마크들이 제공하던 명시적인 랜드마크 정보나 짧은 경로의 한계를 지적하며, "Sparsely Grounded Visual Navigation"(희소하게 접지된 시각적 내비게이션)이라는 새로운 과제를 제안합니다.

2. 주요 기여 (Key Contributions)

CityNav 데이터셋 구축: 뉴욕, 도쿄, 비엔나, 상파울루 등 전 세계 4개 도시를 대상으로, Google Street View를 활용하여 2km 이상의 긴 경로와 50개 이상의 의사결정 지점을 포함하는 멀티링구얼(다국어) 벤치마크를 구축했습니다.
AgentNav 프레임워크 및 VoP 방법론 제안: 모델의 내부 지식을 명시적으로 끌어내기 위한 Verbalization of Path (VoP) 기법을 제안했습니다.
효율적인 메모리 구조 설계: 장기 내비게이션 시 발생하는 계산 복잡도를 줄이기 위해 Markovian Memory, Decision History, Previous Visit Tracking으로 구성된 효율적인 메모리 시스템을 도입했습니다.
기존 기법의 한계 증명: CoT(Chain-of-Thought), Reflection(자기 성찰) 등 기존의 정적 추론 기법들이 동적인 연속 의사결정 환경에서는 성능이 급격히 저하됨을 입증했습니다.

3. 방법론 (Methodology)

A. Verbalization of Path (VoP):
에이전트가 단순히 다음 행동을 선택하는 것을 넘어, 자신의 내부 상태를 언어로 명시화하도록 유도합니다. 프롬프트에 다음 세 가지 요소를 포함합니다:

목적지의 정확한 위치 기술: 목표 지점을 명확히 고정.
현재 추정 위치 기술: 현재 위치를 지속적으로 업데이트하여 자기 위치 추정 수행.
목적지까지의 도보 경로 기술: 모델이 가진 세계 지식을 활용해 경로 계획을 언어로 생성.

B. AgentNav 메모리 시스템:
에피소드 전체를 저장하는 대신, 세 가지 핵심 요소를 통해 메모리 부하를 약 100배 감소시키면서도 효율적인 추론을 가능하게 합니다:

Markovian Memory: 이전 메모리 상태( $m_{t-1}$ )를 바탕으로 현재 상태( $m_t$ )를 업데이트하여 상태 공간을 확장.
Decision History: 선택한 행동의 순서를 기록하여 루프(Loop) 방지 및 경로 수정에 활용.
Previous Visit Tracking: 방문한 교차로의 방문 횟수( $n_v$ )를 기록하여 동일한 실수를 반복하지 않도록 탐색 전략 수정.

4. 실험 결과 (Results)

성능 향상: GPT-4o, GPT-5(O3), Gemini 2.5 Flash, Qwen 2.5 VL 등 다양한 MLLM 모델에 VoP를 적용했을 때, 모든 모델에서 성공률(Success Rate)과 경로 효율성(SPL)이 비약적으로 상승했습니다.
도시별 차이: 뉴욕과 같이 격자형 구조가 잘 잡힌 도시는 높은 성공률을 보였으나, 도쿄(복잡한 언어/좁은 골목)나 비엔나 등은 상대적으로 난이도가 높았습니다.
Ablation Study: 실험 결과, VoP의 단계적 적용(목적지 기술 $\rightarrow$ 현재 위치 기술 $\rightarrow$ 전체 경로 기술)이 성능 향상에 결정적인 역할을 함을 확인했습니다. 특히 '전체 경로 기술' 단계에서 성능이 가장 크게 도약했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 MLLM이 단순한 텍스트/이미지 이해를 넘어, **학습된 웹 규모의 지식을 실제 물리적 공간의 추론에 활용할 수 있는 잠재력(Emergent Navigation)**이 있음을 보여주었습니다.

결론적으로, AgentNav는 모델에게 "생각할 시간과 공간(언어적 명시화)"을 부여함으로써, 정적인 추론 능력을 동적인 실행 능력으로 전환하는 효과적인 프레임워크를 제시했습니다. 이는 향후 자율 주행 에이전트 및 로봇 공학 분야에서 MLLM을 활용하는 데 있어 중요한 이정표가 될 것입니다.