NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions

이 논문은 내비게이션 에이전트의 공간 지능을 체계적으로 평가하기 위해 'NavSpace' 벤치마크를 제안하고, 이를 통해 기존 모델들의 한계를 드러내며 새로운 공간 지능 내비게이션 모델인 'SNav'를 개발하여 우수한 성능을 입증했습니다.

핵심

🤖 "나비스페이스 (NavSpace)": 로봇이 길을 잃지 않게 만드는 '공간 지능' 테스트

이 논문은 로봇이나 AI 가 인간의 말을 듣고 복잡한 공간에서 길을 찾을 때, 단순히 "무엇이 있는가?"를 아는 것을 넘어 **"어디에 있고, 얼마나 멀고, 어떻게 움직여야 하는가?"**를 이해하는 능력, 즉 **'공간 지능 (Spatial Intelligence)'**을 얼마나 가지고 있는지 평가하는 새로운 기준을 제시합니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 함께 설명해 드릴게요.

---

1. 문제 제기: 로봇은 왜 길을 잃을까? 🗺️🤔

지금까지 로봇 연구자들은 로봇이 "거실로 가", "소파를 찾아" 같은 명령을 잘 수행하는지만 확인했습니다. 마치 지도 앱에서 "집으로 가"라고 입력했을 때, 주소만 정확히 입력되면 된다고 생각하는 것과 비슷합니다.

하지만 실제 삶에서는 훨씬 더 복잡합니다.

• "식탁 앞을 빙글빙글 돌면서 내 가방을 찾아줘." (공간 구조 이해)
• "2 층으로 내려가서 친구들이 뭐 하는지 봐." (수직적 위치 이해)
• "오른쪽 30 도 돌고 3 미터 직진해서 책장 확인해." (정밀한 거리/각도 계산)
• "침실 불이 꺼져 있으면 거실로 가고, 켜져 있으면 침실에 있어." (환경 상태 판단)

기존의 AI 는 이런 정밀한 공간 감각과 논리적 추론이 필요한 명령을 받으면, 마치 나침반이 고장 난 등산객처럼 길을 잃거나 엉뚱한 곳으로 가버립니다.

2. 해결책: '나비스페이스 (NavSpace)'라는 새로운 시험지 📝✨

저자들은 로봇의 공간 지능을 제대로 측정하기 위해 **새로운 시험지 (벤치마크)**를 만들었습니다. 이를 **'나비스페이스 (NavSpace)'**라고 부릅니다.

이 시험지는 크게 6 가지 난이도 높은 문제로 구성되어 있습니다.

1. 수직 지각 (Vertical Perception): "2 층으로 올라가", "계단 중간에 서 있어"처럼 층수나 높이를 정확히 이해하는지 봅니다.
2. 정밀 이동 (Precise Movement): "오른쪽으로 30 도 돌고 1.5 미터 가라"처럼 숫자와 각도를 정확히 수행하는지 봅니다.
3. 시점 전환 (Viewpoint Shifting): "네가 TV 가 되어 상상해봐, TV 의 왼쪽으로 가"처럼, 로봇이 자신의 시선이 아닌 다른 사물의 시선으로 공간을 상상할 수 있는지 봅니다. (마치 가상현실 (VR) 게임에서 캐릭터의 시점을 바꾸는 것과 같습니다.)
4. 공간 관계 (Spatial Relationship): "3 번째 문 왼쪽", "소파와 의자 사이"처럼 여러 사물 간의 순서와 위치 관계를 파악하는지 봅니다.
5. 환경 상태 (Environment State): "불이 꺼져 있으면 A 로, 켜져 있으면 B 로 가라"처럼 상황에 따라 행동을 바꾸는 논리력을 봅니다.
6. 공간 구조 (Space Structure): "테이블 한 바퀴 돌기", "가장 먼 곳으로 가서 돌아오기"처럼 복잡한 이동 경로를 이해하는지 봅니다.

이 시험지는 실제 로봇이 움직이며 답을 내야 하므로, 단순히 그림을 보고 답을 고르는 것보다 훨씬 어렵습니다.

3. 실험 결과: AI 들의 실력은? 📉📈

저자들은 최신 AI 모델 22 개를 이 시험지에 대입해 봤습니다. 결과는 충격적이었습니다.

• 최고급 AI (GPT-5, Gemini 등): 사람과 대화는 잘하지만, 실제 로봇처럼 움직이는 것은 매우 서툴렀습니다. 마치 이론은 박사급이지만 운전면허는 없는 사람처럼, "가야 할 곳"은 알지만 "어떻게 움직여야 할지"를 모르고 헤맸습니다. 성공률은 20% 미만.
• 기존 로봇 전용 모델: 간단한 길 찾기는 잘하지만, 복잡한 공간 지능 명령에는 거의 실패했습니다.
• 새로운 모델 (SNav): 저자들이 새로 개발한 **'SNav'**라는 모델이 가장 잘했습니다. 이 모델은 공간 지능을 특별히 훈련받아서, 다른 모델들보다 훨씬 정확하게 길을 찾았습니다.

4. 핵심 통찰: 왜 AI 는 길을 못 찾을까? 🧠💡

논문은 중요한 사실을 발견했습니다.

"AI 가 공간에 대한 '지식'은 가지고 있지만, 그것을 '행동'으로 옮기는 능력이 부족하다."

예를 들어, GPT-5 같은 AI 는 "지금 2 층이야"라고 말은 할 수 있어도, 실제로 2 층으로 내려가는 계단 이동 동작을 연속적으로 수행하면 길을 잃어버립니다. 마치 노래 가사는 다 외웠는데, 악보를 보고 피아노 치는 법은 모르는 상황과 같습니다.

5. 결론: 로봇이 진짜 '스마트'해지려면? 🚀

이 논문은 우리에게 중요한 메시지를 줍니다.

• 단순한 언어 이해만으로는 부족합니다. 로봇이 인간처럼 자유롭게 움직이려면, 공간을 느끼고, 거리를 재고, 상황을 판단하는 '공간 지능'이 필수입니다.
• 새로운 기준이 필요합니다. 로봇을 평가할 때 단순히 "말을 잘 알아듣는가"가 아니라, "복잡한 공간에서 논리적으로 움직이는가"를 봐야 합니다.
• SNav 의 등장은 희망입니다. 공간 지능을 강화한 새로운 모델이 등장함으로써, 앞으로 우리 집이나 사무실에서 정말 똑똑한 로봇 비서를 만날 날이 머지않았음을 시사합니다.

한 줄 요약:

"로봇에게 '집으로 가'라고만 하면 안 됩니다. '2 층으로 내려가서 소파 오른쪽에 있는 가방을 찾아줘'라는 정교한 공간 명령을 잘 수행할 수 있는 **'공간 지능'**을 키워줘야 진짜 똑똑한 로봇이 됩니다!"

기술 요약

1. 문제 정의 (Problem)

기존의 지시 기반 내비게이션 (Instruction-following Navigation) 연구는 주로 언어와 시각적 의미 (Semantic) 이해에 초점을 맞추어 왔습니다. R2R, ObjNav 등의 벤치마크는 에이전트가 랜드마크나 객체를 찾는 능력을 평가하지만, 공간 지능 (Spatial Intelligence) 즉, 공간 구조, 규모, 상대적 방향, 환경 상태 등을 정확히 인지하고 추론하여 행동을 계획하는 능력을 체계적으로 평가하는 데는 한계가 있었습니다.

실제 일상생활에서는 "2 층으로 내려가 친구들이 하는 일을 확인해 줘", "침대 위치에서 상상해 오른쪽 창문으로 안내해 줘", "불이 꺼져 있으면 거실로 가라"와 같이 공간적 위치, 층수, 거리, 각도, 환경 상태 변화 등을 복합적으로 이해해야 하는 지시들이 많습니다. 기존 벤치마크는 이러한 공간적 추론 능력을 평가하지 못해, 다중 모달 대형 언어 모델 (MLLM) 과 내비게이션 모델의 실제 embodied navigation(구체화 된 로봇 내비게이션) 능력, 특히 공간 지능 수준이 불분명했습니다.

2. 방법론 (Methodology)

A. NavSpace 벤치마크 구축

이 논문은 공간 지능을 평가하기 위한 최초의 벤치마크인 NavSpace를 제안했습니다.

• 데이터 수집 파이프라인:
  1. 설문 조사: 내비게이션에 필수적인 6 가지 공간 지능 카테고리를 도출했습니다.
  2. 궤적 수집: Habitat 3.0 시뮬레이터와 HM3D 장면을 기반으로 인간 어노테이터가 에이전트를 원격 조종하여 궤적을 기록했습니다.
  3. 지시어 주석 (Instruction Annotation): 수집된 궤적과 MLLM(GPT-5 등) 의 분석을 바탕으로 공간 지능이 필요한 지시문을 생성했습니다.
  4. 교차 검증: 다른 어노테이터가 생성된 지시문을 실행하여 정확성과 일관성을 검증했습니다.
• 데이터 규모: 총 1,228 개의 궤적 - 지시어 쌍 (Trajectory-Instruction Pairs) 으로 구성되었습니다.
• 6 가지 작업 카테고리:
  1. 수직 지각 (Vertical Perception): 층수, 높이 변화 인식 (예: "2 층으로 올라가").
  2. 정밀 이동 (Precise Movement): 정확한 거리와 각도 이해 (예: "오른쪽으로 30 도 회전, 3m 직진").
  3. 시점 전환 (Viewpoint Shifting): 객체의 관점에서 공간 관계 추론 (예: "TV 가 되어 왼쪽으로 이동").
  4. 공간 관계 (Spatial Relationship): 객체 간 순서 및 상대적 위치 파악 (예: "두 소파 사이", "왼쪽 두 번째 문").
  5. 환경 상태 (Environment State): 환경 조건에 따른 조건부 행동 (예: "불이 꺼져 있으면 거실로").
  6. 공간 구조 (Space Structure): 복잡한 경로 (원형 이동, 왕복, 최단/최장 거리) 수행.

B. SNav 모델 제안

NavSpace 에서 우수한 성능을 보이는 새로운 SNav 모델을 개발했습니다.

• 아키텍처: 비전 인코더 (SigLIP), 프로젝터 (MLP), 대형 언어 모델 (Qwen2) 을 결합한 엔드 - 투 - 엔드 구조입니다.
• 공간 지능 향상 전략:
  • 기존 오픈소스 데이터셋 (R2R 등) 에서 6 가지 공간 지능 카테고리를 만족하는 지시문을 생성하는 파이프라인을 설계했습니다.
  • 생성된 데이터로 SNav 를 추가 파인튜닝 (Post-training) 하여 공간 지각 및 추론 능력을 강화했습니다.

3. 주요 기여 (Key Contributions)

1. NavSpace 벤치마크 제안: 공간 지능을 평가하는 최초의 벤치마크로, 1,228 개의 고품질 데이터셋과 6 가지 구체적인 카테고리 체계를 제시했습니다.
2. 포괄적인 평가: 22 개의 내비게이션 에이전트 (최신 내비게이션 모델, 오픈소스/상용 MLLM 등) 를 NavSpace 에서 평가하여 공간 지능의 현황을 규명했습니다.
3. SNav 모델 개발: 제안된 공간 지능 향상 기법을 적용하여 기존 모델들을 압도하는 성능을 보이는 강력한 베이스라인 모델을 제시했습니다.

4. 실험 결과 (Results)

A. NavSpace 벤치마크 성능 (시뮬레이션)

• MLLM 의 한계: GPT-5, Gemini 2.5 Pro 등 최상위 상용 MLLM 을 포함한 대부분의 오픈소스 MLLM 은 평균 성공률 (SR) 이 20% 미만으로, 공간 지능 기반 내비게이션에는 적합하지 않은 것으로 나타났습니다. 특히 '정밀 이동'이나 '시점 전환'과 같은 과제는 매우 취약했습니다.
• 경량 모델 vs 대형 모델: 경량 내비게이션 모델 (Seq2Seq, BEVBert 등) 은 공간 지능 지시를 거의 수행하지 못했습니다. 반면, 내비게이션 전용 대형 모델 (NaVid, StreamVLN) 은 MLLM 보다 나은 성능을 보였으나 여전히 한계가 있었습니다.
• SNav 의 성과: 제안된 SNav 모델은 NavSpace 에서 **가장 높은 평균 성공률 (26.0%)**을 기록하며, 기존 최강 모델인 StreamVLN(19.2%) 과 GPT-5(14.2%) 를 모두 능가했습니다. 특히 '환경 상태'와 '수직 지각' 카테고리에서 두드러진 개선을 보였습니다.

B. 실세계 테스트 (Real-world Test)

• AgiBot Lingxi D1(4 족 로봇) 을 사용하여 사무실, 캠퍼스, 야외 환경에서 테스트했습니다.
• SNav 는 NaVid(성공률 14%) 와 NaVILA(성공률 6%) 보다 훨씬 높은 32% 의 성공률을 기록하며, 시뮬레이션에서의 우월한 성능이 실제 로봇에서도 유효함을 입증했습니다.

C. 분석 및 통찰

• 정적 vs 동적 평가: 기존 벤치마크 (VSI-Bench 등) 는 정적인 이미지 기반 질문에는 잘 답하지만, 동적인 내비게이션 행동으로 전환하는 데 실패합니다.
• 지각 - 행동 불일치: MLLM 은 공간 정보를 언어로 설명할 때는 정답을 낼 수 있으나, 실제 행동 (이동, 회전) 을 예측할 때는 초기 지각과 모순되는 행동을 취하는 경우가 많았습니다.
• 모델 크기 효과: 경량 모델은 단순한 의미 매핑에 의존하는 반면, 대형 모델은 공간 구조를 더 잘 이해하는 경향이 있었습니다.

5. 의의 (Significance)

이 논문은 embodied navigation 분야에서 **공간 지능 (Spatial Intelligence)**이 핵심적인 요소임을 강조하고, 이를 체계적으로 평가할 수 있는 표준 벤치마크 (NavSpace) 를 제시했습니다. 또한, 단순히 언어와 이미지를 이해하는 것을 넘어, 공간적 추론을 구체적인 행동으로 변환하는 능력이 로봇 내비게이션의 성패를 결정짓는다는 점을 증명했습니다. 제안된 SNav 모델과 데이터 생성 파이프라인은 향후 더 지능적인 물리 세계 상호작용 에이전트 개발을 위한 중요한 기반이 될 것입니다.