SPAN-Nav: Generalized Spatial Awareness for Versatile Vision-Language Navigation

SPAN-Nav 는 420 만 개의 occupancy 주석을 포함한 대규모 데이터셋과 단일 공간 토큰을 활용한 효율적인 3D 공간 인식 메커니즘을 통해 복잡한 환경에서도 강력한 일반화 능력을 보여주는 새로운 엔드투엔드 비전 - 언어 항법 모델입니다.

핵심

SPAN-Nav: 로봇에게 '3D 공간 감각'을 심어주는 마법 같은 뇌

이 논문은 로봇이나 AI 에이전트가 복잡한 현실 세계에서 길을 찾고 이동하는 능력을 획기적으로 향상시킨 새로운 기술, SPAN-Nav를 소개합니다.

기존의 로봇들은 눈 (카메라) 으로 본 2D 화면만 보고 길을 찾다 보니, 벽 뒤에 숨은 물체나 투명한 유리문 같은 것을 구별하지 못해 자주 길을 잃거나 부딪히곤 했습니다. SPAN-Nav 는 이 문제를 해결하기 위해 로봇에게 **'보이지 않는 공간까지 상상할 수 있는 능력 (3D 공간 감각)'**을 심어줍니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. "눈가림 안 하고 보는 능력" (3D 공간 인식)

비유: 안개 낀 밤에 손전등으로만 보는 사람 vs 3D 지도를 가진 사람

기존 로봇은 마치 안개 낀 밤에 손전등 빛 (카메라 화면) 으로만 앞을 보며 걷는 사람과 같습니다. 손전등이 비추는 곳만 보이고, 그 너머나 벽 뒤에 있는 것은 알 수 없어 길을 잃기 쉽습니다.

하지만 SPAN-Nav는 로봇에게 3D 지도를 머릿속에 그릴 수 있는 능력을 줍니다. 카메라로 본 2D 영상을 보고, "아, 저기 벽 뒤에 책상이 있겠구나", "저 유리문은 투명한데 그 너머로 통로가 있구나"라고 **보이지 않는 공간까지 상상 (Occupancy Prediction)**해냅니다. 마치 안개가 끼어도 주변 환경의 전체적인 3D 구조를 완벽하게 이해하는 것과 같습니다.

2. "한 마디로 모든 걸 요약하는 천재" (단 하나의 공간 토큰)

비유: 두꺼운 3D 지도 책 vs 길거리의 한 장의 나침반

보통 3D 공간을 이해하려면 엄청난 양의 데이터 (수백만 개의 점, 복잡한 지도) 가 필요합니다. 하지만 SPAN-Nav 는 이 방대한 정보를 **단 하나의 작은 토큰 (정보의 알갱이)**으로 압축합니다.

이는 마치 복잡한 도시의 모든 건물을 다 외울 필요 없이, **"지금 내 위치에서 가장 중요한 길은 이쪽이다"**라는 핵심 정보만 담은 한 장의 나침반을 손에 쥔 것과 같습니다. 이 '하나의 토큰'이 로봇의 뇌 (VLM) 에 전달되면, 로봇은 복잡한 계산 없이도 "여기로 가자"라고 빠르게 결정할 수 있어 속도가 매우 빠르고 효율적입니다.

3. "생각한 뒤 행동하는 사고 과정" (공간적 사고의 사슬, Spatial CoT)

비유: 무작정 뛰는 사람 vs "저기 장애물이 있으니 우회해서 가자"라고 생각하는 사람

기존 AI 는 "보이는 대로 바로 행동"하는 경우가 많았습니다. 하지만 SPAN-Nav 는 Chain-of-Thought (사고의 사슬) 방식을 도입했습니다.

1. 생각: "지금 앞에는 유리문이 보인다. 하지만 내 3D 감각에 따르면 그 뒤로 통로가 이어져 있네."
2. 계획: "그럼 유리문을 통과해서 왼쪽으로 꺾어야겠다."
3. 행동: 로봇이 실제로 움직입니다.

이처럼 먼저 3D 공간을 이해하고 생각한 뒤, 그 생각에 기반해 행동을 결정하기 때문에 복잡한 미로나 장애물이 많은 곳에서도 매우 안전하고 정확하게 이동할 수 있습니다.

---

🌟 이 기술이 가져온 놀라운 변화

• 실제 실험 결과: 이 기술을 적용한 로봇은 집 안, 도시 거리, 복잡한 사무실 등 다양한 환경에서 90% 이상의 성공률을 보였습니다. 특히 유리를 통과하거나 복잡한 물체 사이를 비집고 가는 등, 기존 로봇이 실패했던 어려운 상황에서도 잘 해냈습니다.
• 데이터의 힘: 연구팀은 실외와 실내를 아우르는 420 만 개의 3D 공간 데이터를 학습시켜 로봇에게 다양한 상황을 경험하게 했습니다. 마치 로봇이 전 세계의 다양한 길을 미리 여행해 본 것과 같습니다.
• 실제 로봇 적용: 이 기술은 실제 4 다리 로봇 (Unitree GO2) 에 탑재되어, 사람이 많은 복잡한 환경에서도 사람들과 부딪히지 않고 안전하게 길을 찾아 이동하는 모습을 보여주었습니다.

📝 결론

SPAN-Nav는 로봇에게 단순히 "눈"을 주는 것을 넘어, **보이지 않는 공간까지 이해하고 생각하며 행동하는 '3D 뇌'**를 심어준 기술입니다. 이제 로봇은 더 이상 벽 뒤에 숨은 장애물을 두려워하지 않고, 복잡한 현실 세계에서도 인간처럼 유연하고 안전하게 길을 찾아다닐 수 있게 되었습니다.

기술 요약

SPAN-Nav: 범용 비전 - 언어 내비게이션을 위한 일반화된 공간 인식 기술 요약

이 논문은 SPAN-Nav이라는 새로운 엔드 - 투 - 엔드 (End-to-End) 기반 모델을 제안하며, 이는 RGB 비디오 스트림을 활용하여 embodied navigation(구체적 내비게이션) 에 보편적인 3D 공간 인식 능력을 부여하는 것을 목표로 합니다. 복잡한 환경에서 신뢰할 수 있는 경로 계획을 위해 부족한 공간 인식 문제를 해결하기 위해 고안되었습니다.

1. 문제 정의 (Problem)

최근 Vision-Language Models (VLM) 을 활용한 비전 - 언어 내비게이션 (VLN) 은 다양한 시나리오에서 뛰어난 일반화 능력을 보여주었습니다. 그러나 복잡한 물리적 환경에서의 내비게이션은 여전히 어렵습니다.

• 2D 비전의 한계: 기존 방법들은 주로 2D 시각 관측에 의존하여 구조적 모호성을 해결하지 못해 정확한 위치 파악과 안전 보장에 실패합니다.
• 깊이/LiDAR 의 제약: 깊이 센서나 LiDAR 는 가시 표면의 기하학적 정보만 제공하며, 가려짐 (occlusion) 으로 인한 중요한 사각지대가 존재합니다.
• 공간 인식 부재: 에이전트가 3D 공간 구조를 완전히 이해하지 못하면, 장애물 회피나 장기적인 경로 계획에 실패하여 안전사고나 임무 실패로 이어집니다.

2. 방법론 (Methodology)

SPAN-Nav 는 Qwen3-VL 아키텍처를 기반으로 하며, 다음과 같은 핵심 기술들을 통해 3D 공간 인식을 내비게이션 추론에 통합합니다.

A. 컴팩트한 공간 토큰 (Compact Spatial Token)

• 연속적 잠재 임베딩: 기존 VQ-VAE 기반의 이산적 (discrete) 양자화 방식은 복잡한 환경의 이질성을 표현하는 데 한계가 있다고 판단, **연속적인 잠재 임베딩 (continuous latent embeddings)**을 사용합니다.
• 단일 토큰 압축: 계산 부하를 줄이기 위해 복잡한 3D 공간 정보를 **단 하나의 공간 토큰 (single spatial token)**으로 압축합니다. 이 토큰은 내비게이션에 필수적인 거시적 (coarse-grained) 공간 단서를 포괄합니다.
• 교차 장면 학습: 실내 및 실외의 다양한 환경에서 420 만 개의 occupancy(점유) 주석을 통해 학습하여, 특정 장면에 국한되지 않는 보편적인 공간 사전 지식 (spatial priors) 을 습득합니다.

B. 공간 인식 체인 - 오브 - 씽킹 (Spatial Chain-of-Thought, CoT)

• 명시적 추론: 공간 정보를 단순 보조 작업이 아닌, 행동 추론의 핵심 단계로 통합합니다.
• Perception-then-Action: 모델은 먼저 3D occupancy 정보를 예측하여 공간 토큰을 생성하고, 이를 VLM 의 추론 과정에 명시적으로 주입 (inject) 합니다.
• 노이즈 제거: 이 과정을 통해 내비게이션에 불필요한 3D 볼륨 노이즈를 억제하고, 이동 가능한 경로 등 작업에 필수적인 단서만 선별하여 행동 (trajectory) 을 계획합니다.

C. 두 단계 학습 전략 (Two-Stage Training Strategy)

1. Stage I (Teacher-forcing): 정답 (Ground-Truth) occupancy 데이터를 사용하여 모델이 노이즈 없는 공간 표현을 기반으로 행동을 추론하도록 학습합니다. occupancy 재구성, 잠재 일관성, 행동 감독 손실을 함께 최적화합니다.
2. Stage II (Student-forcing): 모델이 스스로 예측한 occupancy 토큰을 기반으로 행동을 추론하도록 전환합니다. 이 단계에서는 occupancy 주석이 없는 데이터도 포함하여 학습함으로써, 실제 추론 시 발생할 수 있는 train-test 불일치를 해결하고 모델의 일반화 능력을 강화합니다.

3. 주요 기여 (Key Contributions)

1. SPAN-Nav 모델: RGB 비디오만으로 3D 공간 인식을 가능하게 하는 최초의 범용 엔드 - 투 - 엔드 기반 모델 중 하나입니다.
2. 대규모 데이터셋: 실내 (Indoor) 와 실외 (Outdoor) 환경을 아우르는 420 만 개의 occupancy 주석 데이터셋을 구축하여 공개했습니다. 이는 VLN, 도시 내비게이션, 포인트 목표 내비게이션 등 다양한 태스크를 포함합니다.
3. 효율적인 공간 표현: 복잡한 3D 정보를 단일 토큰으로 압축하여 VLM 과의 통합 효율성을 극대화하면서도, Chain-of-Thought 메커니즘을 통해 정밀한 공간 추론을 가능하게 했습니다.
4. 실제 환경 검증: 시뮬레이션뿐만 아니라 실제 로봇 (Unitree GO2) 을 이용한 배포 실험을 통해 복잡한 물리적 환경에서의 견고함을 입증했습니다.

4. 실험 결과 (Results)

SPAN-Nav 는 다양한 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성했습니다.

• VLN (Vision-and-Language Navigation):
  • R2R: 성공률 (SR) 이 75.3% 로 기존 SOTA 대비 4.6% 향상.
  • RxR: SR 이 66.5% 로 기존 대비 5.3% 향상.
  • 특이점: 추가 깊이 (Depth) 나 오도메트리 (Odometry) 정보 없이 RGB 비디오만 사용하여 최상위 성능을 기록했습니다.
• Urban Navigation (MetaUrban):
  • 누적 비용 (Cost) 을 기존 방법 대비 4 배 감소시켰으며, 사회적 준수성 (Social Compliance) 은 0.96 으로 유지했습니다.
• Point Goal Navigation (InternScenes):
  • 가정 환경에서 SR 30.9% 향상, 상업 환경에서도 뛰어난 성능을 보였습니다.
• 일반화 능력: occupancy 주석이 없는 태스크에서도 학습된 공간 인식을 전이하여 높은 성능을 유지했습니다.
• 실제 배포: 투명 유리 장애물이나 복잡한 장애물 회피 상황에서 정확한 경로 계획과 임무 완수율을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 embodied navigation 분야에서 3D 공간 인식의 병목 현상을 해결하는 중요한 이정표입니다.

• 비용 효율성: 고가의 3D 스캐닝이나 LiDAR 없이 RGB 카메라만으로 3D 공간 구조를 이해하고 예측할 수 있는 방법을 제시했습니다.
• 안전성: 명시적인 공간 추론을 통해 복잡한 환경에서도 안전한 내비게이션을 보장합니다.
• 범용성: 다양한 로봇 플랫폼과 환경 (실내/실외) 에 적용 가능한 보편적인 공간 인식 프레임워크를 제시하여, 향후 실제 로봇의 자율성 향상에 기여할 것으로 기대됩니다.

결론적으로, SPAN-Nav 는 단순한 경로 계획을 넘어, 에이전트가 환경을 '이해'하고 '예측'할 수 있는 능력을 부여함으로써 더욱 지능적이고 안전한 embodied AI 의 실현을 가능하게 합니다.