PROSPECT: Unified Streaming Vision-Language Navigation via Semantic--Spatial Fusion and Latent Predictive Representation

이 논문은 CUT3R 기반의 공간 인코더와 SigLIP 의 의미적 특징을 융합하고 잠재 예측 표현 학습을 통해 환경 역학을 모델링함으로써, 장기적 견고성과 실시간 성능을 동시에 확보한 통합 스트리밍 비전 - 언어 항법 에이전트 'PROSPECT'를 제안합니다.

핵심

이 논문은 로봇이 사람의 말을 듣고 복잡한 환경을 스스로 돌아다니는 기술, 즉 **'시각-언어 내비게이션 (VLN)'**을 획기적으로 개선한 **'PROSPECT'**라는 새로운 시스템을 소개합니다.

기존의 로봇들은 "앞으로 가", "왼쪽으로 돌아" 같은 명령을 따르기는 했지만, 앞으로 무슨 일이 일어날지 미리 상상하거나 (예측), 주변 공간의 3 차원 구조를 완벽하게 이해하는 데는 한계가 있었습니다.

이제 PROSPECT 가 어떻게 이 문제를 해결했는지, 일상적인 비유로 설명해 드릴게요.

---

🚀 PROSPECT: 로봇의 '예지력'과 '공간 감각'을 깨우친 시스템

1. 기존 로봇의 문제: "눈만 뜨고 걷는 사람"

기존의 AI 로봇들은 카메라로 보이는 것 (2 차원 이미지) 과 언어만 보고 움직였습니다. 마치 눈이 앞에만 집중된 채로 걷는 사람과 비슷합니다.

• 문제점: "앞에 계단이 있나?"라고 생각하지 못해 넘어지거나, "저기 문이 닫혀 있겠지?"라고 예측하지 못해 벽에 부딪힙니다. 또한, 어두운 곳이나 빛이 반사되는 곳에서는 길을 잃기 쉽습니다.

2. PROSPECT 의 핵심 아이디어: "미래를 꿈꾸는 지도"

PROSPECT 는 로봇에게 두 가지 강력한 능력을 선물합니다.

① 3D 공간 감각 (CUT3R): "눈이 아닌 뇌로 보는 것"

• 비유: 기존 로봇이 2D 사진 (평면 지도) 을 보고 길을 찾는다면, PROSPECT 는 **3D 입체 모델 (가상 현실)**을 머릿속에 그립니다.
• 설명: 'CUT3R'이라는 기술을 써서, 로봇은 단순히 "저게 문이다"라고 보는 것을 넘어, "저 문은 내 위치에서 얼마나 떨어져 있고, 높이는 어느 정도이며, 앞으로 걸어가면 어떻게 변할지"를 **실제 크기와 거리 (Absolute Scale)**로 정확히 파악합니다. 이는 로봇이 어지러운 방에서도 길을 잃지 않게 해줍니다.

② 잠재적 예측 능력 (Latent Prediction): "내일의 날씨를 미리 예보하는 것"

• 비유: 보통 로봇은 "지금 보이는 것"을 보고 "다음 행동"을 결정합니다. 하지만 PROSPECT 는 훈련 중에 "다음에 내가 보게 될 풍경은 어떨지"를 미리 상상하는 연습을 합니다.
• 핵심: 로봇이 직접 "다음 장면을 그림으로 그려내라"고 하는 게 아니라, **"다음 장면을 이해하는 뇌의 상태 (잠재 특징)"**를 미리 예측하게 합니다.
  • 마치 운전 면허 시험에서, 실제 도로를 나가기 전에 "다음에 신호등이 빨간불로 바뀔지, 보행자가 나올지"를 머릿속으로 시뮬레이션하는 것과 같습니다.
  • 이 연습은 실제 운전 (이동) 할 때는 필요 없습니다. 하지만 이 연습을 통해 로봇의 뇌는 환경의 흐름을 훨씬 더 잘 이해하게 되어, 실제 이동 속도는 느려지지 않으면서 훨씬 똑똑해집니다.

3. 어떻게 작동할까요? (스트리밍 방식)

• 비유: 영화를 볼 때, 한 장면을 보고 멈추는 게 아니라 영화가 끊김없이 흐르는 대로 계속 보고 판단합니다.
• 설명: PROSPECT 는 과거의 기억 (장기 기억) 과 지금 당장의 상황 (단기 기억) 을 실시간으로 연결합니다. "방금 지나온 복도"와 "지금 보이는 문"을 자연스럽게 이어가며, 오래된 기억이 쌓여도 로봇이 기억력 부족 (메모리 부족) 으로 멈추지 않도록 설계되었습니다.

4. 실전 성과: "어둠 속에서도 길을 찾는 로봇"

이 논문은 실제 로봇 (ARX-Lift2) 을 이용해 실험했습니다.

• 결과: 밝은 사무실뿐만 아니라, 어두운 밤거리, 해 질 녘, 복잡한 창고에서도 기존 로봇들보다 훨씬 잘 길을 찾았습니다.
• 이유: 로봇이 단순히 "밝은 색을 보고 이동"하는 게 아니라, 공간의 구조와 미래의 변화를 예측했기 때문에, 빛이 변해도 길을 잃지 않았습니다.

---

💡 한 줄 요약

PROSPECT는 로봇에게 **"지금 보이는 것"을 넘어 "앞으로 일어날 일을 미리 상상하는 능력"**과 **"3 차원 공간을 입체적으로 이해하는 눈"**을 심어주어, 복잡한 환경에서도 사람처럼 자연스럽게 길을 찾을 수 있게 만든 차세대 내비게이션 시스템입니다.

이 기술은 앞으로 집안일을 돕는 로봇이나, 재난 현장의 구조 로봇이 더 안전하고 똑똑하게 일할 수 있는 기반이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

시각 - 언어 내비게이션 (VLN, Vision-Language Navigation) 은 embodied AI(구체적 인공지능) 의 핵심 과제 중 하나입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 을 활용한 제로샷 (zero-shot) 엔드투엔드 VLN 이 발전했으나, 다음과 같은 한계점이 존재합니다.

• 예측 능력의 부재: 기존 모델들은 주로 현재 관측을 언어와 매핑하여 행동을 생성하는 데 집중합니다. 그러나 강건한 내비게이션은 환경의 역학 (dynamics) 과 공간 구조를 예측하고 미래 상태를 시뮬레이션할 수 있어야 합니다.
• 공간 지능의 부족: 많은 VLN 모델이 2D 시맨틱 인코더 (예: SigLIP) 에만 의존하여 3D 공간 이해도가 낮습니다.
• 스트리밍 컨텍스트 활용의 한계: 기존 예측 모델들은 짧은 역사 (short history) 에 의존하거나, 픽셀/깊이 (depth) 와 같은 명시적 공간에서 예측하여 과적합 (overfitting) 이 발생하거나, 긴 스트리밍 컨텍스트를 처리할 때 메모리 부족 (OOM) 이나 상대적 스케일 문제로 인해 일관성을 유지하기 어렵습니다.
• 별도 모듈의 비효율성: 행동 생성과 예측을 별도의 모델로 분리하면 컴팩트하지 않고 시너지가 떨어집니다.

2. 방법론 (Methodology)

저자들은 PROSPECT(Predictive Representations Of SPatial-sEmantic ContexTs) 라는 통합 스트리밍 내비게이션 에이전트를 제안합니다. 이 모델은 스트리밍 비전 - 언어 - 행동 (VLA) 정책과 잠재 공간 (latent space) 예측 표현 학습을 결합합니다.

핵심 구성 요소:

1. 2D-3D 융합 스트리밍 인코더:

   • 시맨틱 특징: SigLIP 를 사용하여 각 프레임의 2D 시맨틱 특징을 추출합니다.
   • 공간 특징: CUT3R을 스트리밍 3D 기반 인코더로 사용합니다. CUT3R 은 절대 스케일 (absolute-scale) 의 3D 공간 특징을 생성하며, 긴 스트리밍 컨텍스트에서 메모리 효율적이고 일관된 공간 이해를 제공합니다.
   • 융합: Cross-Attention 을 통해 2D 시맨틱 특징과 3D 공간 특징을 융합하여 LLM 에 입력합니다.

2. 잠재 예측 표현 학습 (Latent Predictive Representation Learning):

   • JEPA(Joint Embedding Predictive Architecture) 영감: 미래의 픽셀이나 깊이 맵을 예측하는 대신, **잠재 특징 (latent features)**을 예측합니다. 이는 노이즈가 많은 픽셀 수준의 예측을 피하고 환경 역학에 초점을 맞춥니다.
   • 스트림 쿼리 토큰 (Stream Query Tokens): 학습 단계에서 학습 가능한 토큰 (q2D, q3D) 을 입력에 추가합니다. 이 토큰들은 스트리밍 컨텍스트를 조회하여 다음 단계의 2D 시맨틱 및 3D 공간 잠재 특징을 예측합니다.
   • 지도 신호: 고정된 (frozen) SigLIP 와 CUT3R 을 '교사 (teacher)'로 사용하여, 예측된 잠재 특징과 실제 다음 프레임의 특징 간의 손실 (Cosine similarity for 2D, MSE for 3D) 을 최소화합니다.

3. 스트리밍 어텐션 마스크 (Streaming Attention Mask):

   • 인과성 (causality) 을 보장하고 정보 누출을 방지하기 위해 특수한 마스크를 설계했습니다.
   • 각 쿼리 토큰은 자신의 턴과 이전 턴의 컨텍스트만 참조할 수 있으며, 다른 턴의 쿼리나 다른 모달리티 (2D vs 3D) 의 쿼리와는 격리됩니다.

4. 추론 (Inference) 단계:

   • 학습 중에는 예측 분기가 존재하지만, 추론 시에는 예측 분기를 제거합니다.
   • 예측 학습을 통해 내부 표현 (internal representations) 이 환경 역학을 내재화했기 때문에, 추가적인 지연 시간 (latency) 없이 VLA 정책만 실행하여 실시간 제어 (약 4Hz) 가 가능합니다.

3. 주요 기여 (Key Contributions)

1. 통합 스트리밍 VLN 프레임워크: 스트리밍 VLA 와 잠재 예측 표현 학습을 통합하여, VLN-CE 벤치마크에서 최상위 (first-tier) 성능을 달성했습니다.
2. CUT3R 기반 3D 지각: 절대 스케일의 3D 공간 특징을 제공하는 CUT3R 을 활용하여 긴 컨텍스트 내비게이션의 효율성과 안정성을 확보했습니다.
3. 스트림 쿼리 토큰 및 마스크 설계: 2D/3D 목표를 분리하면서도 잠재 예측을 가능하게 하는 스트리밍 인과적 어텐션 마스크를 제안했습니다.
4. 실제 로봇 배포 및 검증: 다양한 조명 조건 (실내/실외, 낮/밤) 에서 ARX-Lift2 로봇에 배포하여 높은 빈도의 제어와 강건성을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능 (VLN-CE):

  • R2R 및 RxR (val-unseen): PROSPECT 는 NaVid, StreamVLN 등 기존 SOTA 모델들을 능가하는 성능을 기록했습니다.
  • 특히 RxR(더 긴 경로와 복잡한 지시문) 에서의 성능 향상 폭이 R2R 보다 컸으며, 이는 제안된 방법이 장기적 (long-horizon) 지시문 수행에 특히 효과적임을 보여줍니다.
  • R2R val-unseen 에서 SR(성공률) 58.9%, SPL(Path Length 가중 성공률) 54.0% 를 기록했습니다.

• Ablation Study:

  • CUT3R vs VGGT: CUT3R 은 VGGT 기반 인코더보다 OOM(메모리 부족) 문제가 적고, 절대 스케일 특징 덕분에 정확도와 지연 시간 면에서 우월했습니다.
  • 예측 목표: 2D 와 3D 예측 목표를 모두 사용할 때 가장 좋은 성능을 보였으며, 이는 시맨틱과 기하학적 예측 신호가 상호 보완적임을 의미합니다.
  • 어텐션 마스크: 쿼리 토큰 간의 격리 (isolation) 와 인과적 마스크가 성능에 필수적임이 입증되었습니다.

• 실제 로봇 배포 (Real-Robot Deployment):

  • ARX-Lift2 로봇을 사용하여 다양한 조명 (밝은 실내, 어두운 밤거리 등) 환경에서 테스트했습니다.
  • 기존 모델 (NaVid, StreamVLN) 대비 모든 시나리오에서 성공률이 크게 향상되었으며, 특히 저조도 환경에서도 강건한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

PROSPECT 는 embodied AI 분야에서 **예측 능력 (World Model)**과 실시간 스트리밍 내비게이션을 성공적으로 통합한 사례입니다.

• 효율성: 추론 시 예측 분기를 제거하여 실시간 성능을 유지하면서도, 학습 단계의 예측 과제를 통해 모델이 환경 역학을 깊이 있게 이해하도록 유도했습니다.
• 강건성: 픽셀 수준의 예측이 아닌 잠재 공간 예측과 CUT3R 의 절대 스케일 특징을 통해 조명 변화나 복잡한 환경에서도 안정적인 내비게이션이 가능합니다.
• 미래 전망: 이 연구는 장거리 경로 계획과 복잡한 지시문 이해가 필요한 실제 로봇 응용 분야에서 중요한 진전을 이루었으며, 향후 더 복잡한 환경에서의 배포 가능성을 열었습니다.

요약하자면, PROSPECT 는 "미래를 예측하는 능력"을 학습 과정에 통합함으로써, 기존 VLN 모델들이 가진 공간 이해도와 장기적 계획 능력의 한계를 극복한 획기적인 아키텍처입니다.