JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation

이 논문은 인간의 좌우뇌 기능을 모방하여 공간 기하학적 정보와 시각적 의미 정보를 각각의 고정 크기 암시적 신경 메모리로 분리·모델링함으로써 기존 방법들의 공간 정보 손실 및 계산 비효율성을 해결하고, Vision-Language Navigation 분야에서 최첨단 성능을 달성한 'JanusVLN' 프레임워크를 제안합니다.

핵심

JanusVLN: 로봇이 길을 찾을 때 '왼쪽 뇌'와 '오른쪽 뇌'를 동시에 쓰는 비법

이 논문은 **로봇이 사람의 말 (지시) 을 듣고, 눈으로 본 장면을 보며 길을 찾는 기술 (Vision-and-Language Navigation)**에 대한 연구입니다. 기존 방법들의 한계를 깨고, 인간처럼 더 똑똑하게 길을 찾게 해주는 새로운 방법 'JanusVLN'을 소개합니다.

🧠 핵심 아이디어: "왼쪽 뇌 (의미) 와 오른쪽 뇌 (공간)"의 조화

인간이 길을 찾을 때를 상상해 보세요.

• 왼쪽 뇌: "식탁 위에 있는 꽃병을 왼쪽 밤상자로 옮겨라"라고 문장의 의미를 이해합니다. (무엇을, 어디로?)
• 오른쪽 뇌: 꽃병이 얼마나 멀리 있는지, 밤상자가 어느 방향에 있는지 공간감과 깊이를 직관적으로 파악합니다. (얼마나, 어떤 형태?)

기존의 AI 로봇들은 대부분 왼쪽 뇌 (의미 이해) 만 매우 발달했지만, 오른쪽 뇌 (공간 감각) 가 약했습니다. 그래서 "가장 먼 의자"나 "오른쪽 문" 같은 말을 들으면 헷갈려 하거나, 3 차원 공간에서 길을 잃기 일쑤였습니다.

JanusVLN은 이 문제를 해결하기 위해 두 가지 기억을 동시에 저장하는 '이중 은닉 기억 (Dual Implicit Memory)' 시스템을 도입했습니다. 마치 인간이 길을 찾을 때 의미와 공간을 동시에 처리하듯, 로봇도 두 가지 능력을 분리해서 효율적으로 기억하게 만든 것입니다.

🏗️ 기존 방법 vs JanusVLN: 어떤 차이가 있을까요?

❌ 기존 방법의 문제점 (비유: 무거운 가방과 지루한 반복)

1. 기억이 너무 무거워짐: 로봇이 이동할 때마다 지나온 모든 장면을 텍스트로 기록하거나, 모든 영상을 다시 저장했습니다. 이는 가방에 돌을 하나씩 쌓아 넣는 것과 같아, 시간이 지날수록 로봇이 지쳐버리고 (메모리 부족), 계산이 너무 느려집니다.
2. 공간 감각 부족: 2 차원 사진만 보고 3 차원 공간을 이해하려다 보니, "앞", "뒤", "깊이" 같은 개념을 잘 못 파악했습니다.

✅ JanusVLN 의 해결책 (비유: 스마트한 요약 노트와 3D 안경)

1. 고정된 크기의 '스마트 노트' (Dual Implicit Memory):

   • 로봇이 지나온 모든 장면을 다 저장하는 게 아니라, 가장 중요한 정보만 추려서 '요약 노트'에 적어둡니다.
   • 이 노트의 크기는 길이가 길어져도 변하지 않습니다. (가방이 커지지 않음)
   • 초기 기억 (Initial Window): 출발점과 중요한 기준점이 되는 정보만 영구적으로 보관합니다. (나침반 역할)
   • 슬라이딩 창 (Sliding Window): 최근 몇 초 동안의 상황만 기억하고, 오래된 것은 지웁니다. (현재 상황에 집중)
   • 이 방식 덕분에 로봇은 계속해서 새로운 정보를 추가하면서도, 과거를 다시 계산할 필요가 없어 매우 빠릅니다.

2. 3D 안경 (Spatial-Geometric Encoder):

   • 일반 카메라 (2D) 로 찍은 영상만 보고도, 마치 3D 안경을 쓴 것처럼 깊이와 구조를 파악합니다.
   • 별도의 깊이 센서 (비싼 장비) 가 없어도, AI 가 영상에서 3D 구조를 추론해냅니다.

🚀 어떻게 작동하나요? (간단한 시나리오)

로봇에게 **"가장 먼 노란색 의자 옆에 서라"**라고 명령을 내렸다고 가정해 봅시다.

1. 의미 이해 (왼쪽 뇌): 로봇은 "노란색 의자", "가장 먼", "옆"이라는 단어의 의미를 파악합니다.
2. 공간 파악 (오른쪽 뇌): 로봇은 현재 보고 있는 영상에서 '의자'가 어디에 있는지, '가장 먼' 것이 어떤 의미인지 3D 구조를 통해 깊이 있게 분석합니다.
3. 효율적인 기억: 로봇은 지나온 모든 영상을 다시 보지 않고, **요약된 '스마트 노트'**를 꺼내어 "아, 저기 저 의자가 가장 멀리 있구나"라고 빠르게 판단합니다.
4. 행동: 로봇은 정확한 위치로 이동하여 멈춥니다.

🌟 이 기술이 가져오는 변화

• 더 빠르고 가볍습니다: 불필요한 계산을 줄여 로봇이 실시간으로 빠르게 반응할 수 있습니다.
• 더 똑똑합니다: 복잡한 공간 지시 ("가장 오른쪽", "가장 가까운") 를 정확히 이해하여 실수를 줄였습니다.
• 실제 환경 적용 가능: 비싼 3D 센서 없이도 일반 카메라 (RGB) 만으로 뛰어난 성능을 보여, 실제 가사 도우미 로봇이나 장애인 보조 로봇 등에 적용하기 좋습니다.

💡 결론

이 연구는 로봇이 길을 찾을 때 단순히 '무엇'을 보는 것을 넘어, '어디에' 있고 '어떻게' 있는지 공간적으로 이해하는 능력을 획기적으로 향상시켰습니다. 마치 인간이 길을 찾을 때 머리와 눈, 그리고 공간 감각을 모두 활용하듯, 로봇에게도 이중의 기억 시스템을 심어주어 더 자연스럽고 효율적인 이동이 가능하게 한 것입니다.

이 기술은 앞으로 우리가 집에서 로봇과 함께 살거나, 재난 현장에서 로봇이 구조 활동을 할 때 훨씬 더 안전하고 똑똑한 파트너가 될 수 있는 토대를 마련했습니다.

기술 요약

1. 문제 정의 (Problem)

비전 - 언어 내비게이션 (VLN) 은 에이전트가 자연어 지시와 연속적인 비디오 스트림을 통해 미지의 환경을 탐색하는 작업입니다. 최근 멀티모달 대형 언어 모델 (MLLM) 의 발전으로 VLN 성능이 향상되었으나, 기존 방법론들은 다음과 같은 근본적인 한계를 겪고 있습니다.

• 명시적 메모리의 비효율성: 기존 접근법은 텍스트 기반 인지 지도 (Cognitive Map) 구축이나 과거 시각 프레임 저장을 통해 '명시적 (Explicit)' 메모리를 사용합니다. 이는 공간 정보 손실, 계산적 중복성, 그리고 시간이 지남에 따라 메모리가 기하급수적으로 증가하는 (Memory Bloat) 문제를 야기합니다.
• 3D 공간 이해의 부재: 대부분의 MLLM 비전 인코더는 2D 이미지 - 텍스트 쌍으로 학습되어 고수준 의미론적 이해는 뛰어나지만, 3D 기하학적 구조와 공간적 관계 (깊이, 오clusion, 배치 등) 를 이해하는 데는 한계가 있습니다.
• 계산 비용: 연속적인 내비게이션에서 모든 과거 프레임을 매번 재처리하는 방식은 실시간 성능을 저해하고 메모리 부족 (OOM) 을 초래합니다.

2. 제안 방법론 (Methodology)

저자들은 인간의 뇌가 언어/의미 처리 (좌뇌) 와 공간/기하학적 인지 (우뇌) 를 분리하여 처리한다는 영감에서 착안하여, JanusVLN을 제안했습니다. 이는 **이중 암시적 신경 메모리 (Dual Implicit Neural Memory)**를 핵심으로 하는 새로운 프레임워크입니다.

핵심 구성 요소

1. 이중 인코더 아키텍처 (Dual-Encoder Architecture):

   • 시각 의미 인코더 (Visual Semantic Encoder): Qwen2.5-VL 의 기존 비전 인코더를 사용하여 입력 프레임의 고수준 의미론적 특징을 추출합니다.
   • 3D 공간 기하 인코더 (3D Spatial Geometry Encoder): VGGT (Visual Geometry Grounded Transformer) 기반의 사전 학습된 모델을 활용합니다. 이 모델은 RGB 비디오만으로부터 3D 점군 (Point Cloud) 및 깊이 정보를 추론할 수 있는 3D 공간 기하학적 사전 지식 (Prior) 을 제공합니다. 별도의 3D 센서 (LiDAR, 깊이 카메라 등) 가 필요하지 않습니다.

2. 이중 암시적 메모리 (Dual Implicit Memory):

   • 개념: 과거의 모든 프레임을 저장하는 대신, 두 인코더에서 추출된 키 - 값 (KV) 캐시만을 고정된 크기의 암시적 메모리로 저장합니다.
   • 하이브리드 업데이트 전략:
     • 초기 창 (Initial Window): 탐색 시작 시의 몇몇 프레임 KV 를 영구적으로 보관하여 전역적인 작업 컨텍스트 (Global Anchor) 를 유지합니다.
     • 슬라이딩 창 (Sliding Window): 최근 $n$개의 프레임 KV 를 FIFO(First-In-First-Out) 방식으로 유지하여 실시간 환경 변화에 민감하게 반응합니다.
   • 효율성: 새로운 프레임이 들어올 때, 과거 프레임을 재처리하지 않고 기존 메모리의 KV 와 크로스 어텐션 (Cross-Attention) 을 수행하여 정보를 통합합니다. 이로 인해 계산 비용이 상수 수준으로 유지됩니다.

3. 공간 인식 특징 융합 (Spatial-Aware Feature Fusion):

   • 의미론적 특징과 공간 기하학적 특징을 정렬 (Spatial Merging) 한 후, 경량 MLP 프로젝션 레이어를 통해 융합합니다.
   • 최종 특징은 MLLM 백본에 입력되어 다음 행동 (이동, 회전, 정지) 을 예측합니다.

3. 주요 기여 (Key Contributions)

• 새로운 메모리 패러다임: VLN 분야에서 처음으로 '이중 암시적 신경 메모리'를 도입하여, 의미론적 이해와 공간적 인지를 분리하면서도 고정된 크기로 효율적으로 관리하는 방식을 제시했습니다.
• RGB-only 기반 3D 공간 추론: 추가적인 3D 데이터 (깊이, 점군 등) 없이 RGB 비디오만으로 VGGT 를 통해 3D 공간 기하 정보를 추출하고 이를 내비게이션에 성공적으로 통합했습니다.
• 스트리밍 효율성: 전체 시퀀스를 재처리하지 않고 KV 캐시만 업데이트하는 방식을 통해, 긴 시퀀스에서도 OOM 오류 없이 실시간 내비게이션이 가능하도록 했습니다.

4. 실험 결과 (Results)

VLN-CE 벤치마크 (R2R-CE, RxR-CE) 및 실제 로봇 (Unitree Go2) 실험을 통해 검증되었습니다.

• SOTA 성능 달성:
  • R2R-CE (Val-Unseen): SR(성공률) 60.5%, SPL(성공 가중 경로 길이) 56.8% 를 기록하여 기존 최첨단 방법 (StreamVLN, NaVILA 등) 을 능가했습니다.
  • RxR-CE: SR 56.2%, SPL 47.5% 로 역시 SOTA 를 달성했습니다.
  • 데이터 효율성: 추가 데이터 (EnvDrop, DAgger 등) 를 사용하지 않은 JanusVLN* 버전조차도, 대량의 추가 데이터를 사용한 기존 방법들보다 우수한 성능을 보였습니다.
• 비교 우위:
  • 다중 입력 (팬오라마, 오도메트리) 을 사용하는 방법 대비 SR 10.5~35.5% 향상.
  • 추가 3D 깊이 데이터를 사용하는 방법 (g3D-LF 등) 대비 SR 12.6~16.7% 향상.
  • 명시적 메모리 (텍스트 지도, 과거 프레임 저장) 를 사용하는 방법 대비 SR 3.6~20.8% 향상.
• 실제 환경 검증: Unitree Go2 로봇을 이용한 실외 실험에서, "가장 먼 의자", "오른쪽의 문" 등 공간적 이해가 필요한 복잡한 지시어에 대해 기존 방법 대비 23.6% 높은 성공률을 보였습니다.
• 추론 속도: 메모리 크기가 커질수록 기존 VGGT 방식은 추론 시간이 기하급수적으로 증가하는 반면, JanusVLN 은 69~90% 의 추론 오버헤드 감소 효과를 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: VLN 연구가 2D 의미론적 중심에서 3D 공간 - 의미 시너지 (Spatial-Semantic Synergy) 중심으로 전환되어야 함을 입증했습니다.
• 실용성: 고비용의 3D 센서나 방대한 메모리 없이도, RGB 카메라만으로 정교한 3D 공간 이해와 내비게이션이 가능함을 보여줌으로써 실제 로봇 적용 (가정용 서비스 로봇, 시각 장애인 보조 등) 에 대한 가능성을 열었습니다.
• 미래 방향: 인간의 인지 구조 (좌뇌/우뇌 분업) 에서 영감을 받은 이 프레임워크는 차세대 공간 인식형 에이전트 개발을 위한 중요한 이정표가 될 것입니다.

요약하자면, JanusVLN은 MLLM 과 3D 기하학적 사전 지식을 결합하고, 고정된 크기의 이중 암시적 메모리를 통해 계산 효율성과 공간 이해력을 동시에 극대화한 획기적인 VLN 프레임워크입니다.