기술 요약: Qwen-RobotNav

문제 정의

체화된 내비게이션(Embodied navigation)은 지시문 이행(instruction following), 포인트 목표 내비게이션(point-goal navigation), 객체 탐색(object searching), 타겟 트래킹(target tracking), 자율 주행(autonomous driving)을 포함하는 다양한 패밀리의 과업을 포괄한다. 최근의 통합 내비게이션 모델들이 단일 아키텍처로 여러 과업 패밀리를 처리할 수 있음을 보여주었으나, 이들은 **에이전틱 내비게이션 시스템(agentic navigation systems)**의 핵심 요구사항인 **추론 시점에 외부적으로 재구성 가능한 관측 전략(observation strategy)**을 해결하지 못하고 있다.

서로 다른 내비게이션 과업은 근본적으로 다른 시간적 컨텍스트와 메모리 전략을 요구한다. 예를 들어, 지시문 이행은 먼 곳의 랜드마크를 다시 참조하기 위해 수십 단계 전의 관측값까지 유지해야 하는 반면, 타겟 트래킹은 최근 프레임에 거의 전적으로 의존하며 오래된 이력을 노이즈로 취급한다. 객체 탐색은 탐색 중에는 광범위한 글로벌 메모리가 필요하다가 접근 단계에서는 밀접한 최신성 중심의 주의 집중으로 전환되는 등, 단일 에피소드 내에서도 요구사항이 변화하여 문제를 더욱 복잡하게 만든다. 기존의 통합 모델들(예: NavFoM, ABot-N0)은 어떤 관측이 중요한지에 대한 단일한 고정된 가정(예: 균등한 서브 샘플링 또는 슬라이딩 윈도우)을 내장하고 있어, 에피소드 중간에 적응하거나 상위 수준 플래너의 유연한 빌딩 블록 역할을 수행하기 어렵다.

방법론

저자들은 Qwen3-VL 백본을 기반으로 구축된 확장 가능한 내비게이션 모델인 Qwen-RobotNav를 소개한다. 저자들은 과업별로 특화된 아키텍처를 설계하는 대신, 이 문제를 **관측 컨텍스트 모델링(observation context modeling)**의 문제로 재정의하였다. 핵심 혁신은 외부 에이전트가 아키텍처 수정이나 과업별 재학습 없이도 모델이 비주얼 스트림을 소비하는 방식을 동적으로 구성할 수 있도록 하는 **매개변수화된 인터페이스(parameterized interface)**이다.

1. 아키텍처 및 인터페이스

Qwen-RobotNav는 Qwen3-VL 비전 인코더와 언어 백본을 계승하며, 8-웨이포인트 궤적 $(x, y, \theta)$를 예측하는 경량 4계층 MLP 액션 헤드가 추가되었다. 이 모델은 두 가지 상호 보완적인 구성 차원을 노출한다:

• 과업 모드(Task Modes): 자연어 프롬프트를 통해 선택 가능한 다중 모드(VLN, PointNav, ObjNav, Tracking)를 지원한다. 이는 별개의 정책이 아니라 동일한 모델 가중치에 대한 서로 다른 인터페이스이다.
• 제어 가능한 관측 파라미터(Controllable Observation Parameters): 비주얼 토큰 할당을 제어하는 구성 $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$를 수용한다:
  • 토큰 예산 ($B$): 모든 카메라와 타임스텝에 걸친 총 비주얼 토큰 수.
  • 시간적 감쇠 ($\gamma$): 최근 프레임에 더 높은 가중치를 부여하여 최신성 편향(recency bias)을 조절한다.
  • 카메라 가중치 ($w_c$): 카메라별 중요도 승수 (예: 후방 카메라보다 전방 카메라에 높은 가중치 부여).
  • 프레임 샘플링 ($m$): 랜덤(글로벌 커버리지) 또는 최신(최신성 윈도우).

2. 과업 적응형 관측 인코딩

모델은 제한된 토큰 할당 알고리즘을 사용한다. 주어진 예산 $B$에 대해, 결합 가중치 행렬 $W[t, c] = \omega_t \cdot w_c$를 바탕으로 $T'$ 프레임과 $N$개의 카메라에 토큰을 배분한다. 이 알고리즘은 이미지당 최소 하한선($b_{min}$)과 최대 상한선($b_{max}$)을 보장하며, 잉여 토큰을 반복적으로 재배분한다. 이를 통해 모델은 과업의 요구사항(예: 트래킹 시 최근 프레임에 대한 고해상도, 탐색 시 광범위한 커버리지)에 따라 해상도와 컨텍스트 길이를 동적으로 조정할 수 있다.

3. 학습 전략

• 데이터 규모: 모델은 15.6M 개의 샘플로 학습되었으며, 이 중 85%는 내비게이션 궤적 계획 데이터(지시문 이행, 포인트-골, 오브젝트-골, 트래킹, 자율 주행 포함)이고, 15%는 내비게이션 관련 비전-언어 추론 데이터이다.
• 학습 시 무작위화(Training-Time Randomization): 핵심 설계 원칙은 학습 중에 관측 구성이 고정되지 않는다는 것이다. 하이퍼파라미터($B, \gamma, w_c$ 등)는 샘플당 독립적으로 무작위화된다. 이는 모델이 과업별 튜닝 없이도 어떤 추론 시점의 구성에도 제로샷 일반화할 수 있도록 보장한다.
• 공동 학습(Co-training): 비전-언어 추론 데이터를 공동 학습시켜 모델이 단순한 반응형 액션 시퀀스 매퍼로 "붕괴"되는 것을 방지하고, 모델의 오픈 월드 인지 및 공간 추론 능력을 보존한다.
• 체화 인식(Embodiment Awareness): 서로 다른 물리적 플랫폼(로봇 vs 자동차)은 자연어 프롬프트 서문을 통해 구분된다(예: "당신이 로봇이라고 상상해 보세요..."). 이는 아키텍처의 변경 없이 가능하다.

4. 에이전틱 내비게이션 시스템

Qwen-RobotNav는 계층적 에이전틱 시스템 내에서 반응형 실행기(reactive executor)로 설계되었다. 상위 레벨 플래너(예: Qwen3.6-Plus)는 장기 목표를 하위 과업으로 분해하며, 에피소드 중간에 Qwen-RobotNav의 과업 모드와 컨텍스트 전략을 동적으로 전환한다. 시스템은 컴팩트한 단일 에피소드 요약과 장기 추론을 위한 지속적인 교차 에피소드 "증거 노트북(evidence notebook)"이라는 두 단계 메모리를 유지한다.

주요 기여

1. 매개변수화된 내비게이션 인터페이스: 추론 시점에 관측 전략(토큰 예산, 시간적 감쇠, 카메라 가중치)을 외부적으로 재구성할 수 있게 하여, 단일 모델이 다양한 과업과 동적 하위 목표를 수행할 수 있도록 하는 통합 모델을 제시한다.
2. 학습 시 무작위화: 학습 과정에서 모델을 광범위한 조합적 컨텍스트 구성 공간에 노출시켜, 미세 조정 없이도 어떠한 추론 시점 설정에도 견고한 제로샷 일반화 성능을 확보한다.
3. 에이전틱 빌딩 블록: 내비게이션 파운데이션 모델이 어떻게 단순하고 재구성 가능한 프리미티브로서 복잡한 장기 과업(예: 동적 과업 전환을 통한 Embodied Question Answering)을 수행하는지 입증함으로써, 모델이 어떻게 모듈식 에이전틱 시스템의 구성 요소가 될 수 있는지 보여준다.
4. 확장 가능한 멀티태스크 학습: 5가지 서로 다른 과업 패밀리(자율 주행 포함)에 대한 공동 학습을 통해, 과업 패밀리와 체화 형태 간에 전이 가능한 공유 공간 계획 기질(spatial-planning substrate)을 개발한다.

실험 결과

Qwen-RobotNav는 다양한 벤치마크에서 SOTA(State-of-the-Art) 또는 경쟁력 있는 결과를 달자:

• 시각-언어 내비게이션 (VLN-CE):
  • RxR Val-Unseen: 8B 모델 기준 성공률(SR) 76.5%, 72.5 nDTW를 기록하여 NavFoM보다 12.1% 높은 SR을 달성했다.
  • R2R Val-Unseen: 8B 모델 기준 72.1% SR을 기록하여 NavFoM을 10.4% SR 차이로 앞질렀다.
  • VLNVerse: 세밀한(fine-grained) 분할에서 63.75% SR, 거친(coarse-grained) 분할에서 46.59% SR을 기록하며 NavFoM 및 Uni-NaVid를 크게 상회했다.
• 객체-골 내비게이션 (Object-Goal Navigation):
  • HM3D v2: 4B 모델 기준 75.6% SR을 달성하였으며, 깊이 정보 없이 RGB 관측만 사용했음에도 불구하고 새로운 SOTA를 세웠다.
  • HM3D-OVON: Seen 분할에서 57.7% SR, Synonyms 분할에서 60.1% SR을 기록하며, 파노라마 입력을 사용하는 ABot-N0에 비해 단일 전방 카메라를 사용하고도 이를 능가했다.
• 능동적 시각 트래킹 (EVT-Bench):
  • 모든 평가된 방법 중 가장 높은 트래킹 비율(90.0% TR)을 달자, ABot-N0(87.6%)와 TrackVLA++(81.0%)를 넘어섰다.
• 자율 주행 (NAVSIM):
  • 4B 모델 기준 91.4 PDMS, 8B 모델 기준 90.9 PDMS를 달성하여 NavFoM, AutoVLA 및 기타 특화된 주행 모델들을 능가했다.
• 체화된 질의응답 (EQA):
  • Qwen-RobotNav로 구축된 에이전틱 시스템은 HM-EQA(76.7 SR), MT-HM3D(54.4 SR), EXPRESS-Bench(79.27 LLM Score)에서 새로운 SOTA를 기록했으며, 기존 최고 방법보다 각각 10.8% 및 15.4% 개선된 동시에 내비게이션 스텝을 77% 적게 소모했다.
• 실제 환경 배포:
  • Unitree Go2 사족보행 로봇을 이용한 실제 전시 홀 환경에서 제로샷 전이를 입증하였으며, 복잡한 언어 지시(예: "뒤로 걸어가", "소파 옆에 멈춰")와 장기 에이전틱 과업(예: 특정 물체를 찾아 관찰 내용 보고하기)을 성공적으로 수행했다.

의의 및 주장

본 논문은 Qwen-RobotNav가 고정된 내비게이션 정책을 설계하는 것에서 벗어나 **재구성 가능한 내비게이션 프리미티브(reconfigurable navigation primitives)**를 만드는 것으로의 패러다임 전환을 나타낸다고 주장한다. 관측 컨텍스트를 외부에서 제어 가능한 일급 객체(first-class)로 취급함으로써, 이 모델은 특화된 과업 성능과 에이전틱 시스템에 필요한 유연성 사이의 간극을 메운다.

저자들은 매개변수화된 인터페이스를 통해 복잡한 장기 행동이 단순하고 잘 정의된 작업 모드(예: 탐색을 위한 "글로벌 히스토리 모드"에서 국소 기동을 위한 "최신성 중심 모드"로의 전환)의 조합으로부터 창발될 수 있음을 강조한다. 또한, 시점 및 시간 식별을 위해 자연어를 사용함으로써 아키텍처 오버헤드 없이 오픈 월드 언어 접지(language grounding) 능력을 보존한다.

결과적으로, 무작위 컨텍스트 전략으로 학습된 통합 모델이 지시문 이행, 객체 탐색, 트래킹, 주행 전반에 걸쳐 우수한 성능을 달성할 수 있으며, 범용 체화 에이전트를 위한 견고하고 제로샷 전이가 가능한 구성 요소로 기능할 수 있음을 입증한다. 이 연구는 과업 적응형 관측 인코딩이 광범위한 능력과 실용적인 배포 가능성을 모두 갖춘 내비게이션 파운데이션 모델을 구축하는 데 유망한 방향임을 시사한다.