기술 요약: MM-Nav

문제 정의

시각적 내비게이션은 에고센트릭(egocentric) 시각 관측을 활용하여 인간의 내비게이션을 모방하는 것을 목표로 하는 로보틱스의 핵심 연구 방향입니다. 그러나 LiDAR 포인트 클라우드나 깊이 지도(depth maps)와 달리, 가공되지 않은 시각적 관측값은 명시적인 기하학적 정보가 부족하여 복잡하거나 동적인 환경에서의 내비게이션을 특히 어렵게 만듭니다. 기존의 학습 기반 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 데이터 부족 및 편향: 실제 세계의 데이터 수집은 비용이 많이 들며, 특정 카메라 구성(예: 전방 뷰 전용)으로 제한되는 경우가 많고, 안전상의 이유로 충돌 회피와 같은 위험한 시나리오를 포함하는 경우는 드뭅니다.
• Sim-to-Real 간극: 합성 데이터는 유연하지만 비사실적인 렌더링 문제로 인해, 실제 세계 배포로의 전이를 방해하는 간극이 존재합니다.
• 역량의 한계: 현재의 모델들은 종종 넓은 공간에 국한되어 있으며, 좁은 틈을 통과하거나 동적 장애물을 피하는 것과 같은 복 복잡한 작업에는 어려움을 겪습니다.
• 액션 공간 제약: 많은 기존의 시각-언어-행동(VLA) 모델은 이산적 액션 공간(예: "왼쪽으로 회전")에 의존하며, 이는 견고한 실제 내비게이션에 필요한 연속적인 속도 제어에 비해 민첩성이 떨어집니다.

방법론: MM-Nav

저자들은 MM-Nav를 제안합니다. 이는 합성 전문가 데이터로부터 다양한 내비게이션 역량을 학습하도록 설계된 7B 파라미터 규모의 멀티뷰 VLA 모델로, 대규모 실제 세계 VQA(Visual Question Answering) 데이터와의 공동 학습(co-training)을 통해 sim-to-real 간극을 완화합니다.

1. 다중 역량 RL 전문가 (Multi-Capability RL Experts)

기존 데이터셋의 도전적인 시나리오 부족 문제를 해결하기 위해, 저자들은 IsaacLab을 사용하여 맞춤형 시뮬레이션 환경을 구축하고, 근사 정책 최적화(PPO)를 사용하여 세 가지 별도의 강화 학습(RL) 전문가를 훈련시켰습니다. 이 전문가들은 특권 정보(privileged information, 예: 깊이 지도)를 활용하여 특정 기술을 숙달합니다:

• 도달 (Reaching): 다양한 형태와 질감의 정적 장애물을 피하면서 지점 목표(point goal)에 접근합니다.
• 통과 (Squeezing): 빽빽하게 배치된 기둥들과 무작위로 생성된 좁은 틈 사이를 통과합니다.
• 회피 (Avoiding): 무작위 속도로 움직이는 혼잡한 동적 장애물을 능동적으로 회피합니다.

2. 학생 VLA 모델 아키텍처

학생 모델은 4개의 카메라(전방, 우측, 후방, 좌측)로부터 360° RGB 관측값을 처리하는 멀리 뷰 VLA 정책입니다.

• 시각적 인코딩: 8단계의 히스토리 슬라이딩 윈도우를 시각 기초 모델(SigLip)을 사용하여 인코딩합니다. 이 아키텍처는 현재 관측값에 대한 세밀한(fine-grained) 토큰과 히스토리에 대한 거친(coarse-grained) 토큰을 사용하는 하이브리드 토큰화 전략을 채택하여, 일관된 추론 속도를 보장하기 위해 고정된 192개 토큰 시퀀스 길이를 유지합니다.
• 언어 통합: 지점 목표는 텍estual 프롬프트로 포맷팅되며, 대규모 언어 모델(Qwen2-7B)을 사용하여 언어 토큰으로 인코딩됩니다. 이를 통해 오픈 월드 VQA 데이터와 공동 학습이 가능합니다.
• 액션 헤드: 모델은 2계층 MLP를 통해 연속적인 전방향 속도 명령($v_x, v_y, v_{yaw}$)을 출력하며, 7 Hz의 추론 속도를 달립다.

3. 훈련 전략: 역량 균형 반복 (Capability-Balanced Iteration)

훈련 파이프라인은 두 단계로 구성됩니다:

1. 초기 미세 조정 (Initial Fine-Tuning): VLA 모델을 50만 개의 성공적인 전문가 데모(세 가지 RL 교사로부터 수집)와 10만 개의 실제 VQA 데이터로 초기화합니다.
2. 온라인 교사-학생 반복 (DAgger 스타일): VLA 모델을 시뮬레이션에 배치하여 궤적을 수집합니다. 역량 균형 모듈은 다음 미세 조정 단계를 위해 데이터 비율을 동적으로 조정합니다. 이 모듈은 각 역량에 대해 학생과 RL 교사 간의 성능 격차 메트릭(가중 이동 시간, Weighted Travel Time)을 계산합니다. 학생의 성능이 낮은 역량의 데이터를 가중치를 높여 학습함으로써, 안정적인 수렴을 보장하고 역량 불균형을 방지합니다.

주요 기여

1. 내비게이션 데이터: 도달, 통과, 동적 장애물 회피를 위한 다양한 감독을 제공하기 위해 맞춤형 다중 역량 시뮬레이션 환경을 구축하고 특권 RL 전문가를 훈련시켰습니다. 이는 실제 세계에서 포착하기 어려운 시나리오들입니다.
2. 훈련 전략: 정책 분포 변화를 완화하고 다양한 내비게이션 기술 간의 균형 잡힌 개선을 보장하는 역량 균형 반복 정제 절차를 도입했습니다.
3. 모델 설계: 360° RGB 관측을 사용하여 연속적인 속도 명령을 직접 예측함으로써 견고한 제로샷(zero-shot) sim-to-real 전이를 가능하게 하는 효율적인 7B 멀티뷰 VLA 정책을 개발했습니다.

실험 결과

시뮬레이션 벤치마크

• InternVLA-N1 System-1 벤치마크: MM-Nav는 지점 목표 내비게이션 벤치마크에서 **88.1%의 성공률(SR)**을 달성하여, 기존 최고 방법(72.2%)보다 15.9 포인트 높은 성능을 보였습니다. 또한 RGB 입력만을 사용했음에도 불구하고 기존의 RGB-D 및 깊이 기반 방식들을 크게 앞질렀습니다.
• 커스텀 IsaacLab 환경: Reaching, Squeezing, Avoiding 및 Mixed 장면 테스트에서 MM-Nav는 베이스라인(NavDP, ViPlanner, iPlanner 포함) 중 가장 높은 SR과 가장 낮은 충돌률(CR)을 기록했습니다. 특히, 매우 도전적인 "Squeezing" 장면에서 NavDP가 18%의 SR을 보인 것에 비해 MM-Nav는 **71%**의 SR을 달성했습니다.
• 학생 vs 교사: VLA 학생 모델은 결국 특화된 RL 교사들을 능가하였으며, 이는 여러 역량을 통합하는 시너지 효과를 입증합니다.

실제 세계 배포

Unitree GO2 로봇을 이용한 광범적인 실제 세계 실험을 통해 다양한 시나리오에서의 견고한 제로샷 전이를 확인했습니다:

• 가는 와이어 회피: LiDAR가 감지하기 어려운 가늘게 매달린 와이어를 성공적으로 회피했습니다.
• 복잡한 복도: 투명한 유리 벽과 장애물이 있는 좁은 통로를 통과했습니다.
• 보행자 회피: 움직이는 보행자를 피하기 위해 궤적을 실시간으로 조정했습니다.
• 야외 골목: 보이지 않는 장애물(예: 돌로 된 볼라드)이 있는 저조도 환경을 통과했습니다.

절제 연구 (Ablation Studies)

• VQA 공동 학습: VQA 데이터를 제거하면 시뮬레이션에서 20% 이상의 성능 저하가 발생하며, 실제 세계의 가늘거나 불규칙한 장애물에 대한 일반화에 실패했습니다. UMAP 분석 결과, VQA 데이터가 시뮬레이션과 실제 사이의 잠재 분포 간극을 크게 줄였음을 보여주었습니다.
• 멀티뷰 vs 싱글뷰: 360° 멀티뷰 입력은 싱글뷰 변형 모델보다 +4.8 SR의 이득을 제공하여, 공간 인식을 위한 주변 뷰 인식의 중요성을 검증했습니다.
• 균형 잡힌 데이터: 역량 균형 집계 방식은 불균형한 데이터 수집에 비해 더 빠르고 안정적인 훈련을 이끌어냈습니다.

의의 및 주장

본 논문은 MM-Nav가 차세대 범용 시각 내비게이션 에이전트를 훈련하기 위한 확장 가능하고 효과적인 청사진을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• Sim-to-Real 간극 극복: VLA 모델의 일반화 능력과 실제 VQA 데이터와의 공동 학습을 활용함으로써, 합성된 특권 환경에서 학습된 기술을 깊이 정보가 없는 실제 RGB 내비게이션으로 성공적으로 전이했습니다.
• 시너지 학습: 본 연구는 통합된 VLA 정책이 고립되거나 혼합된 장면 RL 정책보다 여러 뚜렷한 내비게이션 역량(도달, 통과, 회피)을 더 효과적으로 학습하고 통합할 수 있음을 보여줍니다.
• 효율성: 7B 파라미터 모델을 사용하여 7 Hz의 추론 속도로 견고한 성능을 달성함으로써, 표준 로봇 플랫폼에 실시간 배포가 가능함을 입증했습니다.

저자들은 자신들의 방법이 전문적인 전문가 지식과 대규모 의미론적 이해를 결합함으로써 현재의 시각적 내비게이션 정책의 한계를 효과적으로 해결하고, 복잡하고 동적이며 복잡한 환경에서 견고한 내비게이션을 가능하게 한다고 결론짓습니다.