NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation

기술 요약: NavWAM - 목표 지향적 시각 내비게이션을 위한 내비게이션 월드 액션 모델

1. 문제 정의

목표 지향적 시각 내비게이션(Goal-conditioned visual navigation)은 로봇이 부분적인 자기중심적 관측으로부터 지정된 목표(예: 타겟 이미지)로 이동하는 것을 필요로 합니다. 최근의 직접 정책(Direct policies)들은 관측을 행동으로 매핑하는 데 효율적이지만, 명시적인 시각적 예견(Explicit visual foresight)—즉, 자신의 움직임이 미래의 뷰를 어떻게 변화시키고 그 변화가 목표에 얼마나 가까워지게 만드는지를 예측하는 능력—이 부족한 경우가 많습니다.

반대로, **내비게이션 월드 모델(Navigation World Models, NWMs)**은 후보 행동들에 조건화되어 미래의 자기중심적 관측을 명시적으로 예측합니다. 그러나 NWM은 제어 정책이라기보다 예측 모듈로 기능합니다. 이들은 외부 플래너(일반적으로 Cross-Entropy Method, CEM 사용)에 의존하여 후보 행동 시퀀스를 탐색하고, 예측된 미래를 점수화하며, 실행할 최적의 행동을 선택합니다. 이러한 분리는 다음과 같은 병목 현상을 초pos합니다:

1. 계산 오버헤드: 테스트 시점의 궤적 최적화(Trajectory optimization)가 필요합니다.
2. 결합 해제(Decoupling): 학습된 월드 모델이 직접 실행 가능한 행동을 생성하는 것이 아니라, 폐쇄 루프 동작이 모델의 내부 표현만이 아닌 외부 플래너의 선택에 의존하게 됩니다.

이 연구가 다루는 핵심 질문은 다음과 같습니다: 외부 플래닝에 의존하지 않고도 명시적인 시각적 예견을 직접 사용 가능한 실행형 폐쇄 루프 제어로 어떻게 만들 수 있는가?

2. 방법론: NavWAM

저자들은 미래 예측, 가치 추정, 그리고 행동 생성을 하나의 결합된 예측 문제로 통합하는 디퓨전 트랜스포머(Diffusion-transformer) 정책인 **NavWAM (Navigation World Action Model)**을 제안합니다.

핵심 아키텍처

NavWAM은 사전 학습된 디퓨전 트랜스포머 비디오 월드 모델인 Cosmos Predict2를 기반으로 구축되었습니다. NavWAM은 모델을 외부 플래닝을 위한 미래 뷰 예측용으로만 사용하는 대신, 내비게이션 변수들을 공유 잠재 시퀀스(Shared latent sequence)(즉, "잠재 캔버스(Latent canvas)")로 취급합니다.

• 잠재 캔버스 표현: 모델은 고정된 9개 프레임의 잠재 시퀀스 상에서 작동합니다.
  • 조건부 프레임 (관측됨): 빈 프레임 (VAE 시간 압축용), 현재 로봇 상태, 목표 이미지, 그리고 현재 자기중심적 관측.
  • 예측 프레임 (생성됨): 실행 가능한 액션 청크(Action chunk), 미래 상태, 두 개의 미래 자기중심적 관측, 그리고 스칼라 목표 진척도(Goal-progress) 값.
• 통합 목적 함수: 모델은 이 전체 시퀀스를 동시에 디노이징(Denoising)하도록 학습됩니다. 이를 통해 내비게이션을 다음 요소들에 대한 공동 디노이징 문제로 변환합니다:
  1. 미래 지각(Future Perception): 미래의 자기중심적 뷰($o_{t+H-1:t+H}$) 예측.
  2. 목표 진척도(Goal Progress): 목표와의 근접도를 나타내는 스칼라 값($v_{t+H}$) 추정.
  3. 실행 가능한 움직임(Executable Motion): 액션 청크($a_{t:t+H-1}$) 생성.

학습 및 추론

• 학습: 모델은 잠재 캔버스 상에서 디퓨전 목적 함수($L_{diff}$)를 사용하여 학습됩니다. 저차원 액션 신호가 고차원 이미지 재구성 손실에 의해 압도되지 않도록 액션 프레임에 가중치를 높여 적용합니다. 세 가지 학습 모드가 사용됩니다:
  1. 정책 모드 (Policy Mode): 현재 상태/관측/목표를 조건으로 하여 액션, 미래, 가치를 예측합니다.
  2. 월드 모델 모드 (World-Model Mode): 액션을 조건으로 하여 결과적인 미래/가치를 예측합니다.
  3. 가치 모드 (Value Mode): 미래 프레임을 조건으로 하여 가치를 예측합니다.
• 추론: 기본 정책 모드에서 NavWAM은 현재 관측과 목표를 입력받아 시퀀스를 디노이징하고, 직접 액션 청크를 출력합니다. 이 청크는 리세딩 호라이즌(Receding-horizon) 루프 내에서 실행됩니다.
  • 외부 플래너 없음: NWM과 달리, NavWAM은 표준 추론 중에 CEM 방식의 탐색이나 후보 샘플링을 요구하지 않습니다.
  • 선택적 Best-of-N: 모델은 $N$개의 후보를 샘플링하고 보조 월드 모델/가치 헤드를 사용하여 점수를 매기는 옵션 모드를 지원하지만, 주요 결과는 기본 정책 모드를 활용합니다.

3. 주요 기여

1. NavWAM 정책: NWM 스타일의 시각적 예견을 목표 지향적 시각 내비게이션을 위한 액션 생성 정책으로 변환하는 새로운 아키텍처를 제시합니다.
2. 결합 예측 정식화: 미래 관측, 목표 진척도 값, 실행 가능한 액션 청크를 하나의 공유 잠재 시퀀스로 표현하여, 미래 예측이 폐쇄 루프 액션 생성을 직접 지원할 수 있도록 하는 방법을 제시합니다.
3. 탐색 없는 성능: NavWAM이 CEM 방식의 테스트 타임 궤적 최적화 없이도 플래닝 기반 월드 모델 베이스라인보다 우수한 성능을 보임을 입증하며, 동시에 대규모 직접 내비게이션 정책들과 경쟁할 수 있음을 보여줍니다.

4. 실험 결과

저자들은 GO STANFORD(NWM과의 비교용)와 SIT(OmniVLA와의 비교용)에서 이미지 목표 내비게이션을 통해 NavWAM을 평가했습니다. 실세계 검증은 네 곳의 실내 환경에서 Diablo 모바일 로봇을 사용하여 수행되었습니다.

오프라인 벤치마크 (GO STANFORD)

• 플래닝 기반 베이스라인 대비: NavWAM은 절대 궤적 오차(ATE)와 상대 포즈 오차(RPE) 측면에서 Cosmos Predict2 및 NWM을 크게 앞질렀습니다.
  • NavWAM (파인튜닝 포함): ATE 0.192, RPE 0.070.
  • NWM: ATE 0.453, RPE 0.107.
  • Cosmos Predict2: ATE 0.455, RPE 0.109.
• 예견 능력 유지: 액션을 생성하는 정책임에도 불구하고, NavWAM은 높은 주체 일관성(Subject Consistency)(예측된 미래 뷰와 실제 ground-truth 미래 뷰 사이의 시각적 유사도)을 유지하며 NWM(0.668 vs 0.524)보다 우수한 성능을 보였습니다.
• 절제 실험(Ablation): 연구를 통해 이미지 전용 미래 예측만으로는 내비게이션에 불충분하다는 것을 보여주었습니다. 액션과 가치 감독(Supervision)을 추가하는 것이 결정적이었으며, 특히 가치 감독이 가장 좋은 성능을 제공했습니다.

직접 정책과의 비교 (SIT)

• OmniVLA 대비: NavWAM(2B 파라미터 비디오 백본 사용)은 OmniVLA(7B 파라미터 OpenVLA 백본 기반)와 대등하거나 약간 더 나은 ATE 및 성공률(SR)을 달성했습니다.
  • NavWAM: ATE 0.077 (h=4), SR 46.3%.
  • OmniVLA: ATE 0.086 (h=4), SR 45.4%.

실세계 배포

• 설정: 사무실, 창고, 회의실, 복도 환경에서의 24개 폐쇄 루프 에피소드.
• 성공률: NavWAM은 OmniVLA(58.3%)와 NWM(16.7%)에 비해 가장 높은 성공률(79.2%, 24회 중 19회)을 기록했습니다.
• 질적 동작: NavWAM은 일관된 목표 도달 능력을 보여준 반면, NWM은 자주 경로를 이탈했고 OmniVLA는 때때로 목표에 미치지 못하고 멈추거나 덜 직접적인 경로를 택했습니다. 실세계 롤아웃 결과, 예측된 미래 뷰가 실제 관측되는 후속 뷰와 질적으로 일치함을 확인했습니다.

5. 의의 및 주장

본 논문은 NavWAM이 시각적 예견과 실행 가능한 제어 사이의 간극을 성공적으로 메웠다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 시각적 예견은 별도의 플래닝 모듈일 필요가 없다. 미래 예측, 가치 추정, 액션 생성을 하나의 잠재 시퀀스로 통합함으로써, 모델은 예견을 제어를 위해 직접 사용할 수 있게 됩니다.
2. 효율성: 높은 성능의 내비게이션을 테스트 시점의 CEM 방식 궤적 최적화라는 계산 비용 없이 달성할 수 있습니다.
3. 확장성: 2B 파라미터 백본을 가진 모델이 미래 뷰 예측이라는 추가적인 해석 가능성을 제공하면서도 7B 파라미터 직접 정책과 경쟁할 수 있음을 보여줍니다.

저자들은 미래 예측이 로봇 내비게이션에서 가장 효과적인 방법은 별도의 플래닝 단계로서가 아니라, 폐쇄 루프 동작을 결정하는 액션 및 가치 타겟과 함께 공동으로(jointly) 학습될 때라는 결론을 내립니다.

한계점

저자들은 다음과 같은 한계를 겸허히 언급했습니다:

• 현재 평가는 실내 환경에서의 이미지 목표 내비게이션에 국한되어 있으며, 언어나 객체 지정 목표는 향후 과제로 남겨두었습니다.
• 실세계 연구 규모가 24개 에피소드로 제한적입니다.
• 주요 결과에는 선택적 가치 가이드 Best-of-N 샘플링 모드가 사용되지 않았으며, 이것이 강건성에 미치는 영향은 추가 연구가 필요합니다.