NavThinker: Action-Conditioned World Models for Coupled Prediction and Planning in Social Navigation

1. 문제 정의 (Problem Definition)

사회적 항법 (Social Navigation) 은 로봇이 동적인 인간 환경에서 목표를 달성하면서도 인간의 편안함과 사회적 규범을 존중해야 하는 과제입니다. 기존의 접근 방식들은 다음과 같은 한계를 가집니다:

• 단순 반응형 (Reactive): 현재 관측치에만 기반하여 행동을 결정하므로, 밀집된 환경에서 '시각적 근시 (myopic)' 행동을 보이며 충돌이나 정지 (freezing) 현상이 발생합니다.
• 분리된 예측 - 계획 (Decoupled): 보행자 예측을 고정된 입력으로 간주하거나, 예측과 계획을 별도의 모듈로 처리하여 로봇의 행동이 보행자의 미래 움직임에 미치는 영향을 고려하지 못합니다.
• 계산 비용: 로봇과 보행자의 상호작용을 모두 고려하는 최적화 기반 방법은 계산 비용이 너무 높아 확장성이 떨어집니다.

따라서, 로봇의 행동과 보행자의 움직임이 서로 영향을 미치는 결합된 예측 - 계획 (Coupled Prediction and Planning) 문제를 해결하기 위해, 로봇이 행동하기 전에 "어떤 행동을 취했을 때 미래의 장면이 어떻게 변할지"를 상상하고 추론할 수 있는 능력이 필요합니다.

2. 방법론 (Methodology)

저자들은 NavThinker라는 새로운 프레임워크를 제안합니다. 이는 행동 조건부 세계 모델 (Action-Conditioned World Model) 과 온-폴리시 강화학습 (On-policy RL) 을 결합하여 미래 지향적인 사회적 항법을 실현합니다.

A. 핵심 아키텍처

1. 작동 공간 (Feature Space):

   • 세계 모델은 Depth Anything V2 (DA-V2) 의 패치 (patch) 특징 공간에서 작동합니다.
   • 이는 전역 벡터가 아닌 공간적 구조를 유지하며, 장면의 기하학적 정보와 인간 운동 정보를 동시에 표현할 수 있게 합니다.

2. 세계 모델 학습 (World Model Learning):

   • 관측 인코더: 고정된 (frozen) DA-V2 ViT 인코더를 사용하여 현재 깊이 (depth) 이미지를 패치 임베딩으로 변환합니다.
   • 전이 모델 (Transition Model): 인과적 어텐션 (Causal Attention) 트랜스포머를 사용하여, 현재 상태와 로봇의 행동 (Action) 을 조건으로 미래의 잠재적 특징 (Latent Features) 을 자기회귀 (autoregressive) 방식으로 예측합니다.
   • 디코더 헤드: 예측된 잠재 특징에서 다음 세 가지 정보를 복원합니다.
     • 깊이 맵 (Depth): 미래 장면의 기하학적 구조.
     • 보행자 궤적 (Human Trajectories): 미래 보행자의 위치.
     • 보상 (Reward): 상호작용 위험도 등.
   • 학습 목표: 예측된 특징과 실제 관측치 간의 일관성 (Latent Consistency) 을 유지하고, 깊이 재구성 및 궤적 예측 오차를 최소화합니다.

3. 상상 강화 정책 학습 (Imagination-Augmented Policy Learning):

   • DD-PPO (Deep Deterministic Policy Gradient - PPO) 를 사용하여 정책을 학습합니다.
   • 두 가지 '선제적 사고 (Think-Ahead)' 메커니즘을 통해 세계 모델의 예측을 정책에 주입합니다.
     • ① 행동 조건부 미래 특징 융합 (Action-Conditioned Future-Feature Fusion): 각 후보 행동에 대해 세계 모델이 생성한 미래 특징을 현재 관측 임베딩과 융합합니다. 이를 통해 정책은 행동하기 전에 다양한 시나리오를 비교할 수 있습니다.
     • ② 사회적 보상 형성 (Social Reward Shaping): 예측된 보행자 궤적을 기반으로 미래의 사회적 충돌 위험을 사전에 계산하여 보상 함수에 반영합니다. 이는 로봇이 보행자의 미래 반응을 고려하여 행동을 최적화하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. NavThinker 프레임워크 제안: 작업 정렬 (Task-aligned) 된 세계 모델과 정책 최적화를 결합한 미래 지향적 사회적 항법 프레임워크를 개발했습니다.
2. 선제적 사고 메커니즘 (Think-Ahead Mechanisms):
   • 행동 조건부 미래 특징 융합을 통한 'Lookahead' 컨텍스트 제공.
   • 예측된 보행자 궤적 기반의 사회적 보상 형성.
   • 이 두 가지 메커니즘이 예측과 계획을 효과적으로 결합하여 성능을 향상시킵니다.
3. 공간적 정밀도 유지: DA-V2 패치 특징 공간을 활용하여 전역 벡터 기반 모델의 공간 정보 손실 문제를 해결하고, 깊이 및 궤적 디코더를 통해 기하학적/운동학적 정보를 정밀하게 유지합니다.

4. 실험 결과 (Results)

Social-HM3D (단일 로봇 및 다중 로봇), Social-MP3D (제로샷 전이), 그리고 실제 로봇 (Unitree Go2) 배포 실험을 수행했습니다.

• 단일 로봇 항법 (Social-HM3D):
  • 기존 최첨단 방법 (Falcon) 대비 성공률 (SR) 3.2%, SPL 2.95% 향상.
  • 인간과의 충돌률 (H-Coll) 을 41.22% 에서 39.09% 로 감소.
  • Ablation Study: 'Lookahead Imagination'과 'Trajectory-based Reward Shaping'을 모두 적용했을 때 성능이 가장 크게 향상됨을 확인.
• 다중 로봇 항법:
  • 로봇 간 통신 없이 독립적으로 목표를 달성하는 복잡한 환경에서도 모든 베이스라인을 압도하는 성능을 보임.
• 제로샷 일반화 (Zero-shot Generalization):
  • Social-HM3D 에서 학습된 모델을 Social-MP3D에 미세 조정 없이 적용하여 경쟁력 있는 성능을 입증.
• 실제 배포:
  • Unitree Go2 4 족 보행 로봇에 배포되어 실제 환경에서 보행자들과 안전하게 상호작용하며 목표 지점에 도달하는 것을 검증.

5. 의의 및 결론 (Significance)

NavThinker 는 사회적 항법 분야에서 예측 (Prediction) 과 계획 (Planning) 을 분리하지 않고, 세계 모델을 통해 행동 조건부 미래 시나리오를 실시간으로 상상 (Imagination) 하여 의사결정에 반영하는 새로운 패러다임을 제시합니다.

• 기술적 의의: 단순한 반응형 제어를 넘어, 로봇이 인간 환경에서 상호작용의 인과관계를 이해하고 선제적으로 행동할 수 있는 능력을 강화학습 프레임워크 내에서 구현했습니다.
• 실용적 의의: 시뮬레이션뿐만 아니라 실제 로봇에서도 검증되어, 복잡한 인간 밀집 환경에서의 로봇 배포 가능성을 높였습니다.
• 향후 방향: RGB 및 의미론적 정보 등 멀티모달 관측을 통합하거나, 더 긴 상상 시간 범위 (Imagination Horizon) 를 통해 더 복잡한 사회적 상호작용을 처리하는 연구로 확장 가능할 것으로 기대됩니다.

이 논문은 로봇이 인간과 공존하는 환경에서 안전하고 효율적으로 이동하기 위해 "생각 (Thinking)"하는 능력을 어떻게 학습 시스템에 통합할 수 있는지에 대한 중요한 통찰을 제공합니다.