🤖 AI

Policy-Guided World Model Planning for Language-Conditioned Visual Navigation

이 논문은 학습된 항해 정책의 분포를 이용해 JEPA 기반 세계 모델을 통해 잠재 공간에서 모델 예측 경로 적분 (MPPI) 계획을 효율적으로 초기화하는 2 단계 프레임워크 'PiJEPA'를 제안하여, 자연어 지시를 따른 시각적 항해 성능을 크게 향상시킨다고 요약할 수 있습니다.

원저자: Amirhosein Chahe, Lifeng Zhou

게시일 2026-03-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amirhosein Chahe, Lifeng Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이 자연어 지시 (예: "계단 쪽으로 가세요") 와 목표 사진을 보고, 복잡한 환경에서 길을 찾아갈 때 어떻게 하면 더 똑똑하게 움직일 수 있을까?"**라는 문제를 해결하기 위한 새로운 방법, PiJEPA를 소개합니다.

기존의 로봇들은 두 가지 큰 약점이 있었습니다.

순간 반응형 (Reactive Policy): "지금 보이는 대로 바로 움직여라"는 방식이라, 멀리 있는 목표까지 가는 길 (장기 계획) 을 잘 못 짜서 길을 잃거나 헤매기 쉽습니다.
예측 모델 (World Model): "앞으로 어떻게 될지 상상해보자"는 방식인데, 아무 정보 없이 막상 시작하면 (무작위 탐색) 너무 많은 시간을 낭비해서 정답에 도달하기가 매우 느립니다.

이 논문은 이 두 가지의 장점을 합쳐서 "현명한 길잡이 (정책) 가 먼저 방향을 잡아주고, 그 방향을 바탕으로 미래 시뮬레이션 (세계 모델) 을 돌려 최적의 길을 찾는" 방식을 제안합니다.

🌟 핵심 비유: "유능한 가이드와 미래 예측 시뮬레이션"

이 방식을 이해하기 위해 여행을 준비하는 상황을 상상해 보세요.

1. 기존 방식의 문제점

순간 반응형 로봇 (Octo 정책만 사용):
- 상황: 친구가 "저기 있는 카페로 가자"고 합니다.
- 행동: 로봇은 "아, 저기 있네!" 하고 바로 그쪽으로 걷습니다.
- 문제: 하지만 중간에 공사 길이 있거나, 길이 막혀서 우회해야 할 때, 로봇은 "지금 보이는 대로"만 걷다가 벽에 부딪히거나 엉뚱한 곳으로 갈 수 있습니다. 장기적인 계획이 부족합니다.
무작위 예측 로봇 (세계 모델만 사용):
- 상황: "카페로 가자"는 말만 듣고, 아무런 지도도 없이 "어디로 갈까?"라고 고민합니다.
- 행동: "왼쪽? 오른쪽? 위로?" 하며 무작위로 시뮬레이션을 돌려봅니다.
- 문제: 너무 많은 시뮬레이션을 돌려야 하므로 시간이 너무 오래 걸리고, 결국 엉뚱한 길에 갇히기 쉽습니다. 시작점이 너무 막연합니다.

2. PiJEPA 의 해결책: "길잡이 + 시뮬레이션"

PiJEPA 는 이 두 가지를 합칩니다.

1 단계: 유능한 길잡이 (Octo 정책) 가 나침반을 줍니다.
- 로봇은 먼저 "지금 보이는 풍경과 '카페로 가자'는 말"을 보고, 대략적인 방향을 잡습니다.
- "아, 대충 저쪽 방향이 맞을 것 같아!"라고 **가장 유력한 후보군 (방향)**을 제시합니다. 이때부터 무작위로 헤매는 게 아니라, 유망한 길을 중심으로 탐색을 시작합니다.
- 비유: 여행 가이드가 "저기 왼쪽으로 가면 카페가 있을 거야"라고 대략적인 방향을 알려주는 것과 같습니다.
2 단계: 미래 예측 시뮬레이션 (JEPA 세계 모델) 이 최적 경로를 찾습니다.
- 이제 로봇은 가이드가 알려준 "유망한 방향"을 바탕으로, **"그 방향으로 가면 실제로 어떻게 될까?"**를 빠르게 시뮬레이션합니다.
- "왼쪽으로 가다가 계단을 만나면? 오른쪽으로 꺾으면?" 등을 빠르게 예측해서, 가장 안전하고 빠른 경로를 골라냅니다.
- 비유: 가이드가 알려준 방향을 믿고, "그 방향으로 가면 교통 체증이 있을까? 계단이 있을까?"를 미리 시뮬레이션해서 최적의 코스를 짜는 것입니다.

🚀 왜 이 방식이 더 잘될까요?

빠른 수렴 (Convergence): 무작위로 시작하는 대신, 이미 "잘할 것 같은" 방향에서 시작하므로 정답을 훨씬 빨리 찾습니다.
오류 수정: 가이드가 실수해서 엉뚱한 방향을 제시해도, 시뮬레이션 단계에서 "아, 저길 가면 막히네"라고 판단하고 경로를 수정할 수 있습니다.
정확한 목표 달성: 실험 결과, 이 방식을 쓴 로봇은 기존 방식들보다 목표 지점에 더 정확하게 도달했고, 지시사항을 더 잘 따랐습니다.

💡 결론

이 논문은 "로봇이 길을 찾을 때, '순간적인 반응'과 '미래 예측'을 따로 쓰는 게 아니라, 반응형 로봇이 먼저 방향을 잡아주고 예측 모델이 그 길을 다듬게 하는" 혁신적인 방법을 제시했습니다.

마치 **유능한 조종사 (정책)**가 비행 경로를 대략 설정해주고, **정교한 항법 시스템 (세계 모델)**이 그 경로를 실시간으로 최적화하여 목적지에 정확히 착륙시키는 것과 같습니다. 덕분에 로봇은 더 똑똑하고 빠르게, 복잡한 환경에서도 길을 찾아갈 수 있게 되었습니다.

1. 문제 정의 (Problem Definition)

본 논문은 자연어 지시와 시각적 목표 (이미지) 를 기반으로 에이전트가 환경을 탐색하여 목표 지점에 도달하는 구체적 AI (Embodied AI) 의 내비게이션 문제를 다룹니다.

기존 접근법의 한계:
- 반응형 정책 (Reactive Policies): Octo 와 같은 VLA(Vision-Language-Action) 모델은 짧은 시간 범위 (short-horizon) 에서 우수한 성능을 보이지만, 장기적인 계획 (long-horizon planning) 이나 미래 상태에 대한 추론 능력이 부족합니다.
- 잠재 세계 모델 (Latent World Models): JEPA(Joint-Embedding Predictive Architecture) 기반의 세계 모델은 잠재 공간에서 미래 상태를 예측하여 계획을 수립할 수 있지만, 고차원 행동 공간에서 무지한 (uninformed) 가우시안 분포에서 시작하는 샘플링 기반 최적화 (예: MPPI) 는 수렴이 느리고 지역 최적해 (local minima) 에 빠지기 쉽습니다.

2. 제안 방법론: PiJEPA (Methodology)

저자들은 PiJEPA라는 2 단계 프레임워크를 제안하여 학습된 내비게이션 정책과 잠재 세계 모델 계획을 결합합니다. 핵심 아이디어는 학습된 정책이 제공하는 '행동 사전 (Action Prior)'을 세계 모델 계획기의 '와밍 스타트 (Warm-start)'로 활용하는 것입니다.

주요 구성 요소 및 프로세스:

공유 비전 인코더 (Shared Vision Encoder):
- DINOv2(이미지) 또는 V-JEPA-2(비디오) 와 같은 프리트레인된 고정 (frozen) 비전 인코더를 사용하여 현재 관찰 ( $o_t$ ) 과 목표 이미지 ( $o_g$ ) 를 잠재 표현 ( $z_t, z_g$ ) 으로 매핑합니다.
1 단계: 정책 사전 (Policy Prior) 추출:
- CAST 데이터셋으로 미세 조정 (Finetune) 된 Octo 정책을 사용합니다.
- 현재 관찰과 언어 지시 ( $\ell$ ) 를 입력받아 확산 (diffusion) 헤드를 통해 $N_\pi$ 개의 행동 시퀀스 샘플을 생성합니다.
- 이 샘플들을 세계 모델의 로컬 좌표계로 변환한 후, 그 평균 ( $\mu_\pi$ ) 과 표준 편차 ( $\sigma_\pi$ ) 를 계산하여 행동 분포의 사전 정보로 활용합니다.
2 단계: MPPI 기반 세계 모델 계획 (MPPI Planning):
- JEPA 세계 모델: 고정된 인코더와 학습 가능한 예측기 (Predictor) 를 사용하여 행동에 따른 미래 잠재 상태를 예측합니다.
- MPPI (Model Predictive Path Integral) 최적화:
  - 기존 MPPI 는 무작위 가우시안 분포에서 시작하지만, PiJEPA 는 1 단계에서 얻은 $\mu_\pi, \sigma_\pi$ 로 초기화합니다.
  - 세계 모델을 통해 행동 시퀀스를 롤아웃 (rollout) 하여 목표 잠재 상태와의 거리를 비용 함수로 계산합니다.
  - 온도 가중치 (temperature-weighted) 를 적용하여 우수한 시퀀스 (Elite trajectories) 를 반복적으로 정제합니다.
실행: 최적화된 시퀀스의 첫 번째 행동을 실행하고 다음 단계에서 재계획 (Replanning) 합니다.

3. 주요 기여 (Key Contributions)

통합 프레임워크 (PiJEPA): 미세 조정된 Octo 정책과 JEPA 세계 모델을 결합하여, 정책의 출력을 세계 모델 계획기의 초기값으로 사용하는 새로운 아키텍처를 제안했습니다.
비전 인코더 체계적 비교: 정책 학습과 세계 모델링에 **DINOv2(공간적 특징)**와 **V-JEPA-2(시계열적 특징)**를 적용하여 각 인코더가 내비게이션 성능에 미치는 영향을 체계적으로 분석했습니다.
성능 입증: 실제 내비게이션 태스크에서 기존 반응형 정책 실행과 무지한 세계 모델 계획 모두를 능가하는 목표 도달 정확도와 지시 이행 충실도를 달성했습니다.

4. 실험 결과 (Results)

CAST 데이터셋을 기반으로 한 실험 결과는 다음과 같은 통찰을 제공합니다.

정확도 향상: PiJEPA 는 DINOv2 와 V-JEPA-2 모두에서 **최고의 위치 정확도 (Positional Accuracy, ATE XY)**를 기록했습니다. 특히 V-JEPA-2 를 사용할 때 평균 RMSE 1.65m, 최종 오차 2.88m 를 달성하여 모든 설정 중 가장 낮은 오차를 보였습니다.
와밍 스타트의 효과:
- 무지한 MPPI (Uninformed MPPI): 초기화가 무작위이므로 위치 정확도는 낮았으나, 임베딩 공간 목적 함수 덕분에 방향 (Heading) 예측은 상대적으로 잘 수행했습니다.
- Octo-WM (스코어링만): 세계 모델로 정책 샘플을 평가만 하고 최적화는 하지 않는 방식도 성능 향상을 보였으나, PiJEPA 의 반복적 최적화 (Refinement) 가 더 나은 전체 궤적 정확도를 제공했습니다.
- 반응형 정책 (Octo): 단계별 (step-level) 제어에는 강점이 있었으나, 장기적인 오차 누적으로 인해 전체 궤적 정확도는 낮았습니다.
인코더 비교: V-JEPA-2(비디오 인코더) 가 풍부한 시계열 정보를 제공하여 전체적으로 더 강력한 성능을 보였으나, 무지한 MPPI 는 V-JEPA-2 에서 최적화 난이도가 높아 더 큰 성능 저하를 겪었습니다. 이는 정책 사전이 복잡한 잠재 공간 탐색을 안정화시키는 데 필수적임을 보여줍니다.
지연 시간 (Latency): MPPI 계획 단계는 약 0.35 초로 매우 가볍습니다. 전체 추론 시간 (약 2.48 초) 의 대부분은 확산 기반 행동 샘플링 (Octo) 에 소요되므로, 계획 단계 추가는 실용적입니다.

5. 의의 및 결론 (Significance & Conclusion)

분업 구조의 발견: 본 연구는 반응형 정책이 국소 제어와 방향 예측에, 세계 모델이 장기적 시뮬레이션과 나쁜 제안 필터링에, MPPI가 이를 정제하는 데 각각 강점이 있음을 규명했습니다. PiJEPA 는 이 세 가지 강점을 통합하여 시너지 효과를 냅니다.
한계 및 향후 과제: 모호한 지시 ("건물을 따라가세요"와 같이 여러 건물이 있는 경우) 나 세계 모델의 롤아웃이 정체되는 (stagnation) 상황에서는 여전히 실패할 수 있습니다. 향후 연구에서는 동역학 아키텍처 개선, 다양성 촉진 롤아웃 메커니즘, 중간 웨이포인트 비용 도입 등을 통해 이러한 문제를 해결할 필요가 있습니다.

요약하자면, PiJEPA 는 반응형 AI 에이전트의 즉각적인 반응 능력과 세계 모델의 장기 계획 능력을 결합하여, 언어 기반 시각 내비게이션의 정확도와 신뢰성을 획기적으로 개선한 혁신적인 접근법입니다.