Grounding Generated Videos in Feasible Plans via World Models

이 논문은 물리적 제약과 시간적 일관성을 위반할 수 있는 제로샷 비디오 생성 계획을, 학습된 행동 조건부 세계 모델을 통해 역학적으로 실행 가능한 행동 시퀀스로 변환하는 'GVP-WM' 방법을 제안합니다.

핵심

이 논문은 **"로봇이 영화처럼 멋진 계획을 세웠는데, 실제로 실행하면 엉망이 되는 문제"**를 해결하는 방법을 소개합니다.

제목: 생성된 비디오 계획을 현실 세계의 '물리 법칙'에 맞춰 다듬는 방법 (GVP-WM)

이 내용을 쉽게 이해할 수 있도록 요리사와 건축가의 비유로 설명해 드릴게요.

---

1. 문제 상황: "완벽한 요리 영상 vs. 실제 주방"

상상해 보세요. 어떤 **천재 요리사 (AI 비디오 생성 모델)**가 있습니다. 이 요리사는 "스테이크를 구워서 접시에 담는 영상"을 아주 완벽하게 만들어냅니다. 화면에서는 스테이크가 공중으로 날아다니거나, 갑자기 접시에 착지하는 마법 같은 장면도 나옵니다.

하지만 이 요리사가 **실제 주방 (로봇이 작동하는 현실 세계)**에 들어오면 문제가 생깁니다.

• 비현실적인 움직임: 스테이크가 벽을 뚫고 지나가거나, 공중에 멈춰 있는 것은 물리 법칙을 위반합니다.
• 실패: 로봇이 이 영상을 보고 "이대로 따라 해!"라고 명령을 내리면, 로봇 팔은 공중에 손을 뻗거나 벽에 부딪혀서 넘어집니다.

기존의 방법들은 이 '완벽한 영상'을 그대로 따라 하려고 했기 때문에, 현실에서는 계속 실패했습니다.

2. 해결책: GVP-WM (현실 감각을 가진 건축가)

이 논문이 제안한 GVP-WM은 바로 이 문제를 해결하는 **'현실 감각이 뛰어난 건축가'**입니다.

• 비유:
  • 비디오 생성 모델 (천재 요리사): "이렇게 멋진 스테이크 요리 영상을 만들어줘!"라고 요청하면, 물리 법칙을 무시하고 가장 화려한 영상을 만들어냅니다.
  • GVP-WM (현실 감각 건축가): 이 요리사가 만든 영상을 받아서, **"이건 현실에서 불가능하니까 고쳐야 해!"**라고 생각하며 다시 설계합니다.

3. 어떻게 작동할까요? (3 단계 과정)

GVP-WM 은 다음 세 가지 단계를 거쳐 엉망인 영상을 현실 가능한 계획으로 바꿉니다.

① 영상 계획 만들기 (요리사)

먼저 AI 가 시작점 (생선) 과 목표점 (접시) 을 보고, "생선을 잡아서 접시에 담는 과정"을 영상으로 만들어냅니다. 이때 영상에는 생선이 갑자기 사라지거나, 벽을 통과하는 등 물리 법칙을 무시한 장면이 포함될 수 있습니다.

② '현실 세계'에 투영하기 (건축가의 수정)

이제 GVP-WM 이 나옵니다. 이 모델은 **'세상의 법칙 (물리 법칙)'을 잘 아는 뇌 (World Model)**를 가지고 있습니다.

• 비유: 건축가가 요리사의 스케치북을 보며 말합니다. "여기 생선이 벽을 통과하는 건 안 돼. 대신 이렇게 벽을 우회해서 이동해야 해."
• 작동 원리: AI 는 영상을 그대로 따르지 않고, 자신이 아는 물리 법칙 (로봇 팔이 움직일 수 있는 범위, 중력 등) 에 맞춰 영상을 수정합니다. 마치 흐릿하거나 엉뚱한 지도를 보고, 실제 지형에 맞춰 길을 다시 그리는 것과 같습니다.

③ 최적의 경로 찾기 (최종 계획)

수정이 끝난 후, 로봇이 실제로 움직일 수 있는 최적의 경로를 계산합니다. 이때 영상에서 본 '의미 (스테이크를 담는 것)'는 유지하되, '움직임 (벽 통과 등)'은 현실적으로 바꿉니다.

4. 왜 이 방법이 특별한가요?

• 흐릿한 영상도 잘 처리합니다: 만약 요리사가 만든 영상이 너무 흐려서 (모션 블러) 무엇을 하는지 잘 안 보여도, GVP-WM 은 물리 법칙을 기반으로 "아, 아마도 이렇게 움직였겠지?"라고 추측해서 계획을 세웁니다.
• 긴 작업도 가능합니다: 단순히 1 초짜리 동작이 아니라, "집을 짓는 것"처럼 긴 시간 동안의 복잡한 작업도 영상을 보고 계획할 수 있습니다.
• 학습 없이 바로 작동합니다: 로봇이 새로운 환경에 가도, 별도의 훈련 없이 바로 이 '현실 감각 건축가'를 통해 영상을 실행 가능한 명령어로 바꿀 수 있습니다.

5. 한 줄 요약

"AI 가 만들어낸 환상적인 영상 계획은 현실에서 실행 불가능할 수 있습니다. GVP-WM 은 이 영상을 '현실의 물리 법칙'이라는 필터에 통과시켜, 로봇이 실제로 성공적으로 수행할 수 있는 현실적인 계획으로 바꿔줍니다."

이 기술은 로봇이 영화처럼 멋진 영상을 보고도, 실제 세상에서는 넘어지지 않고 임무를 완수할 수 있게 해주는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 비디오 생성 모델 (Large-scale video generative models) 은 제로샷 (zero-shot) 시각적 계획자로서 뛰어난 능력을 보여주지만, 생성된 비디오 계획은 실제 실행 가능한 행동으로 매핑될 때 다음과 같은 심각한 한계를 가집니다:

• 물리적 비현실성: 물체의 순간 이동 (teleportation), 강체 물리 법칙 위반, 비현실적인 변형 등 실제 세계의 동역학을 위반하는 내용이 포함됨.
• 시간적 불일치: 모션 블러 (motion blur) 나 프레임 간의 비일관성으로 인해 연속적인 행동 추론이 어려움.
• 실행 실패: 이러한 비디오 계획을 직접 역동역학 모델 (inverse-dynamics models) 을 통해 행동으로 변환할 경우, 실제 환경에서 실행이 불가능하거나 실패로 이어짐.

기존 연구들은 생성된 비디오를 하위 목표 (subgoals) 로 사용하거나 정책 학습 시에 활용했으나, 생성된 비디오의 품질이 낮거나 분포 외 (out-of-distribution) 인 경우 실행 가능성을 보장하지 못했습니다.

2. 제안 방법론: GVP-WM

저자들은 **GVP-WM (Grounding Video Plans with World Models)**을 제안합니다. 이는 사전 학습된 **행동 조건부 월드 모델 (action-conditioned world model)**을 사용하여 생성된 비디오 계획을 물리적으로 실행 가능한 행동 시퀀스로 '그라운딩 (grounding)'하는 테스트 타임 (test-time) 계획 방법입니다.

핵심 메커니즘

1. 비디오 계획 생성: 초기 상태와 목표 상태 (이미지) 를 입력받아 이미지 - 비디오 (I2V) 생성 모델 (예: Wan2.1) 로부터 비디오 계획 ($\tau_{vid}$) 을 생성합니다.
2. 잠재 공간 트래젝토리 최적화 (Latent-Space Trajectory Optimization):
   • 생성된 비디오를 월드 모델의 인코더를 통해 잠재 상태 (latent states) 시퀀스로 변환합니다.
   • **비디오 가이드드 잠재 콜로케이션 (Video-Guided Latent Collocation)**을 통해, 비디오 계획의 의미론적 일치를 유지하면서 월드 모델의 동역학 제약 조건을 만족하는 잠재 상태와 행동을 동시에 최적화합니다.
3. 최적화 목적 함수:
   • 비디오 정렬 손실 ($L_{vid}$): 최적화된 잠재 상태와 비디오 계획 간의 의미론적 유사성 (코사인 유사성 기반) 을 최대화합니다.
   • 목표 도달 손실 ($L_{goal}$): 최종 상태가 목표 이미지에 도달하도록 합니다.
   • 동역학 제약 ($L_{dyn}$): 월드 모델이 학습한 물리 법칙 (전이 함수) 을 엄격하게 준수하도록 합니다.
   • 행동 정규화: 행동의 크기를 제어합니다.
4. 해법: 증강 라그랑주 방법 (Augmented Lagrangian Method, ALM) 을 사용하여 비선형 제약 최적화 문제를 풀며, 최적화된 행동 시퀀스는 **모델 예측 제어 (MPC)**를 통해 실행합니다.

3. 주요 기여 (Key Contributions)

1. GVP-WM 프레임워크 제안: 사전 학습된 월드 모델을 활용하여 테스트 타임에 생성된 비디오 계획을 물리적으로 실행 가능한 행동 시퀀스로 변환하는 새로운 방법론을 제시했습니다.
2. 잠재 공간에서의 그라운딩 공식화: 비디오 계획을 물리적으로 실행 가능한 잠재 트래젝토리로 투영하는 문제를, 월드 모델 동역학 하에서의 제약 최적화 문제로 공식화했습니다. 이는 비디오의 의미론적 정렬을 유지하면서도 물리 법칙을 위반하지 않도록 합니다.
3. 실험적 검증:
   • 물리 법칙을 위반하거나 모션 블러가 포함된 제로샷 비디오 계획에서도 성공적인 장기 계획 (long-horizon planning) 을 달성했습니다.
   • 내비게이션 (Wall) 및 조작 (Push-T) 시뮬레이션 작업에서 기존 역동역학 모델 및 다른 계획자보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Push-T (물체 밀기) 와 Wall (내비게이션) 환경에서 GVP-WM 을 평가했습니다.

• 성능 비교:
  • GVP-WM vs. 역동역학 모델 (UniPi): 생성된 비디오 계획이 물리적으로 비현실적일 때, UniPi 는 실패율이 매우 높았으나 GVP-WM 은 높은 성공률 (Success Rate) 을 보였습니다. 특히 모션 블러가 추가된 경우, UniPi 는 성능이 급격히 저하된 반면 GVP-WM 은 강건하게 성능을 유지했습니다.
  • GVP-WM vs. 월드 모델 기반 계획자 (MPC-CEM, MPC-GD): 비디오 가이드를 사용하지 않는 기존 월드 모델 계획자보다 GVP-WM 이 더 높은 성공률을 보였으며, 특히 장기 계획 (long-horizon) 에서 우월했습니다.
  • 도메인 적응 (Domain-Adapted): 비디오 모델을 특정 작업 데이터로 미세 조정 (LoRA) 한 경우, GVP-WM 의 성능이 더욱 향상되었습니다.
• 강건성 (Robustness): 모션 블러 (Motion Blur) 가 심한 비디오 계획에서도 GVP-WM 은 물리적으로 실행 가능한 경로를 복원하여 성공적으로 작업을 수행했습니다.
• 계산 효율성: GVP-WM 은 샘플링 기반 계획자 (MPC-CEM) 보다 계산 시간이 훨씬 짧았습니다.

5. 의의 및 결론 (Significance)

• 비디오와 물리의 간극 해소: 대규모 비디오 생성 모델이 가진 "창의성"과 실제 로봇 제어에 필요한 "물리적 엄격함" 사이의 간극을 해결하는 효과적인 브릿지 역할을 합니다.
• 제로샷 계획의 실용화: 생성된 비디오가 물리적으로 완벽하지 않더라도, 학습된 월드 모델을 통해 이를 실행 가능한 행동으로 변환할 수 있음을 보여줌으로써, 제로샷 비디오 계획의 실용성을 크게 높였습니다.
• 미래 방향: 이 연구는 생성형 AI 와 로봇 제어의 융합에서 중요한 진전을 이루었으며, 향후 실제 로봇 조작 작업으로 확장될 수 있는 가능성을 제시합니다.

요약하자면, GVP-WM은 생성된 비디오가 물리적으로 불가능한 내용을 포함하더라도, 학습된 월드 모델을 통해 이를 "수정"하고 "구현 가능한 행동"으로 변환하는 혁신적인 계획 프레임워크입니다.