논문 개요: ViVa (Video-Generative Value Model)

이 논문은 로봇 강화 학습 (RL) 에서 가치 함수 (Value Function) 추정을 위해 사전 학습된 비디오 생성 모델을 재사용하는 새로운 접근법인 ViVa를 제안합니다. 기존 시각 - 언어 모델 (VLM) 기반의 가치 모델이 정적 이미지 이해에 치중하여 시간적 역동성을 포착하지 못하는 한계를 극복하고, 미래의 물리적 상태를 예측함으로써 작업 진행 상황을 더 정확하게 평가하는 것을 목표로 합니다.

---

1. 문제 정의 (Problem)

• 배경: 시각 - 언어 - 행동 (VLA) 모델은 대규모 사전 학습을 통해 로봇 조작 능력을 향상시켰으나, 실제 환경에서는 부분 관측성 (partial observability) 과 지연된 피드백으로 인해 배포가 어렵습니다.
• 핵심 과제: 강화 학습에서 가치 함수는 작업의 진행 상황을 평가하고 정책 개선을 위한 학습 신호를 제공합니다.
• 기존 방법의 한계: 최근 VLM 을 기반으로 한 가치 모델들은 정적인 이미지 - 텍스트 데이터로 훈련되어, 장면의 '현재 상태'는 이해하지만 시간에 따른 상호작용의 역동적 변화 (temporal dynamics) 를 명시적으로 모델링하지 못합니다. 이로 인해 장기 작업 (long-horizon tasks) 에서 신뢰할 수 있는 가치 추정이 어렵고, 작업 실패나 비효율적인 행동을 감지하는 데 한계가 있습니다.
• 통찰: 가치 추정은 본질적으로 "미래가 어떻게 전개될지 예측하는 문제" 입니다. 정적 데이터가 아닌 시공간적 진화를 학습한 비디오 생성 모델이 가치 추정에 더 적합한 기반이 될 수 있습니다.

---

2. 방법론 (Methodology)

ViVa 는 사전 학습된 비디오 생성 모델 (Wan2.2 기반) 을 가치 함수로 재구성한 모델입니다.

2.1. 아키텍처 및 입력/출력

• 입력: 현재 다중 뷰 이미지 (Multi-view images) 와 로봇의 고유 감각 (Proprioception, 관절 각도/속도 등).
• 출력:
  1. 미래 고유 감각 상태 (Future Proprioception): $t+K$ 시점의 로봇 상태 예측.
  2. 스칼라 가치 (Scalar Value): 현재 상태에서의 작업 성공을 향한 진행도 (0~1 범위).
• 동작 원리:
  • 현재 관측치와 로봇 상태를 잠재 공간 (Latent space) 의 '클린 프레임 (clean conditioning frames)'으로 인코딩합니다.
  • 미래 상태와 가치 값을 '노이즈가 있는 타겟 프레임 (noisy target frames)'으로 설정합니다.
  • 확산 Transformer(Diffusion Transformer) 를 사용하여 노이즈가 있는 타겟을 조건부 (현재 상태) 로 제거하며 (Denoising), 미래 상태와 가치 값을 동시에 예측합니다.

2.2. 보상 정의 및 학습 목표

• 보상 설계: 성공 시 시간 단계에 비례하는 점수를, 실패 시에는 페널티를 부여하여 성공/실패를 명확히 구분하는 누적 보상 ($G_t$) 을 정의합니다.
• 학습 목표:
  • Flow Matching: 비디오 생성 모델의 흐름 매칭 (Flow Matching) 방식을 차용하여, 미래 잠재 상태와 가치 잠재 값을 복원하는 속도를 예측하도록 학습합니다.
  • 결합 예측: 미래의 물리적 상태 (Proprioception) 를 함께 예측함으로써, 로봇의 운동 역학 (Embodiment Dynamics) 을 내재화하고 이를 가치 추정의 근거로 삼습니다.

2.3. 통합 프레임워크 (RECAP)

• 제안된 ViVa 모델은 RECAP (RL with Experience and Corrections via Advantage-conditioned Policies) 파이프라인에 통합되어, 기존 VLM 기반 가치 함수를 대체하고 정책 개선 (Policy Refinement) 에 활용됩니다.

---

3. 주요 기여 (Key Contributions)

1. 가치 추정의 본질 재정의: 로봇 강화 학습에서의 가치 추정은 단순한 상태 분류가 아닌, 미래 예측 (Future Anticipation) 문제임을 규명했습니다. 정적 VLM 대신 시공간적 사전 지식 (Spatiotemporal Priors) 을 가진 비디오 생성 모델이 더 자연스러운 기반임을 증명했습니다.
2. ViVa 모델 제안: 가치 (Value) 와 예지 (Foresight) 를 본질적으로 결합한 새로운 아키텍처를 제안했습니다. 현재 관측치와 미래 신체 상태 (Proprioception) 를 동시에 예측함으로써 정적 스냅샷을 넘어선 예측 구조를 구현했습니다.
3. 성능 및 일반화 입증:
   • 실제 로봇 작업 (상자 조립, 셔츠 개기 등) 에서 기존 방법 대비 성공률과 처리량 (Throughput) 을 크게 향상시켰습니다.
   • 훈련 데이터에 없는 새로운 물체 (예: 훈련되지 않은 바지 개기) 에 대해서도 강력한 일반화 성능을 보였습니다.

---

4. 실험 결과 (Results)

4.1. 정성적 분석 (Qualitative Analysis)

• 오류 감지: 상자 조립 작업에서 로봇이 모서리를 잘못 맞추거나 상자가 넘어질 위험이 있을 때, ViVa 는 가치 점수가 급격히 떨어지는 것을 보여줍니다. 반면 기존 VLM 기반 모델은 이러한 오류를 감지하지 못하고 시간의 흐름에 따라 단순히 점수가 오르는 경향을 보였습니다.
• 작업 진행 추적: 셔츠 개기나 화장지 정리 작업에서 ViVa 는 작업의 각 단계 (소매 접기, 라벨 부착 등) 가 성공적으로 완료될 때마다 가치 점수가 안정적으로 상승하는 것을 보여주었습니다.
• 일반화: 훈련 데이터에 포함되지 않은 '바지 개기' 작업에서도 ViVa 는 주요 마일스톤을 정확히 감지하고 매끄러운 가치 곡선을 보인 반면, VLM 기반 모델은 마일스톤을 놓치거나 불규칙한 변동을 보였습니다.

4.2. 정량적 분석 (Quantitative Results)

• 실제 로봇 실험 (상자 조립):
  • 성공률: 기존 VLA 모델 (42~53%) 과 VLM 기반 RECAP (58%) 을 능가하여 73% 의 성공률을 달성했습니다.
  • 처리량 (Throughput): 시간당 성공 작업 수를 14 개로, 기존 방법 대비 가장 높은 효율을 보였습니다.
• 효율성:
  • VLM 기반 모델 대비 학습 시간 (4 GPU·일 vs 6 GPU·일) 과 추론 시간 (0.18 초 vs 0.32 초) 에서 더 효율적이었습니다.

4.3. 제거 실험 (Ablation Studies)

• 비디오 생성 백본의 중요성: 비디오 생성 모델을 사용하면 정적 VLM 보다 작업 진행 상황에 대한 민감도가 훨씬 높았습니다.
• 미래 고유 감각 예측의 중요성: 미래 로봇 상태 (Proprioception) 예측을 제거하면, 물리적 오류 (예: 들기 중 흔들림, 정렬 실패) 에 대한 가치 점수의 감소가 둔해져 오류 감지 능력이 떨어졌습니다.
• 예측 지평선 (Horizon, K): $K=50$이 가장 안정적인 가치 추정을 제공했으며, 너무 짧거나 길면 변동성이 커지거나 중요한 오류를 놓치는 경향이 있었습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 의의: ViVa 는 비디오 생성 모델이 단순한 시각적 예측을 넘어, 로봇의 신체 역학 (Embodiment Dynamics) 을 예측함으로써 가치 함수를 학습할 수 있음을 입증했습니다. 이는 정적 이미지 이해에 의존하던 기존 패러다임의 한계를 극복하고, 장기 작업에서의 신뢰할 수 있는 학습 신호를 제공합니다.
• 결론: ViVa 는 실제 로봇 조작 작업에서 기존 방법보다 월등히 높은 성공률과 일반화 능력을 보여주었습니다. 특히 미래 상태를 예측하는 능력이 가치 추정의 정확도와 정책 개선에 결정적인 역할을 함을 확인했습니다.
• 향후 작업: 현재 RECAP 파이프라인의 긴 롤아웃 (Rollout) 시간으로 인해 대규모 실험에 제약이 있었으나, 향후 더 복잡한 실제 환경에서의 검증과 확장성이 기대됩니다.

이 연구는 비디오 생성 모델이 로봇 강화 학습의 가치 함수 학습을 위한 강력한 도구가 될 수 있음을 보여주며, 지능형 로봇의 실제 환경 적응 능력을 높이는 중요한 이정표가 됩니다.