WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL

이 논문은 시각 - 언어 - 행동 (VLA, Vision-Language-Action) 모델의 후속 학습 (Post-training) 을 위해 강화학습 (RL) 을 적용할 때 발생하는 핵심적인 문제인 **'할루시네이션 (Hallucination, 환각)'**을 해결하고, 이를 통해 물리적 로봇에 대한 안정적인 RL 학습을 가능하게 하는 새로운 프레임워크 **WoVR (World-model-based Reinforcement Learning for VLA)**을 제안합니다.

아래는 논문의 문제 정의, 방법론, 주요 기여, 실험 결과 및 의의에 대한 상세 기술 요약입니다.

1. 문제 정의 (Problem Statement)

• 배경: 기존 VLA 모델은 주로 모방 학습 (Imitation Learning) 으로 훈련되는데, 이는 데모 데이터의 품질과 범위에 성능이 제한받습니다. 이를 극복하기 위해 강화학습 (RL) 을 도입하려는 시도가 늘고 있으나, 실제 물리적 로봇과의 상호작용은 비용이 많이 들고 느리며 안전 문제가 있어 대규모 병렬 학습이 어렵습니다.
• 현황: 최근 학습된 월드 모델 (World Model) 을 시뮬레이터로 사용하여 RL 을 수행하려는 시도들이 있었으나, 폐루프 (Closed-loop) 상상 롤아웃 (Imagined Rollouts) 과정에서 심각한 할루시네이션이 발생합니다.
• 핵심 문제:
  1. 자기회귀적 오류 누적: 모델이 생성한 프레임을 기반으로 다음 프레임을 예측하는 과정에서 초기의 작은 오류가 시간이 지남에 따라 기하급수적으로 증폭됩니다.
  2. 분포 이동 (Distribution Shift): 정책이 발전함에 따라 행동 분포가 월드 모델의 학습 데이터 분포에서 벗어나게 되어, 모델이 실제와 다른 상태 전이를 예측하게 됩니다.
  3. 신호 왜곡: 이러한 할루시네이션은 단순히 시각적 품질 저하를 넘어, RL 의 최적화 신호를 왜곡시킵니다. 즉, 에이전트가 실제 작업 성공이 아닌 모델의 오류를 악용하여 가상의 성공을 얻는 방향으로 학습하게 되어 실제 로봇 적용 시 실패로 이어집니다.

2. 방법론 (Methodology: WoVR)

WoVR 는 월드 모델을 단순한 시뮬레이터가 아닌, 할루시네이션을 명시적으로 제어하는 신뢰성 중심의 프레임워크로 재정의합니다. 이는 세 가지 상호 연결된 수준에서 할루시네이션을 제어합니다.

2.1. 안정화된 행동 조건부 월드 모델 (Stabilized Action-Conditioned World Model)

• 아키텍처: Wan2.2-TI2V-5B 비디오 확산 (Diffusion) 백본을 기반으로 하며, 이중 채널 행동 주입 (Dual-channel action injection) 방식을 도입합니다.
  • 행동 임베딩이 확산 시간 단계 임베딩과 결합되어 (AdaLN-Zero) 특징 수준에서 조절합니다.
  • 텍스트 임베딩 대신 행동 임베딩을 크로스 어텐션 (Cross-attention) 에 사용하여 전역적으로 행동을 조건으로 합니다.
• 첫 프레임 고정 (First-frame Anchoring): 긴 시간의 롤아웃 동안 배경 붕괴나 공간적 드리프트를 방지하기 위해, 매 단계에서 에피소드의 **초기 프레임 ($o_0$)**을 컨텍스트로 고정하여 참조합니다. 이는 자기 어텐션 메커니즘이 초기 프레임을 지속적으로 참조하도록 하여 전역 일관성을 유지합니다.
• 노이즈 컨텍스트: 학습 시 컨텍스트 프레임에 확산 노이즈를 주입하여, 추론 시 모델이 생성한 프레임에 의존할 때 발생하는 훈련 - 추론 간극 (Train-Inference Gap) 을 줄이고 견고성을 높입니다.

2.2. 상상 내 할루시네이션 인지 정책 최적화 (Hallucination-Aware Policy Optimization)

• 키프레임 초기화 롤아웃 (Keyframe-Initialized Rollouts, KIR):
  • 기존 방식처럼 항상 초기 상태 ($o_0$) 에서 시작하는 대신, 작업의 결정적 단계나 현재 정책이 실패한 **중요한 중간 상태 (Keyframes)**에서 롤아웃을 시작합니다.
  • 이를 통해 예측 오류가 누적되는 '유효 예측 깊이 (Effective Error Depth)'를 줄이고, 작업 해결에 필요한 국소적 상호작용에 집중합니다.
• 마스크된 GRPO (Masked GRPO):
  • 상상된 롤아웃에서 '성공'이 발생한 이후의 단계는 할루시네이션이 발생할 확률이 높으므로 이를 **마스크 (제거)**합니다.
  • 유효한 단계 길이로 정규화하여, 긴 롤아웃의 드리프트 구간이 아닌 작업 핵심 구간에서 그래디언트가 집중되도록 합니다.

2.3. 정책 정렬 공진화 전략 (PACE: Policy-Aligned Co-Evolution)

• 동적 정렬: 정책이 발전함에 따라 월드 모델과의 분포 불일치가 발생합니다. 이를 해결하기 위해 PACE 를 도입합니다.
• 저빈도 정제: 정책 최적화 과정에서 월드 모델을 지속적으로 업데이트하는 대신, 초기 월드 모델 ($WM_{Base}$) 로 학습을 진행한 후, 개선된 정책으로 수집한 제한된 데이터를 사용하여 월드 모델을 한 번 (또는 매우 낮은 빈도로) 정제 ($WMEvo$) 합니다.
• 효과: 이는 실제 환경의 온라인 RL 과 달리 인간 감독이나 환경 재설정이 필요 없으면서도, 시뮬레이터의 신뢰성을 유지하고 분포 이동으로 인한 오류 누적을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 문제 인식: 폐루프 상상 상호작용 하에서의 할루시네이션이 VLA 기반 RL 의 근본적인 신뢰성 문제임을 규명하고, 자가회귀 오류 누적과 분포 이동이 최적화 신호를 어떻게 왜곡시키는지 분석했습니다.
2. WoVR 프레임워크 제안: 시뮬레이터 설계, 신뢰할 수 있는 상호작용 프로토콜 (KIR), 정책 - 모델 정렬 (PACE) 을 통합하여 상상 내에서만 안정적인 온-정책 (On-policy) 최적화를 가능하게 했습니다.
3. 성능 입증: LIBERO 벤치마크와 실제 로봇 실험을 통해 기존 방법론 대비 압도적인 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

4.1. 월드 모델 품질 (LIBERO 환경)

• 지표: LPIPS, FID, FVD, FloLPIPS 등 시각적 및 시간적 일관성 지표에서 기존 방법 (EVAC, Cosmos-Predict2, OpenSora 기반 WMPO) 을 모두 상회했습니다.
• 특징: 긴 시간 (512 프레임) 의 롤아웃에서도 오류 누적이 적고, 23 FPS 의 높은 추론 속도를 유지하여 효율성이 뛰어났습니다.

4.2. 정책 성능 (LIBERO 벤치마크)

• 평균 성공률: WoVR 는 평균 **69.2%**의 성공률을 기록하여, 베이스 정책 (39.95%) 대비 +29.3%p 향상되었으며, 기존 RL 방법 (GRPO Online: 44.6%, WMPO: 46.2%) 보다도 월등히 높았습니다.
• 장기 작업: 특히 긴 시간 작업 (LIBERO-Long) 에서 기존 월드 모델 기반 방법들이 실패한 반면, WoVR 는 22.1%p 향상 (35.8% → 57.9% 수준, 표기상 35.8%는 베이스 대비 +22.1) 을 보이며 장기 롤아웃 안정성을 입증했습니다.

4.3. 실제 로봇 전이 (Real-World Transfer)

• 실험: Franka Emika Panda 로봇을 사용하여 '바나나 집기', '빵 집기' 작업 수행.
• 결과:
  • Pick Banana: 베이스 (46.7%) → WoVR (93.3%)
  • Pick Bread: 베이스 (76.7%) → WoVR (90.0%)
  • 평균: 61.7% → 91.7% (+30.0%p 향상)
• 의미: 추가적인 실제 환경 상호작용 없이도, 학습된 월드 모델 기반 RL 이 실제 로봇 작업에 매우 효과적으로 전이됨을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 중심 접근: 학습된 월드 모델이 완벽한 시뮬레이터가 아니라는 전제를 인정하고, 이를 '신뢰성 문제'로 재정의하여 설계, 상호작용, 정렬의 세 가지 층위에서 할루시네이션을 제어하는 새로운 패러다임을 제시했습니다.
• 실용성: 물리적 로봇의 상호작용 비용 없이도 고품질의 RL 학습을 가능하게 하여, 실제 로봇 제어 분야에서 VLA 모델의 성능 한계를 확장할 수 있는 길을 열었습니다.
• 한계 및 향후 과제: WoVR 는 할루시네이션을 줄이지만 완전히 제거하지는 못하며, 특히 매우 긴 시간이나 접촉이 민감한 작업에서는 여전히 제한이 있을 수 있습니다. 또한 학습된 보상 모델에 의존한다는 점은 향후 연구 과제로 남습니다.

요약하자면, WoVR는 할루시네이션을 명시적으로 통제함으로써 학습된 월드 모델을 RL 을 위한 실용적인 시뮬레이터로 변모시킨 획기적인 연구입니다.