VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward

1. 문제 정의 (Problem)

대규모 비디오 확산 모델 (Video Diffusion Models) 은 뛰어난 시각적 품질을 보여주지만, **기하학적 일관성 (Geometric Consistency)**과 세계 일관성 (World-Consistency) 유지에 심각한 한계가 있습니다.

• 주요 문제: 생성된 비디오에서 기하학적 드리프트 (Geometric Drift), 불안정한 카메라 궤적, 일관성 없는 장면 구조가 빈번하게 발생합니다. 이는 embodied AI(구현형 AI) 나 물리 인식 시뮬레이션과 같은 하위 응용 분야에서 치명적입니다.
• 기존 방법의 한계:
  1. 아키텍처 수정: 생성기에 추가 모듈을 주입하거나 손실 함수를 변경하는 방식은 대규모 사전 학습된 모델의 일반화 능력을 저해하고 계산 복잡도를 증가시킵니다.
  2. RGB 공간 보상 (Reward) 기반 정렬: 기존 강화 학습 (RL) 기반 정렬 방법들은 보상 계산을 위해 VAE 디코딩을 반복하여 RGB 픽셀 공간에서 수행합니다. 이는 계산 비용이 매우 크고, 디코딩 노이즈에 민감하며, 주로 정적 장면 (Static Scenes) 에만 적용 가능하여 동적 장면 (Dynamic Scenes) 에서는 성능이 떨어집니다.

2. 방법론 (Methodology)

저자들은 **VGGRPO (Visual Geometry GRPO)**를 제안합니다. 이는 비디오 확산 모델의 사전 학습 능력을 유지하면서 기하학적 일관성을 개선하기 위한 잠재 공간 (Latent Space) 기반의 4D 보상 유도 강화 학습 프레임워크입니다.

A. 잠재 기하학 모델 (Latent Geometry Model, LGM)

• 개념: 비디오 확산 모델의 잠재 변수 (Latents) 를 직접 기하학 기초 모델 (Geometry Foundation Model) 에 연결하여, RGB 디코딩 없이 잠재 공간에서 직접 4D 장면 기하학 (카메라 포즈, 깊이, 점 지도, 장면 흐름 등) 을 예측하는 모델입니다.
• 구현:
  • 사전 학습된 기하학 기초 모델 (예: Any4D) 의 초기 레이어를 제거하고, VAE 인코더의 출력 (잠재 변수) 을 중간 특징 공간으로 매핑하는 경량 **스태칭 레이어 (Stitching Layer, 3D 컨볼루션)**를 추가합니다.
  • 이를 통해 VAE 디코딩 오버헤드를 제거하고, 동적 4D 재구성 능력을 가진 모델과 결합하여 정적/동적 장면 모두에 적용 가능합니다.

B. VGGRPO 학습 (Latent-Space GRPO)

• Group Relative Policy Optimization (GRPO): 기존 DPO 나 PPO 와 달리, 크리틱 (Critic) 네트워크 없이 현재 정책에서 샘플링한 그룹 내 상대적 이득 (Advantage) 을 사용하여 정책을 업데이트합니다.
• 잠재 공간 보상 (Latent Rewards): RGB 디코딩 없이 LGM 을 통해 계산된 두 가지 상보적 보상을 사용합니다.
  1. 카메라 운동 부드러움 보상 (Camera Motion Smoothness Reward): 예측된 카메라 포즈를 기반으로 translational 및 rotational 가속도의 변동을 측정하여, 떨림이 없는 부드러운 카메라 궤적을 장려합니다.
  2. 기하학 재투사 일관성 보상 (Geometry Reprojection Consistency Reward): 예측된 3D 구조 (점 지도, 깊이 등) 를 각 뷰로 재투사하여 깊이 일관성을 검증합니다. 특히 동적 장면에서는 장면 흐름 (Scene Flow) 을 활용하여 정적 영역만 추출하여 일관성을 평가합니다.
• 학습 프로세스: 텍스트 프롬프트당 $K$개의 잠재 비디오 샘플을 생성하고, LGM 을 통해 보상을 계산한 후 그룹 내 정규화 (Group Normalization) 를 통해 이득을 산출하여 정책을 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 잠재 공간 보상 계산: RGB 디코딩 없이 잠재 공간에서 직접 신뢰할 수 있는 기하학 기반 보상을 계산하여, 비디오 후학습 (Post-training) 의 효율성을 극대화했습니다.
2. 잠재 기하학 모델 (LGM): 확산 모델의 잠재 변수와 기하학 기초 모델을 경량 커넥터로 연결하여, 픽셀 입력 없이도 4D 기하학 예측이 가능하도록 했습니다. 이는 동적 장면을 지원하는 최초의 접근법 중 하나입니다.
3. VGGRPO 프레임워크: 카메라 운동 부드러움과 기하학 재투사 일관성이라는 두 가지 보상을 결합한 잠재 공간 GRPO 를 도입하여, 세계 일관성을 갖춘 비디오 생성을 달성했습니다.

4. 실험 결과 (Results)

Wan2.1-1B 및 Wan2.2-5B 와 같은 다양한 기반 모델에서 정적 및 동적 벤치마크를 통해 평가되었습니다.

• 정량적 평가:
  • 기하학적 일관성: 정적 장면 (Sampson Epipolar Error) 과 동적 장면 모두에서 기존 방법 (Epipolar-DPO, VideoGPA 등) 보다 우수한 성능을 보였습니다.
  • 비디오 품질: VBench 메트릭 (Subject Consistency, Motion Smoothness 등) 에서도 기반 모델 및 기존 정렬 방법보다 전반적인 품질이 향상되었습니다.
  • 동적 장면: 복잡한 비강체 운동이 포함된 동적 장면에서도 VGGRPO 는 강건한 성능을 유지했으나, 기존 방법들은 성능이 급격히 저하되었습니다.
• 정성적 평가:
  • 생성된 비디오에서 카메라 떨림이 줄어들고, 장면 구조가 시간 흐름에 따라 일관되게 유지되는 것을 확인했습니다.
  • 특히 동적 장면에서 기존 방법들이 겪던 기하학적 왜곡과 구조적 아티팩트가 크게 개선되었습니다.
• 효율성:
  • RGB 기반 보상 계산에 비해 GPU 메모리 사용량이 약 11% 감소 (76.8GB → 68.5GB) 하고, 보상 계산 속도가 약 24.5% 향상되었습니다.

5. 의의 및 결론 (Significance)

• 효율성과 확장성: VGGRPO 는 반복적인 VAE 디코딩이라는 병목 현상을 제거하여, 대규모 비디오 모델의 기하학적 정렬을 계산적으로 효율적으로 수행할 수 있는 방법을 제시했습니다.
• 동적 장면 대응: 기존 방법들이 정적 장면에 국한되었던 것과 달리, 4D 잠재 기하학 모델을 통해 복잡한 동적 장면에서도 세계 일관성을 보장할 수 있음을 입증했습니다.
• 일반화 능력: 기하학적 일관성을 개선하면서도 모델이 가진 원래의 일반화 능력 (다양한 스타일 생성) 을 유지하거나 오히려 향상시킴을 보여주었습니다.

결론적으로, VGGRPO 는 잠재 공간에서의 4D 기하학 보상을 통해 비디오 생성 모델이 물리적으로 일관되고 안정적인 세계를 생성하도록 유도하는 혁신적인 프레임워크로, 향후 embodied AI 및 시뮬레이션 분야에서 중요한 기반 기술이 될 것으로 기대됩니다.