Manifold-Aware Exploration for Reinforcement Learning in Video Generation

1. 문제 정의 (Problem)

비디오 생성 모델에 대한 강화 학습 (RL), 특히 GRPO (Group Relative Policy Optimization) 기반의 정렬 (Alignment) 기술은 언어 모델이나 이미지 생성에 비해 신뢰도가 낮습니다. 이 격차의 주요 원인은 다음과 같습니다:

• 복잡한 해 공간과 과도한 노이즈: 비디오 생성은 구조화된 거대한 해 공간을 가지며, 탐색 (Exploration) 을 위해 결정론적인 ODE 샘플러를 확률적 SDE(Stochastic Differential Equation) 로 변환하는 과정에서 기존 방법들 (FlowGRPO, DanceGRPO 등) 이 **1 차 근사 (Euler-style discretization)**를 사용합니다.
• 매니폴드 이탈 (Off-Manifold Drift): 이러한 근사는 고노이즈 구간에서 불필요한 과도한 노이즈 에너지를 주입하여, 생성된 비디오가 학습된 데이터 매니폴드 (Data Manifold) 에서 벗어나게 만듭니다.
• 품질 저하 및 불안정성: 매니폴드 이탈은 시간적 지터 (Temporal Jitter) 와 아티팩트를 유발하며, 이는 롤아웃 (Rollout) 품질을 저하시켜 보상 (Reward) 추정을 불신하게 만들고, 최종적으로 정렬 과정을 불안정하게 만듭니다.
• 기울기 불균형: 확산 과정의 시간 단계 (Timesteps) 에 따라 신호 대 잡음비 (SNR) 가 극단적으로 변하여, 고노이즈 구간에서는 기울기가 사라지고 (Vanishing), 저노이즈 구간에서는 폭발하는 (Exploding) 문제가 발생합니다.

2. 제안 방법: SAGE-GRPO

저자들은 **SAGE-GRPO (Stable Alignment via Exploration)**를 제안하며, 이를 마이크로 (Micro) 및 매크로 (Macro) 두 가지 수준에서 데이터 매니폴드 주변으로 탐색을 제약하는 방식으로 해결합니다.

가. 마이크로 레벨: 정밀한 매니폴드 인식 SDE 및 기울기 정규화

• 정밀한 매니폴드 인식 SDE (Precise Manifold-Aware SDE):
  • 기존 방법의 1 차 근사 대신, 확산 계수 (Diffusion Coefficient) 를 구간 $[\sigma_{t+1}, \sigma_t]$에 대해 적분하여 정확한 노이즈 분산을 계산합니다.
  • 로그 곡률 보정 (Logarithmic Curvature Correction): 신호 계수 $(1-\sigma_t)$의 기하학적 수축을 반영한 로그 항 $\log(\frac{1-\sigma_{t+1}}{1-\sigma_t})$을 추가하여, 불필요한 고주파 노이즈 에너지를 제거하고 탐색을 데이터 매니폴드 흐름 궤적에 더 가깝게 유지합니다.
• 기울기 노름 평준화 (Gradient Norm Equalizer):
  • 시간 단계별 기울기 크기의 불균형 (고노이즈에서는 0 에 수렴, 저노이즈에서는 무한대) 을 해결하기 위해, 각 시간 단계별 기울기 스케일 ($N_t$) 을 추정하고 이를 정규화합니다.
  • 이를 통해 모든 시간 단계에서 구조적 및 질감적 업데이트가 균등하게 기여하도록 하여 학습 안정성을 확보합니다.

나. 매크로 레벨: 듀얼 트러스트 리전 (Dual Trust Region)

• 이동 앵커 (Moving Anchor) 와 단계별 제약의 결합:
  • 위치 제어 (Position Control): 고정된 초기 모델 ($\pi_0$) 에 대한 KL 제약은 장기 최적화 시 과적합 (Underfitting) 을 유발합니다. 이를 해결하기 위해 $N$ 단계마다 참조 모델 ($\pi_{ref}$) 을 업데이트하는 이동 앵커를 도입하여, 탐색이 유효한 분포 근처에 유지되도록 합니다.
  • 속도 제어 (Velocity Control): 각 최적화 단계에서의 파라미터 업데이트 크기 ($\nabla_\theta$) 를 제한하는 단계별 KL 제약을 적용하여 급격한 변화를 방지합니다.
  • 듀얼 KL 목적 함수: 위치 제어 (이동 앵커) 와 속도 제어 (단계별 제약) 를 결합한 Dual Trust Region을 구성하여, 장기적인 드리프트 (Drift) 를 방지하면서도 모델의 가소성 (Plasticity) 을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 문제 공식화: 비디오 생성 GRPO 를 '매니폴드 제약 탐색 문제'로 재정의하고, 기존 ODE-to-SDE 변환이 과도한 노이즈를 주입하여 롤아웃 품질을 떨어뜨린다는 것을 이론적으로 증명했습니다.
2. 마이크로 레벨 혁신: 로그 곡률 보정이 포함된 정밀한 SDE 와 기울기 노름 평준화기를 통해, 샘플링 노이즈를 매니폴드와 일치시키고 시간 단계별 업데이트를 균형 있게 만들었습니다.
3. 매크로 레벨 혁신: 이동 앵커와 단계별 제약을 결합한 듀얼 트러스트 리전 메커니즘을 제안하여, 장기적인 드리프트를 방지하고 안정적인 정렬을 가능하게 했습니다.
4. 실험적 검증: HunyuanVideo1.5 와 VideoAlign 보상 모델을 사용한 실험에서 기존 방법 (DanceGRPO, FlowGRPO, CPS) 대비 VQ(화질), MQ(모션 품질), TA(텍스트 정렬) 및 시각적 지표 (CLIPScore, PickScore) 에서 일관된 개선을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: HunyuanVideo1.5 기반 실험에서 SAGE-GRPO 는 모든 설정 (평균 보상 및 정렬 중심 보상) 에서 기존 SOTA 방법들을 능가했습니다. 특히 Dual Moving KL을 적용했을 때 전체 보상과 시각적 품질이 가장 우수했습니다.
• 사용자 연구 (User Study): 29 명의 평가자를 대상으로 한 연구에서 SAGE-GRPO 는 모션 품질 (75.8%~79.2% 승리율) 과 시각적 품질, 의미론적 정렬에서 모든 베이스라인 대비 높은 선호도를 받았습니다.
• 정성적 분석: 기존 방법들이 보이는 시간적 지터 (Temporal Jitter) 가 감소하고, 복잡한 객체 상호작용 및 감정 표현 (예: 피로한 표정, 빛과 그림자의 묘사) 에서 더 높은 일관성과 사실성을 보여주었습니다.
• Ablation Study:
  • 기울기 평준화기 제거 시 저노이즈 시간 단계에서 학습이 불안정해지거나 보상 곡선이 정체됨을 확인.
  • KL 전략 비교에서 'Dual Moving KL'이 수렴 속도와 최종 보상 모두에서 가장 안정적이고 높은 성능을 보임.

5. 의의 및 결론 (Significance)

이 논문은 비디오 생성 모델의 강화 학습 정렬 과정에서 발생하는 안정성 - 가소성 (Stability-Plasticity) 딜레마를 해결하는 중요한 프레임워크를 제시합니다.

• 이론적 통찰: 단순한 노이즈 주입을 넘어, 데이터의 기하학적 구조 (매니폴드) 를 고려한 정밀한 확률적 미분 방정식 (SDE) 설계가 생성 품질과 학습 안정성에 결정적임을 증명했습니다.
• 실용적 가치: 텍스트 - 비디오 생성 모델의 신뢰성을 높여, 교육 콘텐츠, 과학 커뮤니케이션, 창의적 도구 등 다양한 분야에서 고품질의 제어 가능한 비디오 합성을 가능하게 합니다.
• 미래 방향: 제안된 방법론은 대규모 비디오 생성 모델의 정렬 과정에서 발생할 수 있는 보상 해킹 (Reward Hacking) 과 catastrophic forgetting 을 방지하는 표준적인 접근법으로 자리 잡을 수 있습니다.

요약하자면, SAGE-GRPO는 비디오 생성의 복잡한 해 공간에서 모델이 유효한 데이터 분포 (매니폴드) 를 벗어나지 않도록 정밀하게 제어하는 마이크로 (노이즈/기울기) 및 매크로 (정책 제약) 전략을 통합하여, 기존 방법들의 불안정성을 극복하고 고품질의 비디오 생성을 가능하게 한 획기적인 연구입니다.