1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 스트리밍형 자기회귀 (Autoregressive, AR) 비디오 생성 모델과 소수 단계 (few-step) 증류 기술의 결합은 저지연, 고품질 비디오 합성을 가능하게 했습니다. 그러나 이러한 모델은 인간 피드백을 통한 강화학습 (RLHF) 을 통해 정렬 (Alignment) 하는 데 큰 어려움을 겪고 있습니다.
• 기존 방법의 한계:
  • 기존 흐름 매칭 (Flow-matching) 기반 모델에 적용되는 SDE 기반 GRPO 방법론은 AR 생성 환경에서 실패합니다.
  • 근본 원인: 증류된 소수 단계 ODE 솔버나 일관성 모델 (Consistency Models, CM) 은 결정론적 (deterministic) 성향이 강하며, 초기 노이즈에 매우 민감합니다. 반면, 중간 단계의 확률적 노이즈 (intermediate stochasticity) 에 의존하는 기존 SDE 기반 탐색 전략은 이러한 모델에서 효과가 없습니다.
  • 실험적 증거: 논문의 실험 (Fig. 2, Fig. 6) 에 따르면, Few-step AR 모델 (예: Self-Forcing) 에서 생성의 다양성은 거의 전적으로 초기 노이즈에 의해 결정되며, 중간 단계 솔버 노이즈를 변경해도 출력은 거의 변하지 않습니다. 따라서 SDE 기반의 중간 노이즈 주입은 의미 있는 탐색 (exploration) 을 제공하지 못해 보상 (reward) 향상을 이끌어내지 못합니다.

2. 제안 방법론: AR-CoPO (Methodology)

저자들은 Neighbor GRPO의 관점을 차용하여 스트리밍 AR 생성에 적합한 AR-CoPO (AutoRegressive Contrastive Policy Optimization) 프레임워크를 제안합니다.

핵심 구성 요소:

1. Chunk-level Forking Mechanism (조각 단위 분기 메커니즘):

   • AR 생성의 특성상 전체 시퀀스 단위로 GRPO 를 적용하면 계산 비용이 과도하고 신용 부여 (credit assignment) 가 어렵습니다.
   • 해결책: 무작위로 선택된 **피벗 조각 (pivot chunk)**에서만 생성을 분기 (forking) 합니다.
   • 동작:
     1. 공유된 컨텍스트 (이전 조각들) 를 생성합니다.
     2. 피벗 조각에서 초기 노이즈를 교란하여 $G$개의 이웃 후보 (neighbor candidates) 를 생성합니다.
     3. 각 후보는 나머지 조각들을 결정론적으로 생성하여 전체 비디오를 완성합니다.
     4. 완성된 시퀀스 전체에 대해 보상 (sequence-level reward) 을 계산합니다.
   • 효과: 피벗 조각의 초기 노이즈만 다르기 때문에, 보상 차이는 해당 조각의 생성 선택에 기인한 것으로 명확히 귀속됩니다. 이는 국소적이고 안정적인 신용 부여를 가능하게 하며, 전체 시퀀스 역전파 비용을 절감합니다.

2. 일관성 모델 (CM) 을 위한 Contrastive Objective:

   • 기존 Neighbor GRPO 는 중간 타임스텝의 잠재 공간 거리를 사용하지만, CM 기반 모델은 한 단계 예측 ($\hat{x}_0$) 이 핵심입니다.
   • AR-CoPO 는 CM 의 $\hat{x}_0$ 예측 공간에서 거리를 정의하여 유사한 Contrastive Policy Optimization (CoPO) 목적 함수를 적용합니다.

3. 반-온-폴리시 (Semi-On-Policy) 학습 전략:

   • 문제: 순수 온-폴리시 (On-policy) 학습은 노이즈 교란을 통한 탐색에 의존하는데, 텍스트 정렬 (Text Alignment, TA) 과 같은 글로벌 의미적 보상은 국소적 노이즈 변화로는 개선하기 어렵습니다. 이는 보상 해킹 (reward hacking) 을 유발하여 비디오 품질 (MQ, VQ) 이 급격히 떨어지는 원인이 됩니다.
   • 해결책: 반-온-폴리시 전략을 도입합니다.
     • 고정된 참조 정책 (Reference Policy) 에서 미리 생성된 후보들을 리플레이 버퍼에 저장합니다.
     • 현재 정책이 이 고정된 후보들 사이에서 고보상 샘플을 강조하고 저보상 샘플을 억제하도록 Contrastive Objective 를 적용합니다.
     • Trust Region: 비율 클리핑 (ratio clipping) 을 사용하여 정책이 참조 분포에서 너무 멀어지는 것을 방지합니다.
   • LoRA 병합: 탐색 (On-policy) 과 활용 (Semi-on-policy) 을 위한 두 개의 별도의 LoRA 어댑터를 독립적으로 학습한 후, 추론 시 가중치를 병합하여 최종 모델을 만듭니다.

3. 주요 기여 (Key Contributions)

1. AR-CoPO 프레임워크 제안: 스트리밍 비디오 생성기에 대한 RLHF 를 가능하게 하는, 이웃 후보에 대한 대비적 목적 함수를 기반으로 한 새로운 프레임워크입니다.
2. 조각 단위 (Chunk-level) 행동 공간: 시퀀스 수준의 보상을 자연스럽게 조각 단위의 신용 부여로 변환하여, 국소적이고 제어 가능한 보상 신호를 생성합니다.
3. 반-온-폴리시 학습 전략: 탐색 (On-policy) 과 활용 (Semi-on-policy) 을 결합하여, 도메인 외 일반화 성능과 전체 생성 품질을 동시에 향상시킵니다. 이는 보상 해킹을 방지하고 진정한 정렬을 달성하는 데 기여합니다.

4. 실험 결과 (Results)

• 벤치마크: Self-Forcing, Causal-Forcing 모델을 기반으로 MovieGen Video Bench 및 VideoAlign, VBench 에서 평가 수행.
• 성능 향상:
  • VideoAlign: 온-폴리시와 반-온-폴리시 어댑터를 병합한 모델은 베이스라인 대비 **VideoAlign Overall 점수 (7.76 → 8.22)**를 크게 향상시켰습니다.
  • VBench: 동시에 **VBench Total 점수 (82.15 → 82.17)**를 유지하거나 소폭 향상시켜, 점수 인플레이션 (reward hacking) 이 아닌 실제 품질 향상임을 입증했습니다.
  • SDE-GRPO 대비 우위: SDE 기반 GRPO 는 학습 중 보상 향상이 전혀 없었으나, AR-CoPO 는 일관된 점수 향상을 보였습니다.
• 정성적 결과: 텍스트 프롬프트 준수, 시각적 충실도, 운동의 일관성 측면에서 기존 모델보다 우수한 비디오를 생성합니다.
• Ablation Study:
  • 순수 온-폴리시 학습은 텍스트 정렬 점수는 높였으나 운동 품질 (MQ) 이 붕괴되는 등 심각한 품질 저하를 보였습니다.
  • 반-온-폴리시 학습은 품질 저하 없이 전반적인 성능을 개선했습니다.
  • LoRA 병합 비율 (Scale) 조절을 통해 탐색과 활용의 균형을 최적화할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 기술적 돌파구: 결정론적 성향이 강한 Few-step AR 비디오 생성 모델에 RLHF 를 적용하는 데 있어 기존 SDE 기반 방법론의 근본적인 한계를 극복했습니다.
• 효율성: 전체 시퀀스 역전파 없이 조각 (chunk) 단위만 업데이트하여 학습 비용을 대폭 절감하면서도 국소적인 신용 부여를 가능하게 합니다.
• 실용성: 온-폴리시 (탐색) 와 반-온-폴리시 (활용) 의 이점을 결합하여, 인간 선호도에 부합하면서도 고품질이고 일관된 비디오를 생성하는 새로운 표준을 제시합니다. 이는 저지연 스트리밍 비디오 생성 모델의 상용화 및 정렬에 중요한 기여를 할 것으로 기대됩니다.