AR-CoPO: 自動回帰型動画生成の対照的方策最適化によるアライメント

技術的サマリー（日本語）

本論文「AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization」は、低遅延かつ高品質なストリーミング自動回帰（AR）動画生成モデルを、人間のフィードバックからの強化学習（RLHF）を用いて効果的にアライメント（調整）するための新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

近年、拡散モデルやフローマッチングモデルは動画生成において高い品質を達成していますが、推論コストが高く、ストリーミングや低遅延なシナリオには不向きです。これを解決するため、双方向モデルを因果的（AR）かつチャンク単位で動作する「few-step（数ステップ）」の生成モデルに蒸留する手法が注目されています。

しかし、これらのストリーミング AR 生成モデルを RLHF で調整することには重大な課題が存在します。

• SDE ベースの GRPO の限界: 既存のフローマッチングモデル向けの強化学習手法（GRPO 変種など）は、決定論的な ODE サンプリングを確率的な SDE（確率微分方程式）に変換し、中間ノイズ注入によって探索を行うアプローチを取ります。
• few-step モデルの特性とのミスマッチ: few-step の ODE ソルバーや整合性モデル（Consistency Models, CM）は、非常に短いサンプリング経路を持ち、初期ノイズに極めて敏感です。中間ステップでのノイズ注入（SDE 探索）は、初期ノイズが生成の大部分を支配しているため、実質的な探索効果を持たず、報酬信号が得られません。
• 結果: 既存の SDE ベースの GRPO を few-step AR モデルに適用しても、報酬の向上が見られず、アライメントが失敗します。

2. 提案手法：AR-CoPO (Methodology)

著者らは、Neighbor GRPO の「対照的（Contrastive）」な視点を流用し、ストリーミング AR 生成に適応させたAR-CoPOを提案しました。

2.1 チャンクレベルのフォーク機構 (Chunk-level Forking)

従来のシーケンス全体の GRPO ではなく、「チャンク（動画の断片）」レベルでアクション空間をサンプリングします。

1. 共有コンテキスト生成: ランダムに選択された「ピボットチャンク」$p$ まで、モデルで共有の履歴（KV キャッシュ等）を生成します。
2. フォーク（分岐）: チャンク $p$ において、共有された初期ノイズ $\epsilon^*$ をベースに、$G$ 個のノイズ $\epsilon^{(i)}_p$ を生成し、それぞれ独立したブランチとして生成を続行させます。
3. シーケンスレベル報酬: 各ブランチで動画全体が完成した後、報酬モデル（Reward Model）によってシーケンス全体のスコア $r^{(i)}$ を算出します。
4. 局所的なクレジット割り当て: 重要な点は、ブランチ間で異なるのはピボットチャンクの初期ノイズのみであり、その後のノイズはすべて共有されることです。これにより、報酬の差が完全に「ピボットチャンクの生成選択」に起因するものとして明確に特定でき、バックプロパゲーションをそのチャンクに限定することで計算コストを大幅に削減します。

2.2 整合性モデル（CM）への適応

Neighbor GRPO は通常、中間ステップの潜在空間距離を用いますが、Self-Forcing などの CM では、ノイズから直接クリーンな予測 $\hat{x}_0$ を出力する特性上、$\hat{x}_0$ 空間での距離を用いることでより効果的な対照的学習を行います。

2.3 セミ・オンポリシー学習戦略 (Semi-On-Policy Training)

純粋なオンポリシー学習（探索）だけでは、意味的な一貫性（Text Alignment）のようなグローバルな報酬の改善が困難で、報酬ハッキング（局所最適化）を招くリスクがあります。これを解決するため、以下の 2 つの戦略を併用します。

• オンポリシー（探索）: 現在のポリシーから新しい候補を生成し、報酬を最大化する方向へ探索します。
• セミ・オンポリシー（利用）: 初期モデル（参照ポリシー $\pi_{ref}$）から事前に収集した固定された候補群（リプレイバッファ）を使用します。探索に頼らず、高報酬の候補を重視し、低報酬の候補を抑制することで、参照分布の質を維持しつつ全体品質を向上させます。
• LoRA マージ: 両方の戦略で独立して LoRA アダプターを学習し、推論時にマージします。これにより、探索による報酬向上と、利用による生成品質の維持を両立させます。

3. 主要な貢献 (Key Contributions)

1. AR-CoPO フレームワークの提案: 対照的学習に基づき、ストリーミング AR 動画生成モデルの RLHF を可能にする新しい枠組み。
2. チャンクレベルのアクション空間: シーケンスレベルの報酬から自然なクレジット割り当てを実現し、局所的で制御可能な報酬信号を生成する機構。
3. セミ・オンポリシー学習戦略: 探索（オンポリシー）と利用（セミ・オンポリシー）を組み合わせることで、ドメイン外での汎化性能と生成品質の両方を向上させる手法。
4. SDE 探索の限界の克服: few-step AR モデルが初期ノイズに依存し、中間ノイズ注入が機能しないという洞察に基づき、SDE 変換なしに効果的な探索を実現。

4. 実験結果 (Results)

Self-Forcing ベースラインモデルを用いた評価において、以下の結果が得られました。

• SDE-GRPO との比較: 既存の SDE ベースの GRPO は報酬が向上しませんでした。一方、AR-CoPO はトレーニングを通じて一貫して高いスコアを達成しました（Fig. 2, Fig. 7）。
• ベンチマーク性能:
  • VBench (汎化性能): セミ・オンポリシーのみでも、SOTA モデル（LongLive）を上回る Total スコア（82.45 vs 82.31）を記録。
  • VideoAlign (人間評価): オンポリシーとセミ・オンポリシーをマージしたモデルは、VideoAlign Overall スコアを 7.76 から 8.22 に向上させました。
  • 真のアライメントの証明: VideoAlign の向上と同時に VBench スコアも維持・向上しており、報酬ハッキング（ドメイン内スコアだけ上がる現象）ではなく、真の品質向上であることを示しました。
• アブレーション研究:
  • 純粋なオンポリシー学習は、Text Alignment 報酬を最大化しようとして動きの連続性（Motion Quality）を崩壊させる（報酬ハッキング）ことが確認されました。
  • セミ・オンポリシー学習は、参照分布からの逸脱を防ぎつつ、生成品質を維持・向上させることが確認されました。
  • LoRA マージのスケール調整により、探索と利用のバランスを最適化できることが示されました。

5. 意義と結論 (Significance)

本論文は、ストリーミング AR 動画生成モデルの RLHF における根本的な課題（SDE 探索の非効率性）を解決し、実用的な低遅延モデルを人間の好みに合わせて調整する有効な手法を提供しました。

• 技術的意義: 決定論的な few-step サンプリングにおいても、初期ノイズの操作を通じて効果的な対照的学習が可能であることを実証しました。
• 実用性: 計算コストを削減しつつ（バックプロパゲーションを局所化）、高品質で指示に従う動画生成を実現します。
• 将来展望: 生成モデルの「探索」と「利用」を分離して学習し、マージするというアプローチは、他の生成タスクや RLHF 応用にも応用可能な重要な知見を提供しています。

要約すれば、AR-CoPO は、高速な AR 動画生成モデルが、従来の RLHF 手法では調整できなかった「初期ノイズ依存性」という壁を、対照的学習とハイブリッドな学習戦略によって乗り越え、高品質かつ制御可能な動画生成を実現する画期的な手法です。