DEVIS-GRPO: Unleashing GRPO on Dynamic Extreme View Synthesis

技術概要：DEVIS-GRPO

問題定義
軌道制御付き動画生成は、バーチャルリアリティ、自動運転シミュレーション、映画制作などの応用において不可欠である。既存の手法は、小範囲のカメラ運動（通常 40 度以内）では適切に機能するが、大範囲または「極端」な視点変化（90 度超）を扱う際には著しく性能が低下する。現在の手法は一般的に、暗黙的なカメラ埋め込みモデリングと明示的な再投影モデリングという 2 つのパラダイムに分類される。両者とも極端な視点に対しては困難を抱えている：暗黙的な手法は指定されたカメラ軌道を正確に追従できないことが多く、明示的な手法は、ソース動画と生成動画の間で前景と背景のコンテンツに不整合が生じることが頻繁にある。この限界は、実世界でのそのようなデータの取得が困難であるため、極端な視点変化を伴う同期動画データセットが不足していることに大きく起因している。既存のデータセットには通常、小角度の運動や静止シーンしか含まれておらず、モデルが動的な極端な視点へ一般化することを妨げている。

手法
著者らは、軌道制御付き動画生成にグループ相対方策最適化（GRPO）を統合したフレームワーク、DEVIS-GRPO（Dynamic Extreme VIew Synthesis-GRPO）を提案する。中核的な革新は、蓄積的動的極端視点合成（ADEVIS）と呼ばれる新しいサンプリング戦略にある。

1. ADEVIS 戦略: 単一ステップで大角度の動画を生成しようとするのではなく、ADEVIS は大きなカメラ運動（$\Delta T$）を、より小さな軌道増分（$\Delta T_1, \Delta T_2, \dots, \Delta T_n$）の系列に分解する。モデルはこれらの小さなステップを順次蓄積して、生成された視点を洗練させる。このアプローチは、極端な遷移中の幾何学的整合性を維持するために、先行ステップからの事前知識を活用する。
2. 蓄積バリエーション: 各ステップに必要な幾何学的事前知識を取得するために、本論文は 4 つの蓄積戦略を検証する：
   • 参照動画蓄積（RFA）: 各ステップで再投影に元のソース動画を使用する。
   • 再投影動画蓄積（RVA）: 以前に生成された動画（$\hat{V}_{i-1}$）から再投影を行う。
   • 遮蔽領域蓄積（ORA）: 直前のステップからの再投影と現在のステップを融合し、特に深度推定がより信頼できる近接領域または連続領域（ORA-dt および ORA-cc）を対象とする。
   • バレットタイム蓄積（BTA）: ソース動画の最初のフレームを繰り返し、初期運動をより小さく連続的に増加する変化に分解することで、「バレットタイム」遷移を作成する。この戦略は、接合部での誤整合を最小化するために最も効果的であることが判明した。
3. GRPO 最適化: このフレームワークは、個別の価値モデルを必要とせずに方策モデルを最適化するために GRPO を採用する。
   • 確率的サンプリング: 訓練中に、モデルは蓄積ステップ数（$n$）と各ステップでの運動の大きさをランダム化することで、多様な軌道グループをサンプリングする。
   • 報酬関数: 多レベルの整合性・品質報酬関数が、可視領域におけるピクセルレベル忠実度（PSNR、SSIM）、セマンティックレベル忠実度（LPIPS）、および動画品質指標（時間的フリッカー、運動滑らかさ、審美性品質、画像品質）に基づいて生成サンプルを評価する。
   • グループ相対優位性: モデルは、絶対スコアではなく、グループ内のサンプルの相対優位性に基づいて目的関数を最大化することで更新される。
4. 推論: 訓練フェーズでは多ステップ蓄積を使用するのに対し、推論プロセスは最適化されたモデルを用いて、効率性を確保しつつ大角度動画を単一ステップで直接生成する。

主な貢献

• 極端視点合成への GRPO の初適用: 本論文は、極端な視点下での軌道制御付き動画生成のために特別に設計されたオンライン方策勾配手法として DEVIS-GRPO を紹介する。
• ADEVIS サンプリング戦略: 方策モデルのウォームスタートに高価なペア付き大視点動画データセットを必要としない、蓄積的動的極端視点合成の提案。小視点増分を蓄積することで大視点運動を実現する。
• 多様な蓄積戦略: 漸進的視点合成のパラダイムを探求するための 4 つの異なる蓄積戦略（RFA、RVA、ORA、BTA）の設計と評価。BTA が優れたアプローチとして特定された。
• 多レベル報酬関数: 強化学習プロセスを導くために、整合性（ピクセルおよびセマンティック）と動画品質のバランスを取る報酬関数の開発。

結果
実験はKubric-4D、iPhone、およびDL3DVデータセットで行われた。

• 定量的性能: Kubric-4D データセットにおいて、DEVIS-GRPO は、2 番目に優れた手法と比較して、非遮蔽領域でPSNR が 21.57%、**SSIM が 7.31%の相対的な改善を達成した。iPhone データセットでは、LPIPS 指標が18.56%**削減された。
• 整合性と追従性: この手法は、時間的およびテクスチャの整合性を維持し、指定されたカメラ軌道に厳密に追従する点で優れた性能を示し、GCD、EX-4D、TrajectoryCrafter などのベースラインを上回った。
• アブレーション研究: Vanilla-GRPO との比較により、DEVIS-GRPO はより多様なサンプルを生成し、より良い整合性指標を持つことが示された。SFT（教師あり微調整）および DPO（直接選好最適化）のパラダイムとの比較は、グループ相対優位性を伴う GRPO アプローチが最良の性能をもたらすことを確認した。

意義
本論文は、DEVIS-GRPO が極端な視点合成におけるデータ不足という重要なボトルネックに対処していると主張している。蓄積的サンプリング戦略を活用することで、同期マルチビュー監督や高価な大角度動画ペアを必要とせずに効果的な訓練を可能にする。このフレームワークは、小視点の制御可能性と、極端なカメラ運動下での高品質かつ整合性の取れた動画生成との間のギャップを成功裏に埋め、軌道制御付き動画生成の新たな基準を設定している。