技術要約: Stream4D

問題提起

自己回帰（AR）拡散ビデオモデルは、クリップを逐次的に生成することで、リアルタイムかつ長時間のビデオ生成を可能にしました。しかし、既存の学習目的関数は、主に局所的なフレーム予測を最適化しており、一貫した世界のグローバルな幾何学構造やダイナミクスを最適化するものではありません。その結果、ARモデルにおける長時間のロールアウトでは誤差が蓄積し、幾何学的なドリフト、深度関係の不一致、そして不自然なシーンやカメラの動きを引き起こします。

これを解決するために強化学習（RL）を用いた最近の試みでは、静的な3D Gaussian Splatting（3D-GS）再構成から導出された報酬（例：World-R1, VideoGPA）が採用されています。本論文は、このアプローチにおける決定的な欠陥を指摘しています。それは、硬直した3D再構成プリセットは動的なシーンを表現できないという点です。物体が実際に動くと、静的な再構成器はその動きを再構成誤差として解釈し、モデルにペナルティを与えてしまいます。これにより、「シーンを凍結させる（物体の動きを抑制する）」ことで報酬を最大化し、カメラの動きのみを許容するという「ショートカット」が生じます。この問題は、初期のチャンクにおける誤差が伝播するAR設定において特に深刻であり、静的な構成へと崩壊することが高報酬を得るための容易な経路となってしまいます。

手法: Stream4D

著者らは、ストリーミングARビデオモデルに4Dの一貫性と自然な動きのプリセットを蒸留するために設計された強化学習フレームワーク、Stream4Dを提案します。核心となる洞察は、静的な3Dクリティックを、シーンのダイナミクスを明示的にモデル化するフィードフォワード4D再構成報酬に置き換えることです。

この手法は、z正規化を介して結合され、DiffusionNFTの順方向プロセス損失を用いて最適化される3つの主要な報酬コンポーネントで構成されています。

1. 4D-GS 再構成報酬 ($R_{recon}$):
   静的な3Dモデルの代わりに、Stream4Dは学習済みのフィードフォワード4D Gaussian Splattingモデル（MoVieS）を利用します。候補となるビデオ・ロールアウトに対し、システムはフレームごとのカメラを推定し、ビデオを動的なGaussianシーン（標準的なポイントクラウド ＋ 時間依存の変形および外観）として再構成します。報酬は、元の生成フレームと、この動的な4D再構成から再レンダリングされたフレームとの間の知覚的一致度（LPIPS）に基づいて計算されます。これにより、動き自体を罰することなく、一貫した幾何学、動き、およびカメラのダイナミクスによって説明可能なロールアウトに対して報酬を与えます。

2. ゲート付きモーション結合 ($R_{mot}$):
   4D再構成器は動きを罰することはありませんが、低運動量のクリップの方が再構成がわずかに容易であるため、静的なシーンへの弱いバイアスが生じることが観察されました。これを打ち消し、動きの質を導くために、Stream4Dは以下のモーション報酬を導入します。

   • モーションゲート ($g(m)$): 自然なターゲット（$m_{nat}$）付近の運動強度（$m$）に報酬を与え、静止への崩壊と制御不能なブラーの両方を抑制する、ピークを持つガウス関数。
   • 滑らかさ (Smoothness): 過剰な総運動量や時間的なジッターを罰します。
   • 剛性 (Rigidity): シーンフローの速度の空間的な有限差分を測定することで、空間的に不安定なシーンフロー（引き裂かれや溶けるようなアーティファクト）を罰し、局所的に一貫した動きを促します。

3. 知覚アンカー ($R_{hpsv2}$):
   軽量な画像報酬モデル（HPSv2）を使用して、生成されたフレームの美学を直接スコアリングします。これにより、幾何学とダイナミクスが4D項によって制約される一方で、フレームごとの視覚的な忠実度が人間の美的嗜好やベースモデルの品質と一致していることを保証します。

最終的な報酬は、これら3つのz正規化された軸の合計であり、DiffusionNFTの順方向プロセス更新におけるグループ単位のアドバンテージ推定（GRPO）を通じて最適化されます。

主な貢献

1. 失敗モードの特定: 著者らは、蒸留されたストリーミングARモデルにおける累積的な4D不一致を主要な失敗モードとして特定し、静的な3D報酬がいかに意図せずシーンの凍結を助長するかを明らかにしました。
2. Stream4D フレームワーク: 構造化された4D再構成の一貫性、ターゲット中心の自然な動きのプリセット、および知覚的アンカリングを組み合わせた、転移可能な学習目的関数を導入しました。
3. 実証的検証: 本手法は、5秒および10秒の生成ホライゾンをカバーする、3つの異なる蒸留ARバックボーン（Self-Forcing, Causal-Forcing, LongLive）にわたって評価されています。

結果

Stream4Dは、テストされたすべてのバックボーンにおいて一貫した改善を示しました。

• 4D再構成の品質: 4D-PSNRにおいて大幅な向上を実現しました（Self-Forcingで+3.46 dB、Causal-Forcingで+5.53 dB、LongLiveで+6.76 dB）。これらの向上は、MoVieS再構成器および別アーキテクチャである4DGTの両方を用いて検証されており、結果が特定のMoVieSモデルに依存しないことが確認されています。
• 動きの保持: 被験体を凍結させがちな静的報酬ベースライン（World-R1, VideoGPA）とは異なり、Stream4Dは物体の動きを保持します。LLMによる判定において、Stream4Dは動きの保持と一貫性において高いスコアを獲得しました（例：Self-Forcingにおいて、Stream4Dの整合性勝利率は75.9%のWorld-R1に対し、82.2%でした）。
• 人間による嗜好: LongLiveバックボーンを用いたブラインドテストにおいて、Stream4Dは自然な動きと全体的な品質の両面で、幾何学報酬ベースラインよりも大幅に好まれました（World-R1に対して76%、VideoGPAに対して80%）。
• アブレーション研究: 3つの報酬コンポーネントのいずれかを削除すると、性能の低下を招きます。モーション項を削除すると動きの崩壊が起こり、再構成項を削除すると一貫性が失われ、知覚アンカーを削除すると視覚的な忠実度と嗜好スコアが低下します。

意義と主張

本論文は、Stream4DがストリーミングARビデオモデルの幾何学的報酬設計を、3D一貫性から4D一貫性へと成功裏に移行させたことを主張しています。フィードフォワード4D再構成器を利用することで、Stream4Dは3D-GS報酬に内在する「静的ショートカット」を回避し、ポリシーが凍結されたシーンではなく、一貫した動的コンテンツに対して報酬を得られるようにしています。

著者らは、これが（凍結されたベースモデルに対するLoRAアダプターを使用する）軽量なレシピであり、広範なバックボーンごとのチューニングを必要とせずに、異なるARアーキテクチャ間で効果的に転移できることを強調しています。これらの結果は、一貫した幾何学と自然な動きの両方を維持する、安定した長時間のリアルタイム・ビデオ生成を実現するためには、4D再構成によるダイナミクスの明示的なモデリングが不可欠なステップであることを示唆しています。本研究は、長期的な世界の整合性が極めて重要となる、エンボディド・エージェントやインタラクティブ・シミュレータの将来的な応用への基礎を築くものです。