技術的概要：Proprio 物理的に妥当な動画生成のための潜在自己スコアリングと推論時微調整

1. 問題定義

現代の動画生成モデル、特に拡散ベースのアーキテクチャは、驚異的な視覚的忠実度を達成しています。しかし、それらはしばしば基本的な物理法則に違反し、非現実的な衝突、不可能な物体間相互作用、または一貫性のないダイナミクスを含む動画を生成します。これらの失敗は、ロボティクスやシミュレーションなどの下流アプリケーションに対する信頼性の高い世界モデルとしての有用性を制限しています。

この問題に対する既存の解決策は、通常、外部フィードバックメカニズムに依存しています：

• トレーニング時介入： 物理的事前知識の注入、またはキュレーションされたデータセットの使用（例：[35, 24]）。
• 推論時外部評価器： 生成をスコアリングまたは誘導するために、ビジョン・言語モデル（VLM）または事前学習された潜在世界モデル（例：V-JEPA [37, 41]）の使用。

著者らは、外部フィードバックパラダイムにおける 2 つの決定的な限界を特定しました：

1. バイアスとミスマッチ： VLM は、物理的妥当性をテキスト・画像の整合性や視覚的美観と混同する傾向があります。事前学習された世界モデルは独自の表現空間で動作するため、生成器の潜在空間との不一致が生じます。
2. 内在的一貫性の欠如： 外部評価器は異なる目的でトレーニングされており、生成器の特定のノイズ除去ダイナミクスと整合しないため、サンプリングステップ全体にわたる生成器固有の一貫性の欠如を見逃す可能性があります。

本論文は、以下の中心的な問いを提起します：動画生成器は、自身のノイズ除去ダイナミクスを、出力の物理的妥当性を評価し改善するための自己完結型シグナルとして活用できるでしょうか？

2. 手法：Proprio

著者らは、凍結された動画生成器が自身の出力を評価・微調整することを可能にする、トレーニング不要の推論時フレームワークProprioを提案します。生物学的な固有受容感覚（自身の動きの感覚）に触発され、この手法は制御された摂動下でのモデル内部のフロー残差を自己スコアリングシグナルとして扱います。

2.1 中核概念：自己スコアリングとしてのフロー残差

この手法は、生成器が学習した分布（すなわち、自然なダイナミクス）と一致するサンプルは、摂動を受けた際に小さく安定した残差を誘発するという観察に基づいています。

• 摂動： 生成された潜在動画 $z_0$ に対して、制御されたノイズ $\epsilon$ を用いて、さまざまなスケジューラ時間ステップ $t$ における摂動された潜在 $z_t$ を構築します。
• 残差計算： モデルはフロー場 $\hat{v}_\theta(z_t, t, c)$ を予測します。ターゲット輸送は $v^*(z_0, \epsilon) \approx \epsilon - z_0$ です。フロー残差は以下の不一致です：
  $$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$$
• スコアリング： この残差の二乗ノルムが局所スコアとして機能します。残差が小さいほど、モデルは摂動下でサンプルをよりよく「説明」できることを示し、物理的妥当性が高いことを意味します。

2.2 シグナル集約と微調整

堅牢なスコアを作成するために、Proprio は複数の次元にわたる残差を集約します：

1. マルチ摂動・マルチ時間ステップ： スコアは、特定のノイズインスタンスへの感度を低減させるため、複数のノイズ実現と時間ステップにわたって平均化されます。
2. 逆分散重み付け： 残差の分散が高い時間ステップ（不安定な推定）は重みが下げられ、安定した時間ステップが優先されます。
3. 動的時空間マスキング： スコアを運動に関連する領域に集中させ、物理的妥当性にとって情報が少ない静的な背景ノイズをフィルタリングするため、マスク $\mathcal{M}$ が適用されます。3 つのマスク戦略が検討されました：
   • 運動マスク： 復号化されたフレームの時間的差分に基づきます。
   • テキスト認識マスク： 潜在とプロンプトトークン間のクロスアテンションの変化に基づきます。
   • アテンションベースマスク： セルフアテンション特徴の変化に基づきます。

2.3 推論時戦略

Proprio は、計算されたスコア $S(z_0)$ を主に 2 つのモードで使用します：

1. Best-of-N 探索： $N$ 個の候補潜在を生成し、最も低い自己スコアを持つものを選択します。
2. 自己微調整： 生成器の再トレーニングの代わりに、この手法は初期サンプリングノイズを最適化します。ノイズを $\zeta = \mu + \sigma \odot \zeta_0$（ここで $\zeta_0$ はベースノイズ）としてパラメータ化し、Proprio スコアを最小化するために $\mu$ と $\sigma$ を勾配降法で更新します。KL 発散正則化子により、最適化されたノイズが元のガウス事前分布に近づくことが保証されます。

3. 主要な貢献

1. 生成器ネイティブな自己スコアリング： 凍結された生成器のノイズ除去残差を物理的妥当性の内在的代理として再利用するトレーニング不要のフレームワークの導入。これにより、外部報酬モデルの必要性が排除されます。
2. 推論時自己整合： この自己スコアを最適化目的に変換するメカニズム。生成器の重みを固定したまま、初期ノイズパラメータのみを更新することで出力を微調整します。
3. 実証的検証： テキスト・ツー・ビデオ（T2V）および画像・ツー・ビデオ（I2V）のベンチマークにおける一貫した改善の提示。単一の凍結された生成器がサンプリング器と自己評価器の両方として機能しうることを示しています。

4. 実験結果

著者らは、ランダム選択、VLM ベースのスコアリング（Qwen-7B）、および外部世界モデルベースライン（WMReward）と比較して、VideoPhy2（T2V）およびPhysics-IQ（I2V）ベンチマーク上で Proprio を評価しました。

• パフォーマンス向上：

  • TurboWan2.2において、Proprio は Physics-IQ を 32.2 から 37.5（+16.5%）に、VideoPhy2 ハード物理常識を 45.6 から 55.0（+20.6%）に向上させました。
  • Proprio は一貫して VLM ベースのスコアリングを上回り、特に物理常識（PC）指標において WMReward を凌駕することが多いです。
  • ハイブリッドスコアリングアプローチ（グローバルスコアと運動認識スコアの組み合わせ）は、意味的忠実度と物理的一貫性の間で最も堅牢なバランスを提供します。

• 人間による評価：

  • ペアワイズ比較において、人間の評価者は物理的妥当性の観点から、Proprio によって選択または微調整された動画を約**67%**のケースで好みました。
  • 視覚的品質は largely 維持されており、多くのケースで評価者がベースラインに対して強い不快感を示さなかったことから、改善が美観を犠牲にしていないことが示されています。

• アブレーションの洞察：

  • ノイズレベル： 最も情報量の多いスコアリングシグナルは、中程度のノイズ（サンプリングステップの 0.3〜0.6）から生じます。低ノイズは局所的すぎ、高ノイズはサンプル固有の構造を失います。
  • 分散重み付け： 逆分散重み付けは、安定した時間ステップを優先することで、非蒸留モデルにおけるパフォーマンスを大幅に向上させます。
  • 探索対微調整： 探索（Best-of-N）は、シーンの多様性が高いため T2V に対して非常に効果的です。同じ画像にアンカーされた候補が存在する I2V では、微調整がより支配的な役割を果たします。

5. 意義と主張

本論文は、凍結された動画生成器には、物理的妥当性を評価し改善するための実行可能な内部シグナルが含まれていると主張します。モデル自身のフロー残差を尤度・選好シグナルとして再解釈することで、Proprio は以下のことを実証しています：

• 物理的整合性のために外部評価器は厳密には必要ではない。生成器の内部ダイナミクスで十分である。
• 推論時のスケーリング（探索と微調整）は、再トレーニングなしで大幅な利益をもたらすことができる。
• この手法は視点の転換を提供する：将来のシステムは、外部の監督や補助的な報酬モデルに依存するのではなく、自己評価のために生成器内部のシグナルをますます活用するようになる可能性がある。

認められた限界：

• Proprio は、ベース生成器にエンコードされた知識によって制限される。モデルが学習していないダイナミクスを回復することはできない。
• 複数の候補スコアリングと微調整ステップの必要性により、推論コストが増加する。
• 勾配ベースの微調整は、計算上の実行可能性のために現在、蒸留されたモデルに依存している。大規模モデルにおける長いノイズ除去軌道を通じた逆伝播は依然として高価である。