技術要約：テキストからの動画生成における物理的および意味的な直接選好最適化（PSDPO）

1. 問題提起

テキストからの動画（T2V）生成モデルは、視覚的なリアリズムにおいて大きな進歩を遂げているが、基本的な物理原則に頻繁に違反するという課題を抱えている。直接選好最適化（DPO）を中心とした選好ベースの整列手法は、ペア比較を通じて物理的な妥当性を向上させる有望なアプローチとして浮上しているが、ある決定的な失敗モードを導入してしまう：それは**意味的なドリフト（semantic drift）**である。

核心的な問題は、教師信号における構造的な非対称性に起因する：

• 物理的な妥当性： 通常、相対的な比較（2つの動画のうち、どちらが物理法則に従っているかを判断する）によって評価される。このプロセスは、どちらの動画がプロンプト固有のオブジェクトやシーンを忠実に描写しているかを本質的に検証するものではない。
• 意味的な一貫性： 自然に、サンプルごとの評価（動画がテキストと一致しているかを確認する）として扱われる。

標準的なDPOは、物理的に好ましいサンプルは意味的にも妥当であることを前提としている。しかし、実証的な分析によれば、物理的な選好ペアの50%以上において、「物理的に優れている」と判定された動画が、実際にはプロンプトの意味的な制約（例：レモンのスライスではなく、丸ごとのレモンを描写しているなど）に違反していることが明らかになった。標準的なDPOがこれらの「衝突ペア（conflict pairs）」に対して最適化を行うと、モデルは物理的には妥当だが意味的には一貫性のない解へと向かってしまい、結果として不安定な収束とテキスト・動画間のアライメントの劣化を招く。

2. 手法：PSDPO

著者らは、物理的な整列を制約付き最適化問題として扱うフレームワークである**物理的および意味的な直接選好最適化（PSDPO）**を提案する。PSDPOは、補助モデル、追加の損失項、またはアーキテクチャの変更を必要とせず、完全に標準的なDPOの枠組み内で動作する。

2.1 制約付き定式化

本手法は、物理的に好ましい動画（$y_w$）が、拒絶された動画（$y_l$）と同等以上の意味的一致スコア（$S_{sem}$）を維持するという意味的な実現可能性制約の下で、DPO損失を最小化するように目的関数を定式化する。
$$\min_{\theta} L_{DPO}(\theta) \quad \text{s.t.} \quad S_{sem}(y_w, x) \geq S_{sem}(y_l, x)$$

2.2 非対称な変調

違反するペアを単純に排除（フィルタリング）するのではなく（これでは貴重な物理的教師信号を破棄してしまうことになる）、PSDPOは、滑らかで厳密に正の変調関数 $\mathcal{W}(\Delta S)$ を導入する。ここで、$\Delta S = S_{sem}(y_w, x) - S_{sem}(y_l, x)$ である。

• 一致ペア（Match Pairs, $\Delta S \geq 0$）： 重みは1.0となり、標準的なDPOの挙動を回復する。
• 衝突ペア（Conflict Pairs, $\Delta S < 0$）： 重みは非対称指数関数を用いて減衰される：$\mathcal{W}(\Delta S) = \exp(\Delta S / \tau)$。

このメカニてもしくはメカニズムは、物理的な選好が意味的な一貫性と衝突するペアの勾配寄与を、温度パラメータ $\tau$ によって制限された範囲内で比例的に抑制する。

2.3 勾配分析とドリフト制御

勾配レベルの分析により、制約のないDPOは衝突ペアから系統的な方向バイアス（ドリフト）を導入することが示されている。PSDPOはこのドリフトを制御可能な残留値に抑え込む。さらに、学習を通じた累積的なドリフトを軽減するために、著者らは段階的最適化プロトコルを導出している：

1. ステージ1： 「一致ペア」（$D_{match}$）のみを用いて学習を行い、ドリフトの蓄積がない安定した選好表現を確立する。
2. ステージ2： 変調された重みを持つ「衝突ペア」（$D_{conf}$）を導入し、制御された方法で残留する物理的信号を抽出する。

2.4 物理的常識評価（PCE）システム

必要な選好データを生成するために、著者らは階層的な推論パイプライン（Qwen3-VLを使用）に基づくPCEシステムを開発した。これは以下の要素を組み合わせたものである：

1. 物理現象パーサー： テキストから核となる物理的事象を特定する。
2. 補助的な幾何学的指標： Depth AnythingやRAFTなどのツールを使用して、フローの大きさや深度の不安定性を推定する。
3. 階層的推論： 幻覚（ハルシネーション）を起こすことなく物理法則と指標を検証するMLLMジャッジ。これは、相対的な物理的妥当性において人間による判断と75.54%の一致率を達成している。

3. 主な貢献

1. 構造的失敗の特定： 本論文は、物理的・意味的な衝突が、単なるデータのアーティファクトではなく、意味的な忠実度のチェックなしに相対的な物理比較に依存することによって生じる、選好ベースのT2V整列における系統的な傾向であることを特定した。
2. PSDPOフレームワーク： 変調メカニズムを介して意味的な実現可能性を学習目的に統合する、新しい制約付き選好最適化手法であり、補助モデルを必要としない。
3. 理論的保証： 衝突ペアからの意味的ドリフトをPSDPOが抑制することを証明する勾配レベルの分析、および累積ドリフトを確実に減少させる段階的プロトコルの導出。
4. PCEシステム： 絶対的なスコアリングやスタンドアロンのMLLMよりも、人間の判断との一致において優れた、物理的選好データセット構築のための堅牢な評価システム。

4. 実験結果

実験はWan-1.3Bモデルを用い、VBench、VideoPhy-2、およびPhyGenBench上で実施された。

• 物理的妥当性： PSDPOは、VideoPhy-2においてベースラインに対し最大2倍の物理的妥当性の向上を実現した（例：「Hard」サブセットのスコアを0.039から0.078へ向上）。
• 意味的一貫性： 意味的な忠実度を低下させるVanilla DPOとは異なり、PSDPOはVBenchにおける意味的スコアを維持または向上させた（合計スコア：Vanilla DPOの82.79に対し、PSDPOは84.13）。
• SOTAとの比較： PSDPOは、複数のベンチマークにおいて既存の選好ベースの手法（VideoDPO, PhysHPO, RDPO）および特化した物理学認識手法（PhysGen, PhyMAGIC）を凌駕し、物理的リアリズムと意味的一致のより優れたバランスを達成した。
• アブレーション研究：
  • 変調スケール ($\tau$)： $\tau=0.02$ が最適なバランスを提供し、物理的学習を維持しつつ意味的な遵守を大幅に回復させた。
  • 段階的学習： （全3,000ステップのスケジュールの中で）切り替えステップ（$T_s$）を1,000ステップとすることで、初期の安定性と後の物理的信号抽出のバランスが最も良く取れた。

5. 意義と主張

本論文は、原理的な定式化が理論的な健全性と実用的な単純さの両方をもたらし得ることを示している。物理的および意味的な教師信号の間の構造的な非対称に対処することで、本手法は既存のアプローチよりも信頼性の高いバランスを実現している。

著者らは、彼らのアプローチが以下の特性を持つことを強調している：

• 標準的なDPOの枠組み内で完全に動作する。
• 補助モデル、追加の損失項、またはベースアーキテクチャの変更を必要としない。
• 推論時に外部の物理シミュレータやChain-of-Thought推論に依存しない（一部の競合手法とは異なる）。
• 物理的妥当性の向上と意味的一貫性の維持という間の緊張関係を解決することに成功しており、これは物理的に根ざした動画コンテンツを生成するための重要なステップである。