技術概要：PhyDetEx – T2V モデルの物理的妥当性の検出と説明

1. 問題提起

最近のテキストから動画（T2V）モデルは、視覚的品質、時間的整合性、および指示追従において顕著な進歩を遂げ、物理的ダイナミクスをシミュレート可能な「世界モデル」としての候補に位置づけられています。しかし、これらのモデルは、現実的な記述でプロンプトを与えられた場合でも、物体の貫通、運動量の不整合、エネルギー保存則の違反など、基本的な物理法則に反するコンテンツを頻繁に生成します。

物理的妥当性に関する現在の評価手法は、主に 2 つの限界に直面しています：

1. ルールベースのプロンプト：これらは事前に定義されたシナリオに限定され、汎用性に欠けます。
2. エンドツーエンドの検出器：妥当性スコアを割り当てることができますが、解釈可能性が欠如しており、なぜ違反が発生したかを説明できないことが多くあります。

さらに、強力な推論能力を備えたビジョン・ランゲージモデル（VLM）が汎用的な評価者として探求されてきました。しかし、予備的な調査により、最先端の VLM でさえ、T2V 出力における物理的に妥当でないコンテンツを検出することに苦労していることが明らかになりました。この失敗は、主に実世界のデータで主に訓練された VLM が、明示的にそうでないと指示されない限り、入力動画を物理的に妥当であると仮定するバイアス、あるいは「実写」対「生成」を区別するなどの近道に依存し、物理的整合性を分析しないことに起因しています。

2. 手法

2.1. PID データセットの構築

適切な訓練データの欠如と VLM のバイアスに対処するため、著者らは訓練分割とテスト分割からなる**物理的不妥当性検出（PID）**データセットを構築しました。

• 訓練分割（2,588 対の動画）：

  • ソース：大規模な実世界の T2V データセットである VIDGEN-1M から派生。
  • 構築：妥当なキャプション（$t_r$）を持つ各実世界の動画（$v_r$）について、LLM が特定の物理的不可能事象（$t_g$）を導入するようにキャプションを書き換え、他のすべての文脈要素を保持します。その後、T2V モデルが $t_g$ から妥当でない動画（$v_g$）を生成します。
  • 設計目標：これにより、イベントの物理的妥当性のみが異なる対照ペアが作成され、対象概念が孤立し、モデルが背景やシーンレイアウトに基づく近道を学習するのを防ぎます。
  • フィルタリング：VLM を使用して、生成された動画が意図された物理的違反を正確に反映していることを検証します。

• テスト分割（500 動画）：

  • 構成：物理的に妥当でない動画 250 本と、物理的に妥当な動画 250 本。
  • 妥当でないサブセット：通常の（妥当な）プロンプトを使用して各種 T2V モデルから収集されたもので、モデルが意図せず違反を生成したものです。これらは違反の説明付きで手動で注釈付けされています。
  • 妥当なサブセット：実世界の動画と高品質な T2V 生成の混合です。この設計により、「実写」対「生成」という近道を排除し、モデルがデータセットの起源ではなく物理法則について推論することを強制します。

2.2. PhyDetEx：ファインチューニングアプローチ

著者らは、ベース VLM（Qwen2.5-7B）に適用される軽量なファインチューニング戦略であるPhyDetEx（物理的妥当性検出器および説明者）を提案します。

• 訓練目的：モデルは、対照的な動画ペアの妥当なメンバーと妥当でないメンバーを区別するように訓練されます。目標は、VLM が共有文脈（$c_{share}$）ではなく、物理的イベント内容（$c_{phys}$）のみに依存することを強制することです。
• 監督：訓練には標準的な言語モデル（LM）目的が使用されます。各動画 - キャプションペアに対して、モデルは二値判断（[YES] または [NO]）で始まり、それに続いて違反または遵守された物理原則の自然言語による説明が続くトークンシーケンスを生成します。
• 効率性：このアプローチは、パラメータ効率の良いチューニングのための LoRA（低ランク適応）を利用し、最小限の計算コストで済みます。

3. 主要な貢献

1. PID データセット：物理的不妥当性検出のために特別に設計された包括的なベンチマーク。対照的な訓練分割と、一般的な評価の近道を回避する厳格なテスト分割を備えています。
2. VLM の限界の分析：本論文は、VLM が潜在的な物理的知識を保有しているものの、入力動画の真正性に関するバイアスによりそれを適用できないことを実証しています。動画が AI 生成であることを明示的に伝えられた場合、その性能は大幅に向上し、ターゲットを絞った訓練の必要性を示唆しています。
3. PhyDetEx モデル：物理的違反を検出するだけでなく、解釈可能なテキストによる説明を提供できる、軽量でファインチューニングされた VLM。
4. T2V モデルのベンチマーク：物理法則への遵守を評価するために、PhyDetEx を使用して最先端の T2V モデル（オープンソースおよびクローズドソースの両方）を体系的に評価しました。

4. 実験結果

4.1. 検出性能

PID テスト分割と既存の「Impossible Videos」ベンチマークの両方で評価したところ、PhyDetEx は既存の VLM（InternVL、LLaVA、MiniCPM-V、および各種 QwenVL バージョンを含む）を大幅に上回りました。

• 指標：PhyDetEx は、妥当なコンテンツと妥当でないコンテンツの両方を検出するバランスの取れた能力と、正確な説明を提供する能力を示す、最高の F1 スコアと推論スコアを達成しました。
• 比較：ベースラインモデルはしばしば「妥当」と予測する強いバイアスを示し（妥当な動画では高い精度を達成するが、妥当でない動画ではほぼゼロの精度）、PhyDetEx は「Impossible Videos」ベンチマークで87.8%、PID テスト分割で**83.5%**の F1 スコアを達成しました。

4.2. T2V モデルのベンチマーク

PhyDetEx を評価者として使用し、著者らはいくつかの T2V モデルを評価しました：

• クローズドソース：Sora 2.0は、最も高い物理的妥当性（レート 86.0%、スコア 32.62）を示し、Veo 3.1（レート 72.0%）を大幅に上回りました。
• オープンソース：WanX 2.1やHunyuanVideoなどのモデルは中程度の性能を示しました。特に、WanX 2.1 1.3Bは、より大規模なモデルと同等の高い妥当性率を達成し、視覚忠実度が低くても、単純な動作生成は物理的違反の可能性を低減する可能性を示唆しています。
• 一般的な発見：クローズドソースモデルは進歩を遂げましたが、物理法則の理解と遵守は、特にオープンソースシステムにおいて依然として大きな課題です。

4.3. モデル改善への応用

著者らは、**直接選好最適化（DPO）**のための報酬モデルとしての PhyDetEx の有用を実証しました。PhyDetEx を使用して T2V モデル向けの選好ペア（妥当な動画対妥当でない動画）を生成することにより、WanX 2.1 1.3Bを正常にファインチューニングし、外部ベンチマーク（VideoPhy）における物理的常識と意味的整合性の向上を実現しました。

5. 意義と主張

本論文は、視覚的に印象的であるにもかかわらず、現在の T2V モデルは物理的世界のダイナミクスに対する堅牢な理解を欠いていると主張しています。この研究の意義は以下の点にあります：

• 評価の転換：視覚的品質指標を超え、解釈可能性を備えた厳格な物理的妥当性評価へと移行すること。
• VLM の可能性の開拓：VLM が大規模な事前訓練を必要とするのではなく、慎重に構築されたデータに対する対照的ファインチューニングを通じて、潜在的な物理的知識を解き放つことができることを実証すること。
• 世界モデルの進展：クローズドソースモデルが「世界モデル」の能力に近づいている一方で、オープンソースモデルは物理的推論において依然として大きく遅れをとっており、将来の T2V 開発における主要なボトルネックを特定すること。

著者らは限界を認め、PhyDetEx は複雑なまたは視覚的ではない物理的シナリオにおいて依然として幻覚を生じうる可能性があり、将来的な研究では検出能力をさらに強化するためにマルチモーダル情報（例：音声）の統合が有益である可能性があると指摘しています。