技術的サマリー：単一因子物理的ビデオから音声への生成のベンチマーク評価

問題提起

現在の生成型ビデオから音声（V2A）モデルは、極めて説得力のあるサウンドトラックを生成しますが、それらが音声生成を支配する基礎的な物理プロセスを捉えているかどうかは不明のままです。既存の評価は、主に表面的な説得力や相関を測定する分布ベースおよび意味論的指標（例：FAD、CLAP）に依存しており、深い物理的理解を測るものではありません。その結果、これらのベンチマークは、モデルが物理的相互作用から音がどのように、またなぜ発生するかという因果的なダイナミクスを真にシミュレートしているかどうかを判断できません。核心的な問題は、現在のモデルが物理的視覚手掛かりから導き出すのではなく、テキストキャプションから物理や意味を推測する「ショートカット学習」に依存している可能性があり、これにより物理プロセスに対する視覚表現学習の根本的な欠陥が隠蔽されている点です。

手法

このギャップに対処するため、著者は制御された介入を通じて V2A モデルの物理的推論を検証するよう設計されたベンチマーク「FlatSounds」を導入します。手法は以下の 3 つの主要コンポーネントで構成されます。

1. データセット構築（FlatSounds）

著者は、日常的な物理的相互作用（例：タップ、こすり、楽器の演奏）を特徴とする 185 のユニークな屋内クリップのデータセットを編成しました。このデータセットは、2 つの補完的なテストモードに整理されています。

• 制御された反事実的ペア: ビデオを時間歪曲して衝撃のタイミングを正確に合わせます。これらのペアでは、単一の物理因子（例：材質、満腹度、環境、接触幾何学）を変化させ、他のすべての視覚的および時間的因子を固定します。これにより因果変数を分離し、生成されたオーディオが期待される方向に変化するかをテストします。
• 単一ビデオパターンテスト: これらは、単一のクリップ内の内部一貫性と方向的な傾向を探ります。例えば、上昇するピアノの鍵盤における単調なピッチ上昇のチェックや、繰り返される同一の衝撃における一貫性の確認などです。

2. 評価指標

このベンチマークは、相関ベースのスコアを超えて、物理に根ざした指標を採用します。

• 時間的整合性: Hit Coverage（注釈付きイベントの再現率）、Timing Error（ミリ秒単位の偏差）、Perfect Align（100% カバレッジを持つクリップの割合）を使用して、ビデオイベントと音声の開始との同期を測定します。
• 物理的正確性: 生成されたオーディオが操作された物理因子に正しく反応するかどうかを評価します。指標には以下が含まれます。
  • 時間的エンベロープ: 攻撃時間、減衰率、時間的変調。
  • 室内音響: 残響時間（RT60）と直接音対残響音比（DRR）。
  • スペクトル/音調構造: 基本周波数（F0）、スペクトル重心、スペクトルフラックス、スペクトルロールオフ。
• 信頼性スコアリング: 時間的整合性と意味論的妥当性（CLAP を通じて）に基づいて物理的正確性スコアに重み付けを行う「ソフトゲート」メカニズムにより、物理的傾向の評価には、説得力があり同期された生成のみが含まれるようにします。

3. 実験プロトコル

著者は、テキストキャプションありとなしの 2 つの条件下で、最先端モデル（FoleyCrafter、Hunyuan-V2A、MMAudio、ThinkSound）を評価しました。また、マルチモーダルパイプライン（Omni-captioner および Qwen3-VL）によって生成された物理認識キャプションで微調整された変種 MMAudio-Phys を導入し、明示的なテキストガイダンスが物理的推論を改善するかどうかをテストしました。

主要な結果

評価は、現在の V2A アーキテクチャにおける一貫したトレードオフと決定的なボトルネックを明らかにしました。

1. テキスト依存対視覚的理解: モデルは一般的に、テキストキャプションが提供された場合、より高い意味論的正確性と物理的正確性を達成します。しかし、この依存には大きなコストが伴います。キャプションは逆説的に時間的整合性を劣化させます。キャプションなしのモデルは、一貫してより良い Hit Coverage と低いタイミングエラーを示しており、テキストプロンプトが正確な視覚手掛かりとタイミングを巡って競合していることを示唆しています。
2. ピクセルからの物理学習の不可能性: キャプションがあっても、すべてのモデルにおける「物理的信頼性」スコアは低いままであります。これは、現在のビデオエンコーダが、材質の硬さや幾何学などの物理的特性をピクセルから直接効果的に抽出することを学習していないことを示しています。代わりに、モデルは意味的に正しい音を生成するために明示的なテキスト記述に依存して「不正」を行い、視覚手掛かりが唯一の入力である場合に内部物理エンジンをシミュレートすることに失敗しています。
3. 指標の難易度: スペクトル特性（例：スペクトルフラックス、重心）は、微細な時間的ダイナミクス（攻撃時間、減衰率）や環境の手掛かり（DRR）よりもモデルが捉えやすいです。
4. 人間との相関: 著者の物理ベース指標（信頼性、Hit Coverage、Perfect Align）は、Spearman $\rho \approx 0.9$ の強い相関を示し、彼らの特定のデータセットにおける人間の判断を予測する上で、FAD や DeSync などの標準指標を上回ります。

意義と主張

この論文は、この分野の中心的な課題が、単にオーディオ合成の品質を向上させることから、ピクセルから直接物理プロセスを内在化できるビデオエンコーダを構築することへと移行したと主張します。

• 評価の再定義: FlatSounds は、V2A 評価を「説得力」から「物理的正確性」へと再定義し、モデルが物理因子の制御された変化に対して因果的に反応するかどうかを検証するツールを提供します。
• アーキテクチャ的欠陥: 結果は、現在の視覚表現学習における根本的な弱点を露呈させます。モデルは視覚的物理学よりもテキストを優先する「無知なスクリプトリーダー」です。テキストが除去されると、音声生成のダイナミクスをシミュレートできず、物理に対する彼らの「理解」がしばしばプロンプトからの単なる鹦鹉返しであることを明らかにします。
• 将来の方向性: 著者は、真の進歩には、テキスト条件付き生成を超えて、観察のみから推論できる物理的世界モデルを学習し、ビデオストリームを「何を」生成するかだけでなく「いつ」生成するかという両方の主要な情報源として扱う必要があると論じています。

この論文は、現在のモデルが説得力のあるサウンドトラックを生成する点では印象的であるものの、真の世界シミュレーションに必要な堅牢な物理的推論を欠いており、このギャップを FlatSounds ベンチマークが体系的に定量化していると結論付けています。