技術要約: EchoFoley および EchoVidia

1. 問題提起

近年の進歩にもかかわらず、現在のビデオ・トゥ・オーディオ（VT2A）生成モデルは、きめ細かなクリエイティブな制御を妨げる3つの決定的な限界に直面しています：

1. 視覚的優位性（Visual Dominance）: 視覚的キューとテキストによる条件付けの間に不均衡が生じており、モデルは視覚的な手がかりに過度に依存し、特定のテキスト指示を無視してしまう傾向があります。
2. 微細な定義の欠如: 既存のアプローチには、特定の音響イベントを制御するための具体的な定義が欠けています。指示は（「猫の鳴き声」のようなカテゴリタグではなく）、どのイベントを修正すべきか、それがいつ発生するか、あるいはその属性（ピッチ、音量、音色）がどのように変化すべきかを指定するような詳細なものにはなっていません。
3. 指示遂行能力の弱さ: 現在のデータセットは短いタグに依存しているため、複雑で多段階の指示（例：「2回目の鳴き声をライオンの咆哮に変更して」や「直前の音をすべて大きくして」）への追従性が低くなっています。

著者らは、クリエイティブなストーリーテリングには、単なるビデオレベルではなく、イベントレベル（特定の音の分離）で音を操作する能力が必要であると主張しています。これにより、特定の音響イベントの挿入、編集、属性変更といった操作が可能になります。

2. 手法

A. タスク定式化: EchoFoley

本論文では、ビデオに基づいたサウンド生成のための新しいタスクとして、EchoFoley（Event-Centric Hierarchical cOntrol）を導入しています。

• 記号的表現（Symbolic Representation）: コアとなる革新は、音響イベントのための構造化されたタプル表現 $e = (t, d, p)$ です。
  • $t = (t_{start}, t_{end})$: 時間的位置。
  • $d$: セマンティックな記述（主体、動作、対象）。
  • $p$: 制御可能なオーディオ特性（音色、ピッチ、強度、空間性）。
• 階層的制御（Hierarchical Control）: タスクは以下の3つのレベルで構成されます：
  • インスタンス・レベル（Instance Level）: 単一のイベントを制御（例：「2回目の鳴き声を変える」）。
  • グループ・レベル（Group Level）: 関連するイベントを調整（例：「すべての鳴き声を変形させる」）。
  • ビデオ・レベル（Video Level）: 全体的な音響プロファイルを形成。
• 制御タイプ: 時間的（いつ／持続時間）、音色（何／アイデンティティ）、および音量（強さ／距離感）。

B. ベンチマーク: EchoFoley-6k

このタスクを支えるために、著者らは大規模で専門家によって精査されたベンチマークである EchoFoley-6k を構築しました。

• 規模: 6,018個のビデオ–指示–アノテーションのトリプレット、および42,000個の微細な音響イベント・アノテーション。
• キュレーション・パイプライン: ビデオは VGGSound と PE Video Dataset からサンプリングされています。プロセスには、モーション・フィルタリング、フレーム・キャプショニング、LLMによるストーリー提案、および時間的境界や聴覚的属性を精緻化するための厳格な人間による修正が含まれます。
• 評価スイート: 自動メトリクス（Temporal IoU、音色のための CLAP 類似度、音量のための相対的な大きさ）と、人間による評価（指示への忠実度、音響・視覚的一貫性、知覚的品質）が含まれます。

C. 提案フレームワーク: EchoVidia

既存モデルの限界に対処するため、著者らは Slow-Fast Thinking Strategy を備えた、トレーニングフリーのエージェント的フレームワークである EchoVidia を提案しています。

• Slow-Fast Thinking: 二重過程理論（dual-process cognition）に着想を得ています：
  • Fast Thinking (速い思考): 高レベルの構造を捉えるために、1 fps でビデオを分析します。
  • Slow Thinking (遅い思考): 精密なイベントのローカライズと属性推論を行うために、16 fps（時間的に引き伸ばされた状態）でビデオを分析します。
• エージェント型アーキテクチャ: フレームワークは以下の3つのステージで構成されます：
  1. 推論 (Reasoning): VideoLLM ベースのエージェントが、音響イベントを特定し、タイミングを推定します。
  2. 設計 (Design): エージェントは、12個の原子的な操作（視覚的推論、サウンドデザイン、生成）からなる「アクション・プール」を用いて、記号的なイベント・プランを構築し、反復的に洗練させます。
  3. 合成 (Synthesis): 完成した記号的表現は、視覚的およびテキスト的なコンテキストの両方に条件付けられたオーディオをレンダリングするために、サウンド生成モジュールに渡されます。

3. 主な貢献

1. EchoFoley タスク: 音がいつ、何を、どのように生成されるかを指定する記号的表現によって定義される、ビデオに基づいたイベント中心の階層的制御のための新しいパラダイム。
2. EchoFoley-6k ベンチマーク: 6,000以上のトリプレットと42,000以上のイベントを含む、高密度にアノテーションされたデータセット、および制御性と品質のための体系的な評価スイート。
3. EchoVidia フレームワーク: トレーニングフリーの、Slow-Fast Thinking を用いたエージェント的フレームワークであり、最近の VT2A ベースラインと比較して、制御性、セマンティックな整合性、および知覚的品質を大幅に向上させている。

4. 実験結果

EchoFoley-6k において、8 つの最新の VT2A モデル（MMAudio、ThinkSound、HunyuanVideo-Foley を含む）と比較して評価を行いました：

• 制御性 (Controllability): EchoVidia は、制御性において最強のベースラインを 40.7% 上回りました。
  • 時間的制御 (Temporal Control): 0.72 (ベースラインの ~0.43 に対し)
  • 音色制御 (Timbre Control): 0.78 (ベースラインの ~0.48 に対し)
  • 音量制御 (Volume Control): 0.75 (ベースラインの ~0.69 に対し)
• 知覚的品質 (Perceptual Quality): EchoVidia は、知覚的品質スコアにおいて 12.5% の向上を達成しました。
• 指示への忠実度 (Instruction Adherence): 人間による評価では、EchoVidia は指示への忠実度において 3.80/5.0 を獲得し、ベースライン（多くの場合 2.60 未満）を大幅に上回り、モデルがテキスト指示を無視してしまう「視覚的優位性バイアス」を効果的に排除しました。
• イベント認識 (Event Awareness): Slow-Fast (SF) 戦略は、音響イベントの検出とローカライズを大幅に向上させました。例えば、Gemini-2.5 Pro モデルにおいて、SF は Recall を 0.66 から 0.83 へ、ローカライズの IoU を 0.51 から 0.84 へ向上させました。

5. 重要性と主張

本論文は、EchoFoley と EchoVidia が、粗いビデオレベルのプロンプティングから、きめ細かなイベントレベルの制御への転換を象徴していると主張しています。記号的表現と Slow-Fast 推論戦略を導入することで、本研究は以下を可能にします：

• 分離された制御 (Disentangled Control): 複雑なシーン内の他の音に影響を与えることなく、特定の音を分離して修正する能力。
• 忠実な指示遂行 (Faithful Instruction Following): 視覚的優位性を減少させ、ユーザーの要求通りに複雑なマルチ属性の編集（例：ピッチ、音量、タイミングを同時に変更する）を実行することを可能にします。
• クリエイティブなストーリーテリング: 本フレームワークは、「物語を形作る想像力（story-shaped imagination）」の合成をサポートします。ここでは、音は単なる背景レイヤーではなく、感じられる物語を変えるために編集可能な、能動的な物語要素となります（例：猫の鳴き声をライオンの咆哮に変えることで、魔法のような物語を作り出す）。

著者らは、本研究を、現実世界のマルチモーダルな豊かさを高い忠実度と制御性を持って理解し、再現できる「オムニモーダル生成インテリジェンス」への一歩として位置づけています。