技術サマリー：SpongeBob – 同期認識型調和音響視覚生成編集

1. 問題定義

既存の動画編集手法は、視覚モダリティと聴覚モダリティを別々に扱う非結合パイプラインに依存するのが一般的である。拡散モデルが視覚編集を革新した一方で、現在の音響視覚編集アプローチは、2 つのパラダイム、すなわちカスケード型パイプライン（まず動画を編集し、その後音声を生成する）または学習不要戦略（一方向の条件注入）に分類される。両方のパラダイムは、ノイズ除去プロセス中の双方向相互作用の欠如という構造的限界に苦しんでいる。これにより、主に 2 つの失敗モードが生じる：

1. 音響視覚の非同期化：編集された口唇運動、動作の開始、音響イベントがフレームレベルでずれる（例：口が開いた後に発話が始まるなど）。
2. 文脈的競合：新たに生成された音が編集されていない環境を無視し、対象外の話者の発話の重複や、対話における元のターンテイク構造の破綻といった意味論的衝突を引き起こす。

さらに、エンドツーエンドの編集器を学習することは歴史的にデータ課題によって阻まれてきた：（編集前コンテンツ、編集後コンテンツ、編集指示）からなる対トリプレットの不足である。そのようなデータはウェブコーパスにおいて大規模には存在せず、手動収集は著しく高コストである。

2. 手法：SpongeBob フレームワーク

SpongeBob は、統一されたノイズ除去ステップ内で双方向のクロスモーダル相互作用を備えた、初のエンドツーエンド音響視覚結合編集フレームワークとして提案される。これは、編集タスクを自己教師ありのインペインティング問題として再定式化し、編集前/編集後のペアではなく、通常の音響視覚クリップとテキスト記述のみを必要とする。

コアアーキテクチャ

モデルは、Wan2.2-TI2V-5B に基づくデュアルストリーム拡散トランスフォーマー（DiT）を利用する。

• ビデオストリーム：参照画像、マスク付き動画（コンテキスト）、および視覚ノイズの複合潜在変数を入力とする。
• 音声ストリーム：音声記述、発話テキスト、およびベース音声（環境音）を条件として、対象音声（対象者の孤立した音）を再構成する。
• 推論ロジック：ユーザーはマスク領域に対する新しいテキスト記述を提供する。モデルはこの新しいプロンプトに基づいて信号を再構成しつつ、編集されていないコンテキストを保持する。

主要技術コンポーネント

A. 同期認識型編集メカニズム

フレームレベルの同期を達成するために、このメカニズムは 3 つの次元を通じて視覚編集を音響イベントと整合させる：

1. 時間対応（RoPE 整合）：トークン数の違いにもかかわらずクロスモーダル時間等価性を強制するため、3 方向時間整合戦略が用いられる。参照画像はインデックス 0 にアンカーされる。条件および対象動画トークンは同一のインデックス $[1, N_t]$ を共有する。音声トークンは連続的な仮想位置 $p^{(j)}_a = j \cdot (N_t/N_a)$ にマッピングされ、サブフレーム同期を達成する。
2. 空間制約（マスク誘導非対称ルーティング）：
   • 音声からビデオへ：音響特徴は、対象マスク $M$ 内の視覚トークンに厳密に注入され、音声駆動の更新が背景に漏れることを防ぐ。
   • ビデオから音声へ：音響特性はグローバルコンテキストによって形成されるため、グローバル受容野を維持する。
3. 双方向アテンション：ノイズ除去中に、動画運動、対象音、および音響コンテキスト間で継続的な情報交換が行われる。

B. 文脈認識モジュール

保持されたコンテンツとの競合を防ぐため、2 つのゼロ初期化クロスアテンション層を導入する：

1. 視覚コンテキストアテンション：対象音声ストリームはマスク付き動画特徴（$z_{cond}$）にアテンションし、生成された音声に編集領域を超えた視覚シーンを認識させる。
2. 音響コンテキストアテンション：対象音声ストリームは、ソース分離後のベース音声（$b$）にアテンションする。これにより、モデルはリアルタイムで対象外の話者や環境ノイズを認識し、重複を避けるためにエネルギーとタイミングを適応させる。

C. 同期保持学習とガイダンス（SPTG）

SPTG は、特定の学習および推論戦略を通じて品質を低下させることなく整合性を強化する。

• マルチタスク整合学習：モデルは動的ルーティングを伴う 4 つのモードで共同学習される：
  1. 結合編集：すべての条件を用いた標準的なノイズ除去。
  2. 音声駆動：クリアな音声（$t_a=0$）が動画ノイズ除去をアンカーする。
  3. 動画駆動：クリアな動画（$t_v=0$）が音声ノイズ除去をアンカーする。
  4. コンテキスト・ヌル：ベース音声または視覚コンテキストアテンションなしで学習し、ベースライン予測を学習する。
• 2 段階推論ガイダンス：
  • 段階 1（コンテキスト競合解決）：Context CFG（完全条件付き予測とコンテキスト・ヌル予測の比較）を使用して、生成された音が編集されていないコンテンツを尊重することを保証する。
  • 段階 2（時間同期強化）：Sync CFG（結合編集と音声駆動/動画駆動経路の比較）を使用して、フレームレベルの時間対応を洗練させる。

データエンジニアリング

データ不足の問題を解決するため、著者らはラベルなしウェブ動画から大規模な対象レベルデータセット（40 万サンプル、約 390 時間）を生成するスケーラブルなデータパイプラインを構築した。パイプラインは以下の工程を含む：

1. 動画収集と分類（50 以上の音響カテゴリ）。
2. マルチモーダルソース識別（前景対背景）。
3. テキスト誘導音声分離（対象対残差）。
4. 多次元品質検証（LLM-as-Judge、ASR 検証、漏洩チェック）。
5. インスタンセグメンテーション（Grounding DINO + SAM2）。
6. 音声品質、マスクの有効性、残差の清浄さに基づく結合フィルタリング。

3. 実験結果

著者らは、Speech-Video、Sound-Video、Complex Scene のサブセットにまたがる 700 件のテストサンプルを備えた体系的な評価スイートSpongeBob-Benchを導入した。

性能指標

SpongeBob は、すべての次元において既存のベースライン（AvED、VACE-Foley、VACE-Coherent、AVI-Edit）を上回る：

• 音響視覚同期：Sync-C を 30% 改善（最良のベースライン AVI-Edit の 3.45 対 4.50）し、Sync-D を 15.1% 削減（10.28 対 8.73）。
• 文脈一貫性：Ctx-F1 を 12.5% 改善（0.72 対 0.81）し、G-Score を 6.2 から 7.6 に向上。
• 品質：優れた動画品質（FVD 285.93、BG 0.951）および音質（PQ 6.45、CLAP 0.238）を達成。
• 汎化：外部 AvED-Bench において、SpongeBob は最良のベースラインと比較して AC を 2.9% 改善し、FVD を 5.6% 削減。

アレーション研究

• マスクルーティングおよび時間統合を除去すると、Sync-C は 3.18 に低下し、空間的および時間的制約の必要性が確認される。
• 文脈認識モジュールを除去すると、Ctx-F1 は 0.75 に低下し、対象外の話者との重複を避ける上でのその重要な役割を示す。
• SPTGを除去すると、すべての指標が劣化し、クロスモーダル整合には標準的な CFG では不十分であることが検証される。

4. 意義と主張

本論文は、SpongeBob が非結合のカスケード編集からエンドツーエンド結合編集への根本的な転換を表すと主張している。その意義は以下の点にある：

1. 問題の再定式化：不可能なトリプレットを必要とする教師ありタスクから、通常のクリップで解決可能な自己教師ありインペインティングタスクへと、対象レベルの音響視覚編集を成功裏に再構成したこと。
2. アーキテクチャ革新：統一された拡散プロセス内での双方向クロスモーダル相互作用が、視覚運動と音響イベントの間の知覚的ギャップを埋め、非同期化と文脈的競合を防ぐために必要であることを実証したこと。
3. データスケーラビリティ：以前はデータ不足によって阻まれていたタスクの学習を可能にする、スケーラブルなパイプラインと大規模データセットを提供したこと。

著者らは、高品質な音響視覚編集には、単に個別に学習されたモデルを組み合わせるのではなく、空間的、時間的、および音響的次元にわたって慎重に設計されたクロスモーダル情報フローが必要であると結論づけている。