技術概要：Unison – 人間中心のオーディオ・ビデオ生成のための運動、音声、音響の調和

1. 問題定義

本論文は、現実的で没入感のあるコンテンツの作成を阻害する、現在の人間中心のオーディオ・ビデオ生成モデルにおける 2 つの根本的な課題を特定しています。

1. オーディオ内干渉（音声の支配）: 既存のモデルは、オーディオストリーム内の異質な音響要素のバランスを取ることに失敗することが多いです。構造化された音声コンポーネントが、足音、楽器のストローク、環境雑音などの一時的な環境音を支配し、不明瞭にさせる傾向があり、平坦な聴覚シーンを生み出します。これは、「楽器を演奏しながら歌う」といったシナリオにおいて特に問題となります。この場合、モデルは音声と効果音（SFX）を分離し、バランスを取るメカニズムを欠いています。
2. クロスモーダルな不一致: 運動とオーディオの生成は、通常、明示的な同期目的を持たない暗黙的なアーキテクチャのクロスアテンションを通じてのみリンクされています。その結果、非同期のジェスチャー、リップ運動、および音響の開始が生じます。一部の最近の手法はフレームレベルの同期を達成していますが、明示的な一貫性制約が欠如していることが多く、視覚的動作とその対応する音響との間に時間的なドリフトが生じます。

2. 手法：Unison フレームワーク

Unison は、運動、音声、効果音を調和的かつ同期された方法で生成するために設計された統一フレームワークです。これは、フローマッチング（FM）の基盤上に構築され、拡散強制（DF）の原理を採用した双方向クロスアテンションを介して結合された双ブランチアーキテクチャ（ビデオとオーディオ）を採用しています。

2.1 アーキテクチャ概要

• 双ブランチ構造: このフレームワークは、Wan2.2-5B に基づくビデオブランチと、MMAudio を基盤とし、堅牢な音声生成を可能にする Zipformer を追加したオーディオブランチを利用します。
• 統合: ブランチは、ビデオとオーディオの潜在変数が相互のクエリとして機能し、シームレスな情報交換を促進するフレームレベルの双方向クロスアテンションを介して接続されます。
• 入力/出力: システムは、キャプション（$\kappa$）と文字起こし（$\tau$）を入力として受け取り、同期されたビデオ（$\nu$）とオーディオ（$\alpha$）を生成します。

2.2 解決策 1：セマンティック誘導調和戦略（オーディオストリーム）

オーディオ内干渉を解決するため、Unison は音声と効果音（SFX）の生成を、それらの相互作用を維持しつつ別々のストリームに分離します。

• 双方向オーディオクロスアテンション（Bi-ACA）: オーディオ潜在変数は、音声（$h^{sp}$）と効果音（$h^{sfx}$）コンポーネントからなる双ストリームテンソルとして表現されます。これらのストリームは、トランスフォーマーブロック内で「相互作用 - マージ - 分割」サイクルを経ます。これらは連結され、セマンティックな混乱を防ぐためにモダリティ固有のバイアスを備えた共有自己アテンションを介して処理された後、分割されます。重要なのは、Bi-ACA が 2 つのストリーム間で双方向クロスアテンションを実行し、視覚的手がかりのみに依存することなく、相互に特徴を洗練させ、音響的一貫性を確保することです。
• セマンティック条件付きゲーティング（SCG）: 無制限のコンテキスト注入を防ぐため、SCG はクロスストリームの更新を適応的に制御します。キャプション（$c_a$）と文字起こし（$c_s$）から導出されたグローバルセマンティックベクトルを使用して、ゲーティング係数（$g_{sp}, g_{sfx}$）を予測します。
  • narration（ナレーション）が支配的なシーンでは、SCG は音声の純度を維持するために SFX 特徴を減衰させます。
  • 複雑なサウンドスケープ（例：音楽パフォーマンス）では、非音声音響を豊かにするためにクロスストリームの影響を増幅させます。
• 監督: モデルは Mel-Roformer を使用して、混合オーディオを真の音声と SFX 潜在変数に分離し、独立したフローマッチング損失（$L_{sp}^{CFM} + L_{sfx}^{CFM}$）を介して双ストリームデコーダを最適化します。

2.2 解決策 2：双方向クロスモーダル強制戦略（運動 - オーディオ整合）

運動とオーディオの非同期化に対処するため、Unison はモダリティ間のノイズ除去進行を明示的に整合させるトレーニング戦略を導入します。

• 分離されたタイムステップ: 同一のタイムステップを使用する先行研究とは異なり、Unison は各モダリティに対して独立してタイムステップ（ビデオ用 $t_v$、オーディオ用 $t_a$）をサンプリングします。これにより、「よりクリーンな」モダリティ（ノイズレベルが低い）が「よりノイズの多い」方をガイドすることが可能になります。
• 方向性ガイド: 方向インジケータ（$d$）がどのモダリティが主導しているかを識別します。損失関数は動的に再重み付けされ、よりノイズの多いブランチを優先し、クロスモーダル条件付けを介してよりクリーンな対応物から強力な監督信号を抽出することを強制します。
• 段階的トレーニングカリキュラム: 安定性を確保するため、トレーニングは 3 段階のカリキュラムに従います。
  1. 同期ウォームアップ: 基礎的な整合性を確立するために $t_v = t_a$ を強制します。
  2. 段階的分離: ノイズギャップ（$|t_v - t_a| \leq 0.25$）に制約を設けた独立サンプリングを有効化します。
  3. 完全な独立性: 制約のない分離更新を採用します。
     この進行は、極端なノイズの差異に起因する最適化の不安定性を防ぎます。

3. 主要な貢献

1. 統一フレームワーク: 以前のオーディオ・ビジュアルモデルの緩い結合を超え、運動、音声、音を調和的に生成するために明示的にクロスモーダル一貫性を強制するUnisonを提案します。
2. セマンティック誘導調和: **双方向オーディオクロスアテンション（Bi-ACA）とセマンティック条件付きゲーティング（SCG）**を使用して音声と効果音の生成を分離する戦略を導入します。これにより、音響干渉を解決し、音声の支配を防ぎ、制御可能で階層化されたオーディオ生成を可能にします。
3. 双方向クロスモーダル強制: 分離されたノイズ除去スケジュールを介してよりクリーンなモダリティがよりノイズの多い方をガイドすることで時間的依存関係を強化する戦略を開発し、運動と音響の間のギャップを効果的に埋めます。

4. 実験結果

著者は、1,000 サンプルからなるキュレーションされたテストセット上で Unison を評価し、最先端のベースライン（Universe-1、UniAVGen、MOVA、LTX-2 など）と比較しました。

• 定量的パフォーマンス:
  • オーディオ忠実度: Unison は、知覚品質（PQ: 6.34）、コンテンツ有用性（CU: 5.61）、単語誤り率（WER: 0.22）で最高スコアを達成し、はるかに大きなパラメータ数を持つモデル（例：Unison の 5B ビデオバックボーン対 LTX-2 の 19B）を上回りました。
  • 同期性: このモデルは優れたクロスモーダル一貫性を示し、最高の DeSync（DS: 0.08）スコアと競争力のある Lip-Speech 同期（LSE-C: 3.30）スコアを達成しました。
• 定性的改善:
  • 視覚的比較により、ベースラインが音声の支配や効果音の欠如に苦しんでいた場所（例：ギターと歌のバランス）で、Unison が調和した音声と効果音を正常に合成していることが示されました。
  • 除去実験により、セマンティック誘導調和戦略を除去するとオーディオ品質が大幅に低下し、クロスモーダル強制戦略を除去すると時間的非同期（DS が 0.19 に上昇）が急増することが確認されました。
• ユーザー調査: 25 名の参加者による調査において、Unison は全体的な好意的評価で優位となり、音声 - 音響の調和と運動 - オーディオの整合性において最高位にランクインしました。

5. 意義と主張

本論文は、Unison がモダリティ間の時間的特性の異質性を明示的に解決することにより、人間中心のビデオ生成に対する原理的なアプローチを確立すると主張しています。

• バランスの取れた聴覚シーン: 音声と効果音を分離することにより、環境音が人間の声によって抑制されないことを保証し、知覚的なリアリズムを向上させます。
• 堅牢な同期: 双方向クロスモーダル強制戦略は、オーディオとビデオが相互に強化し合う安定したトレーニング環境を作り出し、巨大なパラメータスケーリングに依存することなく、より tight な時間的対応を実現します。
• 柔軟性: 対称的な設計により、双方向生成（オーディオからビデオ、ビデオからオーディオ）が可能となり、マルチモーダルコンテンツ作成のための統一モデルとしてのフレームワークの適応性を示しています。

著者は、明示的なマルチモーダル調和が次世代の生成 AI にとって不可欠であり、Unison のアーキテクチャ上の革新が高精度なオーディオ・ビジュアル相関を効果的に捉えていると結論付けています。