技術サマリー：NAVA - 生成のためのネイティブ音声・視覚アライメント

問題定義

音声・動画の同時生成は、時間的に同期し、意味的に一貫した視覚・音響コンテンツを合成することを目的としています。商用システム（Seedance、Kling、Veo など）は潜在能力を示していますが、そのアーキテクチャは依然として非公開です。オープンソース研究は主に 2 つのパラダイムに従ってきましたが、どちらも重大な限界を有しています：

1. デュアルタワー設計：これらの手法は音声と動画を別々のストリームで生成し、後段階のアライメントモジュールを通じてのみクロスモーダルな相互作用を導入します。この「事後アライメント」は、音声と動画の微細な共進化を弱め、同期を統合された生成表現ではなく、補助モジュールに依存させることになります。
2. 完全に統合されたトリモーダル設計：これらのアプローチは、テキストコンテキスト、音声、動画トークンを単一の共有アテンション空間に混合します。直接的な相互作用を可能にしますが、この設計は高レベルの意味条件付けと低レベルの音声・視覚同期を結合してしまいます。その結果、意味ガイダンスと時間的アライメントが同じ空間で最適化され、専用の同期構造の形成を妨げる可能性があります。

核心的な課題は、意味的な制御性を犠牲にしたり、膨大なパラメータ数を必要としたりすることなく、正確なイベントレベルの対応関係と時間的一貫性を達成することです。

手法：NAVA フレームワーク

著者は、音声・視覚の同期を外部コンテキスト条件付けから解離させるフレームワーク「NAVA（Native Audio-Visual Alignment）」を提案します。その中核となる哲学は、まず専用の相互作用空間で音声・動画の対応関係を確立し、その後、外部コンテキストを用いて結合されたノイズ除去プロセスを条件付けることです。

1. 定式化：コンテキスト条件付きネイティブアライメント

デュアルタワー手法（別々の生成後にアライメントする）や完全に統合された手法（すべてのトークンを混合する）とは異なり、NAVA は同期と条件付けの役割を分離します：

• ネイティブ同期：音声トークン（$h_a$）と動画トークン（$h_v$）は、コンテキストトークンなしで、専用空間において自己アテンションを介して相互作用します：$[h'_a, h'_v] = \text{SelfAttn}([h_a, h_v])$。これにより、音響パターンと視覚的ダイナミクスが共進化することを可能にします。
• 外部条件付け：テキストや音色の手がかりを含むコンテキストトークン（$c$）は、初期アライメントの後にクロスアテンションを介して注入されます：$[\tilde{h}_a, \tilde{h}_v] = \text{CrossAttn}([h'_a, h'_v], c)$。

2. アーキテクチャ：Align-then-Fuse MMDiT

NAVA は、段階的な設計を備えた修正版マルチモーダル拡散トランスフォーマー（MMDiT）を用いて具体化されます：

• 階層的アライメント層（初期）：最初の 10 ブロックはモダリティ非依存アライメント投影を使用します。音声と動画は時空間構造やトークンレートが異なるため、これらの層は、結合された自己アテンションを適用する前に、モダリティ固有の投影を用いて異種トークンを共有相互作用空間にマッピングします。これにより、初期段階の対応関係学習が安定します。
  • トークンレート処理：音声のローテート位置エンベディングは、動画トークンと時間座標を合わせるために再スケーリングされます（$\theta_{rope} = TR_v / TR_a$）。
• 統合融合層（後期）：残りの 20 ブロックはモダリティ共有統合投影を使用します。対応関係が確立された後、音声と動画トークンは生成パラメータを共有し、コンパクトな協調的なノイズ除去を促進します。コンテキストは、学習された同期を乱すことなく軌道を調節するために、クロスアテンションを介して外部に保持されます。

3. コンテキスト内音色条件付け

制御可能な音声音色（例：複数話者の対話）を達成するために、NAVA はプロンプト構造内の特定の音声スパンに参照音色の手がかりをバインドするメカニズムを導入します。

• 参照音色エンベディングは抽出され、コンテキストトークンとして扱われます。
• これらのトークンは、特定の音声セグメントに対応するテキストプロンプトシーケンスに直接挿入されます（例：$\langle S \rangle, s_i, \text{Text}(S_i), \langle E \rangle$）。
• これにより、補助的な話者制御ブランチやバックボーンの修正なしに、柔軟なコンテンツと音色のバインディングが可能になります。

4. 学習と推論

• 段階的マルチタスク学習：モデルは 3 つの段階で学習されます：(1) 音声のみデータとペアデータを組み合わせて音声経路を初期化；(2) 高品質な音声と完全な音声・動画データを用いて忠実度と同期を向上；(3) 指示追従と複雑な制御のためにキュレーションされたデータでファインチューニング。
• 構造化ドロップアウト：ランダムなクロスモーダルアテンションマスキングと音色トークンのドロップを用いて、ガイダンスのためのペア化された条件付き/無条件パスを作成します。
• 条件因子化クラスフリーガイダンス（CFG）：推論中は、3 つの異なるガイダンス方向が計算され、組み合わせられます：
  • $\Delta_{text}$：テキストへの準拠。
  • $\Delta_{align}$：音声・視覚同期（音声・動画クロスアテンションをマスキングすることにより）。
  • $\Delta_{timbre}$：音色の保持（音色トークンをドロップすることにより）。
    これにより、再学習なしに同期と音色を独立して制御することが可能になります。

主要な貢献

1. NAVA フレームワーク：事前学習済みの動画バックボーンを用いて、イベントレベルの対応関係モデリングを可能にする、コンテキスト条件付きアライメントとして結合生成を定式化するネイティブ音声・視覚アライメント手法。
2. Align-then-Fuse MMDiT：モダリティ認識型アライメントからモダリティ共有型ノイズ除去へ遷移するアーキテクチャであり、同期の安定性と協調的生成の効率性のバランスを取ります。
3. コンテキスト内音色条件付け：参照手がかりをコンテキスト経路に直接統合するセグメントレベルの音色制御のための新規メカニズムであり、補助ブランチなしで複数話者の生成をサポートします。
4. 性能：広範な実験により、NAVA はより大規模なベースラインと比較して、著しく少ないパラメータ数（63 億）で優れた同期と動画品質を達成することが示されました。

実験結果

定量的評価（Verse-Bench）

NAVA（63 億パラメータ）は、はるかに大規模なモデル（100 億〜320 億）を上回るか、それと競合する性能を示しました：

• 同期：最高の Sync-C（7.791）と最低の Sync-D（7.566）を達成し、優れた口形と音声の一致を示しました。
• 動画品質：比較モデルの中で最高の 0.659（IB）をスコアしました。
• 音声品質：最低の単語誤り率（WER）0.099 を達成し、競争力のある制作品質（PQ）とフレシェット距離（FD）を示しました。
• 効率性：NAVA は、すべての比較音声・動画モデルの中で最も少ないパラメータ数（63 億）を使用しながら、トップクラスの性能を提供しています。

音色制御性（Seed-TTS）

Seed-TTS ベンチマークにおいて、NAVA は話者類似度66.7%、WER4.20を達成しました。

• 音声・動画ベースラインである DreamID-Omni（類似度 35.7%、WER 31.76）を大幅に上回りました。
• 音声のみのモデル（例：CosyVoice2：類似度 65.2%）と競争力のある性能を維持し、同時生成が本質的に音色制御を劣化させないことを示しました。

定性的評価とユーザー調査

• 可視化：NAVA は、動的な動き、音楽パフォーマンス、複数話者の対話、ショット遷移を含む複雑なシナリオで、同期されたコンテンツの生成に成功しました。
• ユーザー調査（GSB プロトコル）：Ovi-1.1、LTX-2.3、daVinci に対するペアワイズ比較において：
  • T2AV：NAVA は総合品質において、Ovi に対して 67.5%、LTX に対して 60.0%、daVinci に対して 80.0% の勝率を記録しました。音声・視覚アライメントにおいても、さらに決定的な勝利（62.5%〜72.5%）を収めました。
  • TI2AV：NAVA は、ほとんどのベースラインに対してアライメントにおいて明確な優位性を示し、総合品質においても競争力がありました。

意義と主張

本論文は、NAVAが、同期メカニズムを意味条件付けから解離させることで、重要な前進を成し遂げたと主張しています。コンテキストを適用する前に専用のアライメント空間を確立することで、モデルは、デュアルタワー（弱い共進化）と完全に統合された（制御の絡み合い）パラダイムに内在するトレードオフを回避します。

著者は、この「ネイティブ音声・視覚アライメント」アプローチが以下を可能にすると主張しています：

• 正確なイベントレベルの対応関係：話者の口唇運動やシーン依存の音響を、生成軌道内で直接モデル化すること。
• スケーラビリティと効率性：コンパクトな 63 億パラメータモデルで最先端の結果を達成すること。
• 柔軟な制御：コンテキストベースの音色バインディングを通じて、構成的な複数話者生成を可能にすること。

著者は、長尾イベント（稀な動物の音、複雑な音楽の混合など）の生成における限界を認め、将来の研究では、結合トークナイザーや統合表現モデルを介したより深い音声・視覚の結合を探求できる可能性を指摘しています。しかし、彼らは、解離されたコンテキスト条件付きのネイティブアライメントが、スケーラブルで制御可能な音声・動画生成のための有望な方向であると結論付けています。