AudioX: A Unified Framework for Anything-to-Audio Generation

本論文は、テキスト・動画・音声など多様なモダリティ入力を統合的に処理する「Multimodal Adaptive Fusion」モジュールを中核とし、700 万件以上の大規模高品質データセット IF-caps を用いて訓練された、あらゆる入力から高品質な音声を生成する統一フレームワーク「AudioX」を提案し、その卓越した性能を実証しています。

要約

この論文は、**「AudioX（オーディオエックス）」**という新しい AI 技術について紹介しています。

一言で言うと、**「テキスト（文章）、動画、既存の音など、どんな情報でも与えれば、そこから素晴らしい音や音楽を作り出すことができる『万能な音の魔法使い』」**のようなものです。

これまでの AI は、「文章から音を作る」「動画から音を作る」といったように、得意分野が一つだけでした。しかし、AudioX はそれらをすべて一つにまとめて、さらに「指示通りに音を作る」という高度な芸当もできるようになりました。

以下に、日常の例えを使って詳しく解説します。

---

1. これまでの問題点：「料理の専門家」ばかりだった

これまでの音を作る AI は、まるで**「寿司職人」「パスタの名人」「ケーキの達人」**のように、それぞれが自分の得意分野しかできませんでした。

• 「寿司職人（テキスト→音）」は、おにぎりの作り方は完璧ですが、パスタは作れません。
• 「パスタの名人（動画→音）」は、パスタは作れますが、ケーキは作れません。

また、材料（データ）もバラバラで、職人が使う材料が限られていたため、複雑な料理（指示通りの音）を作るのが難しかったのです。

2. AudioX の正体：「何でも作れる天才シェフ」

AudioX は、**「何でも作れる天才シェフ」**です。

• どんな材料でも OK： 料理のレシピ（テキスト）、料理の風景（動画）、すでに出来ている料理の一部（既存の音）など、どんな情報を与えても、それらを組み合わせて美味しい料理（高品質な音）を作れます。
• 一つの厨房で完結： 寿司もパスタもケーキも、このシェフ一人（一つのモデル）で全て作れてしまいます。

3. 成功の秘密 1：「超優秀な助手」の存在（MAF モジュール）

この天才シェフが、複数の材料（テキスト、動画、音）を同時に扱っても混乱しないのは、**「超優秀な助手（MAF モジュール）」**がいるからです。

• 役割： 材料が混ざり合って味が台無しにならないよう、助手が「この材料は少し控えめに」「あの材料は強調して」と**調整（重み付け）**をしてくれます。
• 効果： 例えば、「雨の音」と「車のクラクション」を同時に作ると言われたとき、助手が「雨の音は静かに、クラクションは鮮明に」と調整することで、音がごちゃごちゃにならず、自然な音になります。

4. 成功の秘密 2：「膨大なレシピ本」の作成（IF-caps データセット）

天才シェフが腕を磨くためには、練習用のレシピ本が必要です。これまでのレシピ本は「寿司のレシピ」しか載っていなかったり、量が少なかったりしました。

そこで研究チームは、**「IF-caps（アイ・エフ・キャップス）」という「700 万ページを超える超巨大なレシピ本」**を作りました。

• 作り方： まず AI（Gemini など）に動画を見てもらい、「ここで犬が 2 回吠えている」「次に車の音がする」といった詳細なメモを書かせます。
• 強化： さらに別の AI（Qwen2-Audio）に、そのメモを元に「犬が 2 回吠える」という意味を、様々な言い方で表現させます（「2 匹の犬が吠えた」「ワンワンと 2 回鳴いた」など）。
• 効果： これにより、AI は「犬が 2 回吠える」という指示に対して、単に「犬の音」を出すだけでなく、「2 回」という数やタイミングまで正確に守れるようになります。

5. 驚きの結果：「指示通り」に音を作るのが得意

これまでの AI は、「音そのものの質」は良かったのですが、「指示通りに作る」のが苦手でした。

• 例： 「まず犬が吠えて、次に車が通る音」と指示しても、「車→犬」のように順番が逆になったり、「犬が 5 回吠えてしまう」ことがありました。

しかし、AudioX はこの**「指示通り（インストラクション・フォロイング）」**が非常に得意です。

• テスト結果： 「犬が 2 回吠える」「雷が 3 回鳴る」「1 秒後に音が始まる」といった細かい指示も、ほぼ完璧に守って音を作ることができます。
• 比喩： 以前の AI が「なんとなく美味しい料理」を作っていたのに対し、AudioX は「注文通り、塩味を少し薄く、具材を 3 個にして、盛り付けを左に寄せて」という完璧なオーダーを聞き分けて料理を作れるようになったのです。

まとめ

この論文は、**「バラバラだった音を作る AI を一つにまとめ、700 万ページもの練習データで鍛え上げ、細かい指示にも完璧に応える『万能な音の魔法使い』を作った」**という画期的な成果を発表したものです。

これにより、映画の音作りやゲームの BGM、動画の効果音など、クリエイターが「ここはこんな音が欲しい」と思えば、すぐにそれを形にできる未来が近づいたと言えます。

技術概要

AudioX: 任意のマルチモーダル入力から音声・音楽を生成する統合フレームワーク

技術サマリー（日本語）

本論文は、ICLR 2026 に受理された「AudioX」という、テキスト、ビデオ、音声など多様なマルチモーダル信号から高品質な音声や音楽を生成する統合フレームワークを提案する研究です。既存の音声生成モデルが特定のタスク（例：テキスト→音声のみ）や入力モダリティに限定されている課題を解決し、柔軟な制御信号による「Anything-to-Audio」生成を実現します。

1. 背景と課題 (Problem)

近年、音声・音楽生成はマルチメディア制作において重要な要素となっていますが、既存のアプローチには以下の重大な制約がありました。

• モデルの分断: 既存のモデルは、テキストから音声（T2A）、ビデオから音声（V2A）、テキストから音楽（T2M）など、特定のタスクや入力モダリティに特化しており、単一のフレームワークでこれらを統一的に扱えるモデルは不足していました。
• データ不足: 統合モデルを訓練するための高品質なマルチモーダルデータセットが存在しませんでした。既存のデータセットは特定のタスク（例：テキストのみ、またはビデオのみ）に特化しており、多様な制御信号の組み合わせを学習させるには不十分でした。
• 指示追従性の欠如: 既存のモデルは、音声の品質は高いものの、複雑な指示（イベントの順序、個数、タイミングなど）を正確に守る能力（Instruction-following）が弱かった。

2. 提案手法：AudioX (Methodology)

AudioX は、Diffusion Transformer (DiT) を基盤とし、以下の主要な技術的要素を組み合わせた統合フレームワークです。

A. 大規模高品質データセット「IF-caps」の構築

統合モデルの訓練を可能にするため、構造化された注釈パイプラインを用いて「IF-caps (Instruction-Following captions)」という大規模データセットを構築しました。

• 規模: 総計 700 万超のサンプル（一般音声 130 万、音楽 570 万）。
• 生成パイプライン:
  1. 初期注釈: 強力なマルチモーダル LLM（Gemini 2.5 Pro）を用いて、動画・音声クリップから包括的なキャプションと構造化フィールド（イベント分類、個数、時間的関係、音響イベント検出など）を生成。
  2. データ拡張: オープンソースモデル（Qwen2-Audio）を用いて、初期注釈を基に多様な表現でキャプションを拡張し、言語的多様性と指示追従能力の強化を図る。
• 特徴: 単なるキャプションだけでなく、イベントの「順序（Ordering）」「個数（Count）」「時間的関係（Time Relation）」を明示的に記述した微細な注釈が含まれています。

B. モデルアーキテクチャ

• 基盤: 高忠実度な音声合成を可能にする Diffusion Transformer (DiT) をバックボーンとして採用。
• マルチモーダルアダプティブフュージョン (MAF) モジュール:
  • 異なるモダリティ（テキスト、ビデオ、音声）からの信号が干渉する問題を解決するため導入された軽量モジュール。
  • ゲート機構: 各モダリティの機能をフィルタリングし、ノイズを抑制して有益な情報を保持。
  • 学習可能なクエリによるクロスアテンション: 異なるデータストリーム間の証拠を評価・集約する専門家として機能。
  • 自己アテンション: 集約された文脈を統合し、モダリティ固有の出力を調整。
  • これにより、マルチモーダル入力間の整合性を高め、生成品質と指示追従性を大幅に向上させます。

C. 訓練戦略

• 欠落したモダリティにはゼロパディングまたは自然言語記述（例：「ビデオに合わせた音楽を生成」）を代入することで、単一モデルで多様なタスク（T2A, V2A, TV2A, T2M, V2M, 音声インペインティング、音楽補完など）を学習。
• クロスモーダル正則化効果: 高品質なテキスト教師信号による訓練が、テキスト以外のモダリティ（例：ビデオ→音声）の整合性向上にも寄与し、全体的な性能を高めることが発見されました。

3. 主要な貢献 (Key Contributions)

1. AudioX フレームワークの提案: テキスト、ビデオ、音声など多様な入力から音声・音楽を生成する、制約のない統合フレームワーク。
2. IF-caps データセットの構築: 700 万サンプルを超える、微細な注釈（順序、個数、タイミングなど）を含む大規模マルチモーダルデータセット。
3. MAF モジュールの設計: 多様なモダリティを効果的に融合し、クロスモーダルの干渉を抑制する軽量なアーキテクチャ。
4. T2A-bench の構築: 音声生成モデルの指示追従能力（カテゴリ、個数、順序、タイムスタンプの精度）を厳密に評価するための新しいベンチマークと自動評価パイプライン。

4. 実験結果 (Results)

AudioX は、広範なタスクとベンチマークにおいて最先端（SOTA）またはそれに匹敵する性能を示しました。

• 総合性能: AudioCaps, VGGSound, MusicCaps などの主要ベンチマークにおいて、Inception Score (IS) や Fréchet Audio Distance (FAD) などの指標で、既存の専門モデル（AudioLDM-2, Stable Audio Open, Tango 2 など）を上回る性能を達成。
• 指示追従性 (Instruction-Following):
  • 提案した T2A-bench および AudioTime ベンチマークにおいて、カテゴリ精度、個数精度、順序精度、タイムスタンプ精度のすべてで他モデルを大幅に上回りました。
  • 特に、イベントの順序や個数を正確に制御する能力において、従来のモデルが苦手とするタスクで顕著な改善が見られました。
• 多様なタスクへの汎用性: テキスト・ビデオ・音声の組み合わせ（TV2A, TV2M）や、音声インペインティング、音楽補完タスクにおいても、単一モデルで高い性能を発揮しました。
• ユーザー調査: 音声専門家による主観評価（OVL: 全体の品質、REL: 指示との関連性）でも、多くのタスクで SOTA 性能を記録しました。

5. 意義と結論 (Significance)

本論文は、音声生成分野において「単一モデルによる汎用的な生成」と「微細な指示制御」を両立させる重要な進展を示しました。

• データとアーキテクチャの相乗効果: 高品質な構造化データ（IF-caps）と、モダリティ間の干渉を抑制する MAF モジュールの組み合わせが、統合モデルの成功の鍵であることを実証しました。
• クロスモーダル正則化: 高品質なテキストデータが、他のモダリティ間の整合性向上にも寄与するという発見は、今後のマルチモーダル生成研究に対する重要な示唆を与えています。
• 応用可能性: 映画制作、ゲーム、ソーシャルメディアなど、多様なシナリオで柔軟な音声・音楽生成を可能にし、クリエイティブな表現の幅を大きく広げる可能性があります。

AudioX は、音声生成が特定のタスクに限定される時代から、任意の条件で高品質かつ正確な音声を生成できる「汎用モデル」の時代への転換点となる研究です。コードとデータセットは公開予定です。