WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

本論文は、テキスト、音声、動画を統一された埋め込み空間で表現し、任意のモダリティ間検索やプロンプト対応埋め込み生成を可能にする新たなマルチモーダル LLM ベースのモデル「WAVE」を提案し、複数のベンチマークで最先端の性能を達成したことを報告しています。

要約

🌊 WAVE：言葉、音、映像を一つにまとめる「万能な翻訳者」

この論文は、**「WAVE（ウェーブ）」**という新しい AI 技術について紹介しています。

簡単に言うと、WAVE は**「言葉（テキスト）、音（オーディオ）、映像（ビデオ）」という、これまでバラバラだった 3 つの異なる世界を、たった一つの「共通言語」で理解し、つなぐことができるすごい AI**です。

これまでの AI は、それぞれ専門分野ごとに「言葉の専門家」「音の専門家」「映像の専門家」が別々に存在していました。でも、WAVE はこれらをすべて一人でこなす**「万能の通訳者」**のような存在なんです。

---

🎒 1. WAVE が解決した「大きな悩み」

これまでの AI には 2 つの大きな問題がありました。

1. バラバラの辞書: 言葉、音、映像をそれぞれ別の辞書（モデル）で理解していたので、例えば「映像から音を探す」ような複雑な作業が苦手でした。
2. 指示に従えない: 「この映像の『悲しい雰囲気』を説明して」とか「『冒険』に関連する音を探して」といった、ユーザーの具体的な指示（プロンプト）に合わせて答えを変えることができませんでした。

WAVE は、これらをすべて解決しました。
まるで、世界中のあらゆる言語を話すことができる一人の天才通訳者が、あなたの「この映像の『ワクワク感』を言葉で説明して」という指示を聞いて、即座に最適な答えを返してくれるようなものです。

---

🏗️ 2. どうやって作られたの？（仕組みの秘密）

WAVE がこれほど優秀な理由は、2 つの工夫にあります。

① 「階層的な融合」：料理の味付けのように

AI は、映像や音を処理する際に、何層もの「フィルター」を通します。

• 下の層は「形や音の波」といった細かい情報を捉えます。
• 上の層は「物語や感情」といった大きな意味を捉えます。

これまでの AI は、最後の層（上の層）の情報だけを使いがちでした。でも、WAVE は**「すべての層の情報を集めて、混ぜ合わせる」**という工夫をしています。

🍳 アナロジー:
美味しいスープを作る時、最後の味付け（上の層）だけでなく、出汁（下の層）や具材の旨味（中間層）もすべて鍋に入れて、最後に「融合モジュール」という魔法のスプーンでかき混ぜることで、深みのある完璧な味を作り出しています。

② 「二重の耳」：音の専門家 2 人組

WAVE は音の処理に、2 つの異なる「耳（エンコーダー）」を使っています。

1. 話している声に特化した耳。
2. **環境音（雨音、車の音など）**に特化した耳。

これらを組み合わせて、音のあらゆる側面を捉えています。

---

🎓 3. どのように勉強したの？（トレーニング）

WAVE は、ただ「映像と文字を合わせる」だけでなく、**「あらゆる組み合わせ」**で勉強しました。

• 映像 ↔ 文字
• 音 ↔ 文字
• 映像 ↔ 音
• 映像 + 音 ↔ 文字

さらに、**「質問に答える（QA）」**という課題も一緒に勉強しました。

🎓 アナロジー:
普通の学生は「歴史のテスト」だけ勉強します。でも、WAVE は「歴史、地理、数学、音楽」を同時に勉強し、さらに「先生からの質問に即答する練習」もしました。
その結果、**「この映像で『悲しみ』が表現されているのはなぜ？」という質問に対して、単に「泣いている人がいる」と答えるのではなく、「悲しい音楽と暗い映像が組み合わさっているから」**と、文脈を理解した答えを返せるようになったのです。

---

🏆 4. どれくらいすごいのか？（実績）

WAVE は、世界のトップレベルのテストで**最高成績（SOTA）**を叩き出しました。

• 動画検索: 「この動画を探して」と言うと、映像だけでなく、その動画に合う「音」や「説明」も完璧に探し出せます。
• 質問に答える: 映像を見て「このシーンで何が起こっている？」と聞かれたら、文脈を理解して正解を導き出します。
• 既存のモデルより強い: 従来の「映像専門」「音声専門」の AI を組み合わせたものよりも、はるかに高性能です。

特に面白いのは、**「指示に従う力」**です。
「この動画の『冒険』な部分を説明して」と指示すると、WAVE は冒険に関連する部分に焦点を当てた「特別な意味のまとまり（埋め込み）」を作ります。これにより、ユーザーの意図に合わせた検索や分析が可能になります。

---

🚀 まとめ：WAVE が未来にどう役立つか？

WAVE は、「言葉、音、映像」の壁を取り払った最初の AIです。

これからの未来では、以下のようなことが簡単にできるようになるかもしれません：

• 「この動画の雰囲気に合う音楽を自動で見つけて流す」
• 「聞こえない音（環境音）から、映像の出来事を推測する」
• 「ユーザーの質問に合わせて、映像のどの部分に注目して説明するかを変える」

WAVE は、マルチメディア（映像・音声・テキスト）の世界を一つにまとめ、私たちがより直感的に、便利に AI と付き合える未来の**「新しい基盤」**を作ったのです。

---

🔗 参考:
この研究は、コードやモデルを公開しており、誰でも利用可能です。
（GitHub: https://github.com/TCL606/WAVE）

技術概要

WAVE: 多モーダル LLM による統合的かつ汎用的な音声・視覚埋め込み学習の技術的サマリー

本論文は、ICLR 2026 にて発表された「WAVE (Unified & Versatile Audio-Visual Embeddings)」に関する研究です。この研究は、テキスト、音声、動画（サイレント動画および音声付き動画）を単一の意味空間にマッピングする、初の LLM ベースの埋め込みモデルを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義と背景

従来のマルチモーダル埋め込みモデルは、通常、各モーダル（テキスト、画像、音声など）ごとに独立したエンコーダを持ち、それらを共通空間にアライメントするアプローチ（例：CLIP 系）が主流でした。しかし、近年の大規模言語モデル（LLM）やマルチモーダル LLM（MLLM）の発展により、単一のモデルで全てのモーダルを処理し、統合的な埋め込みを生成するパラダイムが注目されています。

既存の MLLM ベースの埋め込み研究は主に静的画像に焦点が当てられており、動的なモーダルである「音声」と「同期した音声・視覚ストリーム」の統合的な表現学習は未踏査でした。また、従来の埋め込みモデルはタスクに依存しない汎用的な表現しか生成できず、ユーザーの指示（プロンプト）に応じた文脈に特化した埋め込みを生成する能力に欠けていました。

2. 提案手法：WAVE

WAVE は、Qwen2.5-Omni をベースとした、テキスト、音声、サイレント動画、同期音声・視覚入力を統合的に処理する MLLM です。

2.1 モデルアーキテクチャ

• マルチモーダル入力処理:
  • テキスト: LLM 固有の埋め込み層を使用。
  • 視覚: 事前学習済みの視覚エンコーダから動画フレームを抽出し、視覚トークンに変換。
  • 音声: デュアルエンコーダ構造を採用。音声認識（Speech）と環境音・音声イベント（Audio Event）をそれぞれ捉える 2 つのエンコーダを使用し、補完的な情報を取得します。
  • 入力順序: 音声のみ、視覚のみ、音声・視覚の同期入力など、入力タイプに応じたトークンのインターリーブ（交互配置）戦略を採用しています。
• 位置エンコーディング: 時系列構造を捉えるため、Qwen2.5-Omni で導入された「時間整合型マルチモーダル回転位置エンコーディング（TMRoPE）」を使用し、フレームと音声フレームの時間的整合性を保証します。
• 特徴融合戦略:
  • 従来の「最後のトークンプーリング（Last-token pooling）」に加え、階層的な特徴融合を採用しています。
  • LLM の全レイヤー（Layer 1 から Layer N）からの最終トークン出力を収集し、これらを連結して軽量な融合モジュール（2 層の MLP）に入力します。これにより、低レベルの知覚的手がかりと高レベルの意味的抽象化の両方を埋め込みとして保持します。
  • テキストのみの場合は標準的な最後のトークンプーリングを維持します。

2.2 学習戦略

WAVE は、マルチモーダル・マルチタスクの联合学習によって訓練されます。

1. マルチモーダル検索タスク:
   • テキスト、音声、動画、音声・動画の任意の組み合わせ（Any-to-Any）で対となるデータを使用。
   • バッチ内の負のサンプルを用いた対照学習（InfoNCE Loss）により、異なるモーダル間の意味的整合性を学習します。
2. 質問応答（QA）タスク:
   • ユーザーの質問（プロンプト）を含むマルチモーダル入力と、正解のテキストを対として学習。
   • 不正解の回答（ダミー）を含まれるように設計され、モデルがプロンプトの指示に従って文脈に特化した埋め込みを生成することを強制します。

3. 主要な貢献

1. 初の汎用音声・視覚埋め込み MLLM:
   • テキスト、音声、サイレント動画、同期音声・視覚入力を単一の意味空間に統合する初のモデル。
   • 複雑な「Any-to-Any」クロスモーダル検索（例：テキスト→動画、動画→音声など）で高い性能を発揮します。
2. プロンプト対応型（Prompt-Aware）埋め込み:
   • MLLM の指示追従能力を活用し、ユーザーのタスク固有のプロンプトに基づいて埋め込みを生成します。これにより、マルチモーダル QA などのタスクで、従来のタスク非依存モデルを大幅に凌駕する性能を示しました。
3. 効果的なアーキテクチャ設計:
   • 階層的特徴融合: 複数の LLM レイヤーからの情報を集約することで、安定した性能向上を実現。
   • デュアル音声エンコーダ: 音声と環境音を分離して捉えることで、埋め込みの表現力を強化。

4. 実験結果

WAVE は、MMEB-v2（動画ベンチマーク）や LoVR、AudioCaps、VGGSound などの主要ベンチマークで SOTA（State-of-the-Art）を達成しました。

• 動画ベンチマーク (MMEB-v2):
  • 動画トラックの総合スコアで、産業レベルのモデル「Seed-1.6-Embedding」をも凌駕し、オープンソースモデルの中で最高性能を記録しました。
  • 動画検索（RET）、分類（CLS）、動画 QA などのサブタスクすべてで他モデルを上回りました。
• 音声・音声視覚ベンチマーク:
  • AudioCaps や Clotho での音声検索性能で、従来の分離エンコーダ型モデルを上回りました。
  • 動画→音声検索や動画→音楽検索といった、テキストを介さない直接的なクロスモーダル検索タスクでも、専用エンコーダ型モデルを大幅に上回る結果を示しました。
• プロンプト対応性の検証:
  • 動画 QA タスクにおいて、一般的なプロンプト（「動画を説明してください」）ではなく、具体的な質問をプロンプトとして与えた場合、WAVE の性能は劇的に向上しました（Seed-1.6-Embedding より平均 12% 高い精度）。これは、WAVE が指示に敏感な埋め込みを生成できることを証明しています。
• アブレーション研究:
  • 联合学習の有用性: 各モーダル・タスクごとに個別に学習したモデルと比較し、全モーダルを联合学習した WAVE の方が、7 つのタスク中 8 つで優位な性能を示しました。これは、モーダル間の知識転移が有効であることを示唆しています。
  • 特徴融合: 最終レイヤーのみのプーリングと比較し、全レイヤーの特徴を MLP で融合する手法が、動画検索タスクでより高い精度を達成しました。

5. 意義と結論

WAVE は、音声と視覚の統合表現学習において新たな基盤を確立しました。その主な意義は以下の点にあります。

• 汎用性の向上: 単一のモデルで多様なモーダルとタスク（検索、分類、QA）を処理可能にし、システム設計の複雑さを削減します。
• 指示追従による柔軟性: ユーザーの意図（プロンプト）に応じて埋め込みを動的に調整できるため、複雑なマルチモーダル理解タスクへの適用可能性が広がります。
• クロスモーダル応用の可能性: テキストを介さない直接的な音声・視覚間のマッピングを可能にし、新しいタイプの検索や推薦システムの開発を促進します。

本論文は、コードとチェックポイントを公開しており、クロスモーダル・Any-to-Any アプリケーションの発展に向けた重要な一歩となっています。