💬 NLP

Efficient and High-Fidelity Omni Modality Retrieval

この論文は、テキスト、画像、音声の 3 つのモダリティを統合して複雑なクエリに対応する初の検索モデル「OmniRet」を提案し、効率的なリサンプリングと細部を保持するプーリング手法によって計算効率と表現忠実度を向上させるとともに、新しいオーディオ中心のマルチモーダルベンチマーク「ACM」を構築してその性能を検証したものです。

原著者： Chuong Huynh, Manh Luong, Abhinav Shrivastava

公開日 2026-03-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chuong Huynh, Manh Luong, Abhinav Shrivastava

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「OmniRet（オムニレト）」**という新しい AI 技術について説明しています。

一言で言うと、「テキスト（文字）、画像（写真）、音声（音）」の 3 つをすべて同時に理解し、自由自在に検索できる、超高性能な「万能検索エンジン」の設計図です。

これまでの AI は、「画像と文字」や「音声と文字」のように、2 つの組み合わせしか扱えませんでした。しかし、OmniRet は「犬の鳴き声の動画」と「もっと悲しそうに鳴いている動画」のように、複数の感覚を混ぜ合わせた複雑な質問にも答えられるように進化しました。

この技術を、わかりやすい 3 つのアイデアで解説します。

1. 問題点：「情報過多」と「情報漏れ」のジレンマ

この研究が解決しようとしたのは、2 つの大きな悩みです。

悩み A：情報が多すぎてパンクする（計算効率の問題）
- 例え話： Imagine you are a librarian (図書館司書) trying to read a 1,000-page book (1000 ページの本) in just one second.
- 画像や動画、音声は、AI にとっては「数千ページもの本」のような大量のデータです。これをすべて AI の脳（大規模言語モデル）に読み込ませようとすると、処理が重すぎて、一度に多くの本を並べて勉強（学習）することができません。
悩み B：要約しすぎて中身がなくなる（表現の忠実さの問題）
- 例え話： Imagine trying to describe a delicious, complex cake (複雑で美味しいケーキ) using only one word (1 つの言葉).
- 大量のデータを「1 つの数字（ベクトル）」にまとめると、AI は「美味しいケーキ」という全体像は覚えますが、「チョコの粒がサクサクしている」といった細かいニュアンスを忘れてしまいます。これでは、似たようなケーキの中から「あのサクサクしたチョコのケーキ」を見つけるのは不可能です。

2. 解決策：OmniRet の 2 つの魔法

OmniRet は、この 2 つの悩みを解決するために、2 つの新しい「魔法の道具」を使っています。

魔法その 1：「賢い要約係（Shared Media Resampler）」

役割： 1000 ページの本を、**「重要な 10 行の要約」**に短く変える人です。
仕組み： 画像や音声のデータを、AI が処理しやすい「コンパクトな形」に圧縮します。
すごい点： 単に削るだけでなく、**「多様性」**を保ちます。例えば、要約する時に「同じようなことばかり書かないように」というルール（多様性損失）を設けることで、本全体の「味」や「特徴」を失わずに、短くまとめることができます。これにより、AI は一度に多くの本を並べて勉強できるようになり、学習効率が劇的に向上します。

魔法その 2：「高解像度の記憶庫（Attention Sliced Wasserstein Pooling）」

役割： 1 つの言葉で説明するのではなく、**「ケーキの断面図」**を記憶する方法です。
仕組み： 従来の AI は、情報を 1 つの点（ベクトル）にまとめようとしましたが、OmniRet は、情報を「スライス（切り分け）」して、複数の視点から捉えます。
すごい点： 「チョコの粒」「生地の柔らかさ」「甘さ」など、細かい特徴をすべて保持したまま、1 つの検索用データにまとめます。これにより、「サクサクしたチョコのケーキ」のような、非常に細かい違いまで見分けることができるようになります。

3. 新しいテスト：「音に特化したテスト（ACM ベンチマーク）」

この研究チームは、AI の性能を測るための新しいテストも作りました。
これまでのテストは「画像と文字」中心でしたが、OmniRet は「音」も得意にしたいと考え、**「音の検索」**に特化したテスト（ACM ベンチマーク）を作成しました。

新しい質問例：
- 「犬が吠えている動画」＋「もっと悲しそうに吠えるように変更して」→「悲しそうに吠える犬の動画」を探す。
- 「サイレンが鳴っている音」＋「犬の鳴き声に変わって」→「犬の鳴き声」を探す。

このテストで、OmniRet は他の AI を大きく引き離す結果を出しました。特に、複数の感覚（音＋文字＋映像）を組み合わせた複雑な質問に強みを見せました。

まとめ：なぜこれが重要なのか？

OmniRet は、「効率性（速さ）」と「忠実さ（細かさ）」の両立という、これまで不可能だと思われていた課題を解決しました。

現実世界での活用例：
- RAG（検索拡張生成）： 「あの、昨日の会議で流れた『悲しげな音楽』が入っている動画の 3 分目を探して」といった、複雑な自然な言葉で情報を検索できるようになります。
- レコメンド： 「この写真の雰囲気だけど、もっと『雨の日の音』が聞こえるような動画」を提案するなど、人間の感覚に近い検索が可能になります。

つまり、OmniRet は、AI が人間の「五感」に近い形で世界を理解し、私たちが求めている「ぴったりの情報」を、細部まで見極めて届けてくれる次世代の検索の未来を切り開く技術なのです。

以下は、提示された論文「Efficient and High-Fidelity Omni Modality Retrieval (OmniRet)」の技術的な要約です。

1. 問題定義と背景

マルチモーダル検索（Multimodal Retrieval）は、テキスト、画像、音声など異なるモダリティのクエリから目的のターゲットを検索するタスクです。従来の最先端モデル（CLIP や BLIP など）は主に「テキスト - 画像」の 2 モダリティに特化しており、3 つ以上のモダリティ（例：画像＋テキスト＋音声）を組み合わせた複雑なクエリを理解する「ユニバーサル検索システム」の構築には限界がありました。

この分野における 2 つの主要な課題が存在します：

表現の忠実度（Representation Fidelity）の欠如: 豊富なマルチモーダルデータを単一の埋め込みベクトルに圧縮する際、微細な情報が失われ、検索精度が低下する。
計算効率の悪さ: 大規模なメディアエンコーダ（画像や音声）から生成される膨大なトークン列（1 枚の画像で 500 トークン以上など）をそのまま LLM（大規模言語モデル）に投入すると、計算コストが爆発的に増大し、バッチサイズを小さくせざるを得ないため、対照学習の効果が損なわれる。

2. 提案手法：OmniRet

著者らは、テキスト、視覚（画像・動画）、音声の 3 つの主要モダリティを統合的に処理できる初の検索モデル「OmniRet」を提案しました。このモデルは、効率性と忠実度の両立を目指した以下の 2 つの主要な技術的革新を含みます。

A. 共有メディアリサンプラ（Shared Media Resampler）

目的: 膨大なメディアトークン列を LLM に入力する前に、固定サイズのコンパクトな表現に圧縮し、計算効率を向上させる。
仕組み: Perceiver アーキテクチャに基づいたアテンションベースのリサンプラを導入します。
- 全てのモダリティで共有されるリサンプラを使用しつつ、各モダリティ固有の潜在変数（Media Latents）を追加することで、モダリティごとの特性を保持しつつ汎化能力を維持します。
- 動画処理においては、フレーム間の冗長性を減らすため、3 次線形補間を適用した上でリサンプリングを行います。
多様性損失（Diversity Loss）: リサンプリングされたトークンが多様な情報を保持するように、出力ベクトル間の直交性を促す正則化項（ $L_{div}$ ）を導入し、情報の欠落を防ぎます。

B. アテンション・スライス・ワッシャースタイン・プーリング（Attention Sliced Wasserstein Pooling: ASWP）

目的: 単一のベクトルに圧縮する際の微細な情報損失を回避し、高忠実度な表現を実現する。
仕組み: LLM の出力隠れ状態の集合を、学習可能な参照点（References）との距離に基づいて分布として捉えます。
- PSWE（Pooling by Sliced Wasserstein Embedding）に着想を得て、多次元空間を 1 次元に射影（スライス）し、各射影方向での分布の整合性（Monge Coupling）を計算します。
- これにより、トークンレベルの微細な構造を保持したまま、単一のベクトルとして集約します。
- 離散的な選択（最大値の選択）をバックプロパゲーション可能にするため、Straight-Through Maximum (STM) エストレータを使用します。

C. 学習戦略

アーキテクチャ: 固定されたメディアエンコーダ（SigLIP, QwenAudio など）と LLM（GTE-Qwen2-1.5B-Instruct）を基盤とし、リサンプラ、プーリング層、および LLM 内の LoRA アダプタのみを学習します。
損失関数: Hard-negative InfoNCE 損失、Triplet 損失、および上記の多様性損失を組み合わせ、効率的かつ高精度な埋め込み空間を構築します。
データ: 30 のデータセットから約 600 万件のクエリ - ターゲット対を用いて大規模なマルチタスク学習を行いました。

3. 新規ベンチマーク：ACM (Audio-Centric Multimodal)

既存のベンチマークには不足していた音声中心のタスクを評価するために、新しいベンチマーク「ACM」を構築・公開しました。

データソース: VGG-Sound データセットを基に、QwenOmni2.5 や Gemini2.5 などの生成モデルを用いて高品質な音声キャプションと修正テキストを生成し、合成データを作成しました。
新規タスク:
1. Composed Audio Retrieval (A,T→A): 音声＋テキストの修正指示から、変更後の音声を検索するタスク。
2. Audio-Visual Retrieval (A→V, A→I): 音声から対応する動画や画像を検索するタスク。
品質評価: 人間の評価により、生成されたデータがタスクとして解きやすく、かつ非自明であることが確認されました。

4. 実験結果

OmniRet は、13 の検索タスクと MMEBv2 のサブセット、そして新規の ACM ベンチマークで評価されました。

総合性能: 拡張版 M-BEIR ベンチマークにおいて、13 タスク中 12 タスクで最先端（SOTA）またはそれに匹敵する性能を達成しました。特に、画像・動画・音声の「構成されたクエリ（Composed Query）」タスクにおいて顕著な改善が見られました。
音声・動画タスク: 音声や動画に特化したモデル（CLAP, ImageBind など）を上回る性能を示しました。これは、単一のモデルが複数のモダリティを統合的に理解できていることを示しています。
ACM ベンチマーク: 構成された音声検索（A,T→A）および音声 - 視覚検索タスクにおいて、既存のマルチモーダルモデルや、テキスト変換を介したパイプライン手法を大幅に上回る性能を発揮しました。
効率性: 単一のベクトル検索を維持しつつ、Late Interaction 手法（ColBERT など）に匹敵する微細な情報保持能力を持ち、大規模システムへの実装を可能にしています。

5. 意義と結論

OmniRet は、テキスト、画像、動画を統合的に理解する「ユニバーサル検索モデル」の実現に向けた重要な一歩です。

技術的貢献: 計算効率と表現の忠実度を両立させるための「共有メディアリサンプラ」と「ASWP」という新しいアーキテクチャを提案しました。
評価基盤の整備: 音声中心のマルチモーダルタスクを包括的に評価できる新しいベンチマーク（ACM）を提供し、今後の研究の発展を促します。
応用: RAG（検索拡張生成）やレコメンデーションシステムなど、現実世界の複雑なマルチモーダル検索ニーズに応えるための基盤技術として期待されます。

本論文は、単一のモデルで多様なモダリティを効率的かつ高精度に処理する可能性を示し、マルチモーダル検索の新たな標準を確立しようとする画期的な研究です。