💬 NLP

Efficient and High-Fidelity Omni Modality Retrieval

本文提出了首个能够处理文本、视觉和音频三种模态组合查询的检索模型 OmniRet，通过引入基于注意力的重采样机制和注意力切片 Wasserstein 池化技术，在显著提升计算效率的同时保留了细粒度信息，并在多项基准测试及新构建的音频中心多模态基准（ACM）上展现了优越性能。

原作者： Chuong Huynh, Manh Luong, Abhinav Shrivastava

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chuong Huynh, Manh Luong, Abhinav Shrivastava

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OmniRet 的新系统，你可以把它想象成一位**“全能超级侦探”**。

以前的搜索系统（比如你常用的谷歌图片或百度）通常只能听懂一种语言：要么只懂文字（搜“猫”），要么只懂图片（搜一张猫的照片）。虽然现在的 AI 能同时看懂文字和图片，但一旦你试图把文字、图片、声音混合在一起提问，它们就晕头转向了。

OmniRet 的目标就是打破这个限制，让你能用任何组合来搜索你想要的东西。

🌟 核心比喻：全能侦探的“大脑”与“耳朵”

想象一下，你正在寻找一段特定的视频：

你的提问是：“我要找一段视频，里面有一只狗在叫（声音），背景里还有警笛声（声音），而且画面要像昨天那样下雨（视觉 + 文字描述）。”

以前的系统听到这种“混合指令”会崩溃，因为它不知道如何处理声音、画面和文字混在一起的复杂信息。OmniRet 则能完美理解这种“混合口味”的指令。

为了实现这一点，作者解决了两个大难题：

1. 难题一：信息太多，脑子记不住（效率问题）

比喻：把一吨沙子装进一个小瓶子里
现在的 AI 模型（大语言模型）非常聪明，但也很“贪吃”。当你给它看一张图片或听一段声音时，它会生成成千上万个“信息碎片”（Token）。如果把这些碎片一股脑全塞给大模型，就像试图把一吨沙子强行塞进一个小瓶子里，不仅塞不进去，还会把瓶子撑爆（计算量太大，速度慢）。

OmniRet 的解决方案：智能“压缩饼干”机
作者发明了一个叫**“共享媒体重采样器” (Shared Media Resampler)** 的模块。

它就像一个超级压缩饼干机。不管你是给它一袋沙子（视频）、一桶水（音频）还是一堆石头（图片），它都能把它们压成几块高营养、固定大小的“压缩饼干”。
这样，大模型只需要吃这几块饼干，就能知道原本那一大袋东西里有什么，既省空间又吃得快。
更厉害的是，这个机器是通用的，不管是处理声音还是画面，都用同一套压缩逻辑，但又能根据每种食物的特点微调口味，保证不丢失关键信息。

2. 难题二：压缩后味道变淡了（保真度问题）

比喻：把高清电影压缩成一张模糊的明信片
通常，为了把信息塞进一个小瓶子里，我们会把细节丢掉。比如，把一段复杂的交响乐压缩成一个数字，你可能只记得“有音乐”，但忘了是“小提琴独奏”还是“大鼓轰鸣”。在搜索中，这意味着你找不到那些细微差别的目标。

OmniRet 的解决方案：保留“指纹”的魔法
作者发明了一种叫**“注意力切片沃瑟斯坦池化” (Attention Sliced Wasserstein Pooling)** 的新方法。

普通的压缩方法就像把一锅汤搅匀，然后舀一勺出来代表整锅汤（平均池化），结果味道就淡了。
OmniRet 的方法则像是给汤里的每一种香料都贴上标签。它不直接混合，而是把汤里的味道“切片”，对比每一片和标准香料的距离。
这样，即使最后只生成一个代表向量，它也保留了原本丰富的细节。就像你虽然只拿了一张明信片，但这张明信片上却用隐形墨水记录了整部电影的所有精彩瞬间，只要用对方法（AI 算法），就能还原出高清画面。

🎯 新工具：专门针对声音的“新考场”

以前，大家主要研究怎么搜图片和文字，声音一直被冷落。为了测试 OmniRet 在声音方面的能力，作者还自己造了一个新考场，叫 ACM 基准 (Audio-Centric Multimodal Benchmark)。

以前的考试：只能考“看图说话”或“听音辨图”。
现在的考试：
- 组合搜索：给你一段“狗叫”的声音，再给你一句文字“把狗叫改成狼嚎，去掉背景里的警笛声”，让你找修改后的声音。
- 跨模态搜索：给你一段“下雨声”，让你找对应的“下雨视频”。

在这个新考场上，OmniRet 表现非常出色，不仅听懂了复杂的“声音 + 文字”组合指令，还能在声音和视频之间自由穿梭。

🚀 总结：为什么这很重要？

这就好比以前的搜索引擎只能让你**“单点登录”（要么搜图，要么搜文），而 OmniRet 让你拥有了“全能账号”**。

对普通人：以后你可以直接对手机说：“帮我找一段视频，里面是爵士乐，画面是夕阳下的海滩，而且节奏要慢一点。”系统能瞬间理解并找到最完美的结果。
对开发者：它让构建“万能检索系统”成为可能，无论是做智能客服、推荐系统，还是给盲人做视觉辅助，都能更高效、更精准地工作。

一句话总结：OmniRet 就像给 AI 装上了**“超级压缩胃”和“高清记忆脑”**，让它能同时听懂、看懂、听清，并且把文字、图片、声音完美融合，再也不怕复杂的混合搜索指令了。

这篇论文提出了一种名为 OmniRet 的新型检索模型，旨在解决当前多模态检索系统中存在的效率低下和表示保真度不足的问题，并首次实现了能够同时处理文本、视觉（图像/视频）和音频三种模态的复杂组合查询。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

现状局限： 现有的最先进多模态检索模型（如 CLIP, BLIP, CLAP 等）通常局限于双模态（文本 - 图像或文本 - 音频）。面对需要组合多种模态（例如：一张图片 + 一段文字描述 + 一段音频）的复杂查询时，现有系统表现不佳。
核心挑战：
1. 计算效率 (Computational Efficiency)： 将媒体编码器（视觉/音频）生成的海量 Token 序列（通常超过 500 个）直接输入大语言模型（LLM）作为“作曲家”进行融合，会导致计算成本爆炸，限制了训练时的 Batch Size，进而影响对比学习的效果。
2. 表示保真度 (Representation Fidelity)： 将丰富的多模态数据压缩成单个嵌入向量（Single Embedding Vector）会导致信息丢失，特别是细粒度的细节。传统的平均池化或仅使用 [EOS] Token 会模糊这些细节，而保留所有 Token 的晚交互（Late Interaction）机制（如 ColBERT）则计算和存储成本过高，难以大规模部署。

2. 方法论 (Methodology)

OmniRet 是一个统一的框架，利用 LLM 作为跨模态的“作曲家”，通过两个核心创新模块来解决上述挑战：

A. 共享媒体重采样器 (Shared Media Resampler) - 解决效率问题

机制： 引入一个基于 Perceiver 架构的中间层，位于媒体编码器和 LLM 输入之间。
功能： 将媒体编码器输出的长序列 Token 智能地压缩为固定数量（例如 64 个）的潜在向量（Latent Vectors）。
设计细节：
- 共享与专用结合： 虽然重采样模块是共享的，但引入了模态特定的潜在向量 (Modality-specific Latents)。这些向量与共享的潜在查询相加，使模型既能保持泛化能力，又能适应不同模态的特性。
- 多样性损失 (Diversity Loss)： 为了防止压缩后的 Token 信息冗余，设计了一个正则化损失函数，强制输出向量之间保持正交性（多样性），确保压缩后的 Token 保留最大信息量。
- 视频处理： 对视频特征先进行 3D 三线性插值以减少帧间冗余，再进行重采样。

B. 注意力切片 Wasserstein 池化 (Attention Sliced Wasserstein Pooling, ASWP) - 解决保真度问题

机制： 为了聚合 LLM 输出的隐藏状态，提出了一种新的池化方法，灵感来源于 PSWE（Sliced Wasserstein Embedding）。
流程：
1. 首先使用与重采样器相同的注意力机制将 LLM 输出序列压缩为一组潜在嵌入 $Z$ 。
2. 将 $Z$ 视为一个分布，并与一组可学习的参考点 $X$ 进行比较。
3. 在 $L$ 个一维投影方向 $\Theta$ 上计算 $Z$ 和 $X$ 的 1D Monge 耦合。
4. 生成一个类似直方图的描述符 $Z'$ ，保留了细粒度的分布信息。
5. 硬选择 (Hard Selection)： 使用 Straight-Through Maximum (STM) 估计器，对 $Z'$ 的每一列进行软评分并选择最大值，形成最终的单向量嵌入。这使得模型在保持单向量检索效率的同时，能够捕捉细粒度的 Token 级信息。

C. 训练策略

数据规模： 在约 600 万 个查询 - 目标对（来自 30 个数据集）上进行训练。
损失函数： 结合了对比损失 (InfoNCE)、三元组损失 (Triplet Loss) 和多样性损失 (Diversity Loss)。
架构冻结： 媒体编码器和 LLM 主体保持冻结，仅训练投影层、重采样器、池化层以及注入 LLM 的 LoRA 适配器。

3. 主要贡献 (Key Contributions)

OmniRet 模型： 首个能够处理文本、视觉和音频三种模态组合查询的统一检索框架。
新架构组件：
- Shared Media Resampler： 解决了多模态 Token 输入 LLM 的效率瓶颈。
- ASWP： 在保持单向量检索效率的同时，克服了传统池化方法丢失细粒度信息的缺陷。
ACM 基准 (Audio-Centric Multimodal Benchmark)：
- 构建了一个新的以音频为中心的基准测试，包含两个此前缺失的任务：组合音频检索 (Composed Audio Retrieval, A+T→A) 和 音频 - 视觉检索 (Audio-Visual Retrieval, A→V/I)。
- 利用生成式模型（QwenOmni2.5, Gemini2.5）生成了高质量的音频描述和修改文本，并通过人工评估验证了数据质量。
大规模多任务训练策略： 展示了在 30 个数据集上联合训练的有效性，显著提升了模型的泛化能力。

4. 实验结果 (Results)

M-BEIR 基准测试： 在扩展版的 M-BEIR（包含 13 个检索任务）上，OmniRet 在 12/13 的任务中取得了最佳或极具竞争力的性能。特别是在组合查询（Composed Query）、音频和视频检索任务上，显著优于现有的专用模型（如 CLAP, ImageBind）和通用模型（如 VLM2Vec, MMEmbed）。
MMEBv2 基准测试： 在视频任务上达到了 SOTA 水平，且在图像检索任务上即使未经过全量微调也保持了竞争力。
ACM 基准测试：
- 在组合音频检索任务上，OmniRet 大幅超越了基于多阶段文本检索的基线（如 QwenOmni + Gemma）以及 CLAP、ImageBind 等模型。
- 在音频 - 视觉检索任务上，性能与 ImageBind 等专用对齐模型相当，同时具备理解复杂组合查询的能力。
消融实验： 证明了 ASWP 比简单的平均池化或 [EOS] 向量效果好得多；共享重采样器配合模态特定潜在向量是最佳选择；多样性损失对于防止信息坍缩至关重要。

5. 意义与影响 (Significance)

迈向通用检索系统： OmniRet 证明了单一模型可以有效处理异构模态（文本、图像、视频、音频）的复杂组合查询，为构建真正的“通用检索系统”迈出了关键一步。
效率与质量的平衡： 提出的 ASWP 和重采样机制为如何在保持大规模检索系统所需的单向量效率的同时，不牺牲细粒度信息提供了新的技术路径。
填补音频领域空白： 通过 ACM 基准，填补了音频在多模态组合检索和跨模态检索领域的评估空白，推动了音频理解与检索的研究。
应用前景： 该技术在 RAG（检索增强生成）、推荐系统、多模态搜索等实际应用场景中具有巨大的潜力，能够更精准地响应用户复杂的自然语言指令。

总结来说，OmniRet 通过创新的架构设计（重采样 + ASWP）和大规模多模态训练，成功打破了模态壁垒，在效率、保真度和泛化能力之间取得了卓越的平衡，是目前多模态检索领域的重要突破。