🤖 AI

MMLongEmbed: Benchmarking Multimodal Embedding Models in Long-Context Scenarios

本文介绍了 MMLongEmbed，这是首个旨在评估长上下文场景下多模态嵌入模型的综合基准测试，研究揭示了当前最先进的模型在深度语义理解方面存在困难，并随着上下文长度的增加表现出显著的性能退化。

原作者： Haitian Wang, Ruoxi Sun, Quantong Qiu, Juntao Li, Junhui Li, Hua Chen, Jinxiong Chang, Min Zhang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Haitian Wang, Ruoxi Sun, Quantong Qiu, Juntao Li, Junhui Li, Hua Chen, Jinxiong Chang, Min Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个可以同时容纳整部百科全书、上千部电影和一百万个网页的图书馆。现在，想象你要求一位图书管理员（AI）在这一大堆庞杂的信息中，找到关于一只“蓝色猫咪”的具体句子。

这篇名为 MMLongEmbed 的论文，本质上是为这些“超级图书管理员”（称为多模态嵌入模型，Multimodal Embedding Models）准备的一份成绩单，测试它们在面对这些巨大且冗长的信息堆时表现如何。

以下是研究人员发现的内容，使用了简单的类比：

1. 问题所在：大图书馆，小脑袋？

最近，AI 模型在处理文本和图像的容量（其“上下文窗口”）方面变得越来越“大”了。这就像是给图书管理员换了一张更大的办公桌。但研究人员提出了一个问题：仅仅因为他们有了更大的办公桌，是否意味着他们真的能找到那根“大海捞针”的针？

他们发现，答案通常是否定的。尽管这些模型可以“看到”整个图书馆，但它们往往难以理解其中深层的联系。它们倾向于依赖“表层”线索（比如匹配某个单词或某种颜色），而不是真正理解故事的内容。

2. 测试方法：MMLongEmbed

为了进行测试，作者构建了一个名为 MMLongEmbed 的新考试。你可以把它看作是 AI 图书管理员的“适者生存”测试。他们设计了四个具体的挑战：

“大海捞针”（视觉定位/Visual Grounding）： 他们将一个特定的事实（“针”）隐藏在一份庞大的文档中。测试旨在检查 AI 是否能在文档的最开头、最末尾或埋藏在中间时都能找到它。
- 结果： AI 在寻找文档开头或结尾的内容时表现出色，但在处理中间部分时经常会“迷失”，就像一个读者只记得书的第一页和最后一页一样。
“侦探谜题”（多源推理/Multi-Source Reasoning）： 他们给 AI 一个需要连接不同文档线索的问题（例如：“谁既出演了这部电影，又创作了这首歌？”）。
- 结果： 当线索被埋藏在长文本深处时，AI 会感到困惑。
“读书报告”（逻辑摘要/Logical Summarization）： 他们要求 AI 将一份 3 万字的文档总结成一段短小的文字。
- 结果： AI 在这方面表现得相当不错！因为摘要依赖于整体主题，即使 AI 错过了一些细节，它也能通过“猜测”得出主要观点。
“时间旅行者”（时序摘要/Temporal Summarization）： 他们向 AI 展示了一段长视频，并问道：“发生了什么事，先发生什么，后发生什么？”
- 结果： AI 在这里表现得很糟糕。如果你打乱视频中事件的顺序，AI 通常无法察觉到时间线已经断裂。

3. 棘手之处：“干扰项”陷阱

研究人员通过添加干扰项让测试变得更加困难。想象一下你在停车场寻找一辆红色的车。

简单模式： 停车场里有一辆红车和 100 辆蓝车。（AI 能轻松找到它）。
困难模式： 停车场里有 100 辆看起来几乎一模一样的红车，但其中一辆的保险杠略有不同。（AI 会感到困惑并选错目标）。

论文发现，当 AI 面临这些“困难模式”的干扰项时，其表现会大幅下降。这证明了 AI 往往只是在匹配关键词（如“红车”），而不是在理解具体的细节（如“那个保险杠有凹痕的车”）。

4. 令人惊讶的发现

并非越大越好： 仅仅增加 AI 模型的规模（更多参数）或赋予它更大的记忆力（更多维度）并不总能解决问题。一个稍小但更聪明的模型有时会胜过一个庞然大物。
“中间地带”是危险区： AI 对文档的开头和结尾有很强的偏好。如果答案位于 3 万个 token 文本的中间，AI 往往会忘记它的存在。
视频很难： 与仅仅识别视频中的内容相比，AI 在理解视频中事件的“先后顺序”方面要困难得多。

5. 结论

论文的结论是，虽然我们已经制造出了能够“阅读”海量数据的 AI，但我们尚未教会它们在面对长上下文时如何进行“深度思考”。

目前，这些模型就像是那些能完美背诵长文章首尾句子的学生，却会在文章中间迷失方向。为了让它们在现实任务（如在法律案件或医疗记录中寻找特定证据）中真正发挥作用，我们需要教会它们关注信息的深层结构，而不仅仅是表层的文字。

简而言之： 我们给了 AI 一个更大的图书馆，但它仍需学习如何正确地“读完”这些书，而不只是扫一眼封面。

技术摘要：MMLongEmbed

问题陈述

近期多模态嵌入模型（MEMs）的进展显著扩展了其理论上下文窗口至 32K token 及以上，实现了交错文本、文档图像和视频的统一表示。然而，本文指出，更大的上下文窗口并不一定意味着能够有效理解或表示长上下文的多模态输入。这一差距仍然是实现多模用检索增强生成（RAG）和自主智能体工作流等实际应用的关键瓶颈。

目前的评估框架存在三个主要缺陷：

上下文多样性有限： 现有的基准测试主要局限于纯文本数据，未能覆盖现实场景中遇到的多模态信息。
缺乏长度分层： 输入长度通常未被视为受控变量，导致无法系统地分析性能随上下文规模扩大而产生的退化情况。
任务难度不足： 许多基准测试依赖于简单的候选池扩展，这些任务可以通过浅层的特征匹配来解决，缺乏测试真实语义理解所需的深度。

方法论：MMLongEmbed 基准测试

为了填补这些空白，作者引入了 MMLongEmbed，这是首个旨在系统评估长上下文场景下 MEMs 性能的全面基准测试。

基准测试构建

该基准测试整合了八个多样化的数据集，包含 8,460 个查询和 20,880 个候选对象，支持高达 32K token 的上下文长度。它支持三种输入格式：仅图像、交错图像-文本以及纯文本。评估围绕四个不同的任务展开：

视觉定位（合成）： 使用来自 NeedleBench 和 MMNIAH 的数据构建的“大海捞针”（Needle-in-a-Haystack）框架。目标实例（“针”）被嵌入到从 OBELICS 中采样的多模态干草堆中。设置在不同插入深度（0% 到 100%）和上下文长度（256 到 32K token）下进行变化，共分为八个区间。至关重要的是，干扰项被设计为与目标高度相似，以引入细粒度的检索歧义。
多源推理（现实世界）： 基于 HotpotQA 和 MMDocRAG 构建，该任务评估跨异构上下文捕获结构化证据的能力。通过注入语义无关但自然流动的文本，将原始上下文扩展至 16K 和 32K token。通过移除关键证据片段来生成“困难”干扰项，从而在保持表面主题相似性的同时，破坏推理链。
逻辑摘要（现实世界）： 使用 GovReport 和 MMLongBench，该任务评估全局语义压缩能力。通过使用来自主题相似文档的无关内容替换大型连续片段（例如前 25%、后 25% 或中间 50%）来创建困难干扰项。这迫使模型依赖逻辑流而非局部关键词匹配。
时序摘要（现实世界）： 源自 ActivityNet Captions 和 YoukuDenseCaption，该任务评估对长程时序结构的理解。困难干扰项涉及宏观结构变换，如时间顺序反转和块级排列，在保留事件级语义的同时，破坏全局叙事顺序。

Tokenization 标准化

为了确保在具有不同视觉 token 化方案的模型之间实现一致的长度区间，作者采用了标准化的计数机制：

文本 Token： 使用 Qwen3 分词器计算。
视觉 Token： 图像通过 $16 \times 16$ 的 patch 嵌入处理，随后进行 $2 \times 2$ 的空间合并，从而产生每个 token 有效为 $32 \times 32$ 像素的 patch 大小。Token 数量计算为 $\lceil H/32 \rceil \times \lceil W/32 \rceil$ 。

评估协议

该基准测试评估了 11 个领先的 MEMs（10 个开源，1 个专有），参数量从 2B 到 8B 不等，上下文窗口至少为 32K。评估严格控制了不同长度池中的候选密度（每个查询的平均候选数），并采用“中间截断”策略，以防止超过特定限制的输入导致内存溢出。

关键结果

广泛的实验揭示了当前 MEMs 在长上下文多模态理解方面的显著局限性：

规模与能力的脱节： 增加模型规模或嵌入维度并不总能持续提高性能。在某些特定困难子集中，较小的模型表现优于同系列较大的模型（例如 Qwen3-2B vs. Qwen3-8B）。建模范式和训练策略似乎比规模更具决定性。
位置偏差与信息丢失： 在细粒度检索（视觉定位）方面，位于中间位置的目标会导致性能严重下降，且表现出明显的边界序列偏差。大多数模型仅在约 2K token 处能保持稳定的检索，此后无论模型大小如何，性能都会迅速恶化。
依赖表面匹配： 模型在“简单”任务上表现良好，但在表面匹配线索被高相似度干扰项（“困难”任务）抑制时，性能大幅下降。这表明模型过度依赖全局语义对齐，而非深层的细粒度判别。
任务特定的退化：
- 摘要任务： 性能在不同长度下保持相对稳定，这可能是由于高冗余度和分布式的证据所致。
- 推理与时序任务： 性能随上下文长度增加呈现持续下降趋势。时序摘要尤其脆弱，在困难干扰项下会崩溃至接近随机水平。
模态鲁棒性： 模型对异构背景干扰表现出不同程度的鲁棒性。虽然一些模型表现出模态偏斜（在文本/图像干扰项下的表现不均），但一小部分模型展示了模态鲁棒行为，在所有类型的干扰下都能保持稳定的性能。

意义与主张

论文声称 MMLongEmbed 弥补了多模态嵌入模型评估中的关键空白。通过系统地改变上下文长度、模态和任务难度，该基准测试揭示了当前的架构过度依赖表面特征匹配，难以捕捉长上下文中深层的语义和结构依赖。

作者得出结论，仅仅扩展上下文长度、模型规模或嵌入维度不足以解决这些局限性。相反，研究结果强调了对根本性改进的长上下文语义建模的需求，这种建模应能有效地处理跨多模态输入的细粒度信息保留和深层结构推理。该基准测试和代码已公开，以促进复现性和进一步研究。