🤖 AI

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

这项研究表明，像 GPT-4.1 和 Claude Sonnet 4.6 这样的前沿大语言模型在 Flickr30k 数据集上的检索性能与谷歌原生的多模态 Gemini Embedding 2 持平，尽管后者由于具有可预计算的嵌入向量，在低延迟应用方面仍保持优势。

原作者： Archan Dutta, Vyanktesh Kanungo

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Archan Dutta, Vyanktesh Kanungo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一堆巨大且混乱的干草堆中寻找一根特定的针。但这里有个转折：这根针不仅仅是一块金属，它还是一张图片，而你正在用文字来描述它。这就是**多模态检索（multimodal retrieval）**的世界，它是计算机科学的一个分支，旨在让机器学会如何将它们所见的（图像）与它们所读的（文本）联系起来。多年来，实现这一目标的标准方法是构建两个独立的“大脑”：一个负责阅读文本并将其转化为一种秘密代码，另一个负责观察图片并将其转化为另一种不同的秘密代码。然后，计算机尝试匹配这些代码，就像试图通过用力眯起眼睛，把方头榫头塞进圆孔里一样。

最近，两件超级工具进入了竞技场。首先是前沿大语言模型（LLM）。把它们想象成极其聪明、无所不知的图书管理员，他们可以看一眼 25 张照片和一句话，然后瞬间读完每张照片，相互比较，并选出最佳匹配项。其次是原生多模态嵌入（Natively Multimodal Embeddings）。它们就像是一个通用的翻译官，从一开始就能流利地使用“图像”和“文本”两种语言，将一切转化为单一且统一的秘密代码，而不需要两个独立的大脑进行交流。大家都在问一个大问题：我们是否需要那位超级聪明的图书管理员去阅读每一张照片并进行比较，还是说这位通用翻译官本身就足够快且准确，足以独自完成这项工作？这至关重要，因为如果那位图书管理员动作太慢，你就无法将他们用于像在街上行走时搜索相册这样的实时应用。

本论文使用一个名为 Flickr30k 的数据集设定了一场高风险的比赛，该数据集包含 31,000 张带有真人编写描述的图像。为了让这场比赛真正公平且具有挑战性，研究人员并没有只是向模型投掷随机照片。他们创建了“硬负样本（hard negatives）”——这些照片看起来与正确答案非常相似，但并不完全正确，旨在迷惑即使是最聪明的系统。他们测试了四位重量级选手：Gemini Embedding 2 和 Amazon Nova 2（通用翻译官）对阵 GPT-4.1 和 Claude Sonnet 4.6（超级聪明的图书管理员）。

结果令速度型选手感到震惊，却让精度追求者感到欣慰。在准确率方面，通用翻译官和超级聪明的图书管理员不相上下。研究发现，Gemini Embedding 2、GPT-4.1 和 Claude Sonnet 4.6 的表现从统计学上来看是相同的。它们如此接近，以至于你无法仅凭准确率将它们区分开来；在这些棘手的场景中，它们都能成功选出正确的图像，准确率约为 80%。论文明确排除了“图书管理员在准确率上具有压倒性优势”的观点，表明新的嵌入模型在寻找干草堆中的正确针头方面同样敏锐。然而，其中一个模型 Amazon Nova 2 确实落后了，其正确率低了约 13 个百分点，这可能是因为它被设定用于通用任务，而非这种特定类型的图像搜索。

但真正的故事不仅在于谁赢得了准确率之赛，更在于谁能跑完这场马拉松。在这里，两种方法出现了巨大的分歧。超级聪明的图书管理员（LLM）必须针对每一个问题查看整组照片中的每一张。论文对此进行了测量，发现对 1,000 个查询进行排序时，图书管理员分别耗时超过 6,100 秒（对于 GPT-4.1）和 9,415 秒（对于 Claude Sonnet 4.6）。那是长达数小时的等待。相比之下，通用翻译官（嵌入模型）的工作方式不同。它们可以预先计算所有照片的秘密代码，就像在图书馆开门之前，先为每本书贴上条形码一样。一旦完成这个“预计算”步骤，寻找 1,000 个查询对应的照片，嵌入模型花费的时间不到 2 秒。

作者得出结论，虽然超级聪明的图书管理员擅长推理和并排比较图像，但通用翻译官是任何需要即时响应场景的明显赢家。如果你正在开发一款用户需要在眨眼之间搜索大量图像的应用，嵌入模型是更好的选择。如果你的照片集每秒钟都在变化，或者规模非常小，导致预计算步骤变得毫无意义，那么图书管理员仍然有用。但对于速度和规模而言，新的嵌入模型已经证明，它们可以在运行速度比巨头们快一千倍的同时，依然能匹配这些巨头的准确度。

技术摘要：前沿大语言模型（LLM）与原生多模态嵌入在硬负例文本-图像检索中的对比

问题陈述

文本-图像检索任务是将图像按其与自然语言查询的相关性进行排序，传统上依赖于双编码器模型（如 CLIP），通过对比学习将视觉和文本表示进行对齐。近期两项发展挑战了这一范式：

前沿大语言模型 (LLMs)： 像 GPT-4.1 和 Claude Sonnet 4.6 这样的模型拥有强大的视觉能力，从而实现了一种新的检索范式，即在单个提示词（prompt）中呈现所有候选图像和查询，进行直接的零样本（zero-shot）排序。
原生多模态嵌入： 诸如 Google 的 Gemini Embedding 2 (GE2) 和 Amazon Nova 2 等模型将文本、图像、视频和音频投影到同一个共享的嵌入空间中，超越了传统的双编码器架构。

尽管这两种方法都展现出了潜力，但它们在检索准确度和排序延迟（特别是在挑战性条件下）方面的相对表现仍未在文献中得到表征。本研究旨在填补这一空白，通过将原生多模态嵌入与作为零样本直接视觉排序器的前沿 LLM 进行对比。

方法论

数据集与候选集构建

本研究使用了 Flickr30k (Young et al., 2014)，这是一个包含 31,000 张图像且每张图像对应五条独立说明文字（caption）的数据集。为了创建一个非平凡（non-trivial）的评估任务，作者构建了硬负例候选集：

池 (Pool)： 采样了 5,000 张图像，每张图像配有五条说明文字。
查询选择： 随机选择了 1,000 条说明文字作为查询。
硬负例： 对于每个查询，构建了一个包含 25 张图像的候选集：包括地面真值（ground-truth）图像以及 24 张“硬负例”。
选择逻辑： 硬负例是基于说明空间（caption-space）的相似性而非图像空间的相似性进行选择的。使用 sentence-transformers/all-mpnet-base-v2 识别出与查询说明语义最相似（排除查询本身）的 24 条说明。这些说明所对应的图像构成了负例集。这种方法增加了歧义性，因为在给定查询说明的情况下，图像变得难以区分。

被评估系统

四种系统在相同的 1,000 个查询和完全相同的候选集上进行了评估：

Gemini Embedding 2 (GE2)： 一种原生多模态嵌入模型。查询和图像分别使用特定的任务类型（RETRIEVAL_QUERY 和 RETRIEVAL_DOCUMENT）进行嵌入，并根据余弦相似度进行排序。
Amazon Nova 2： 一种多模态嵌入模型。与 GE2 类似，但使用 GENERIC_INDEX 进行嵌入目的。
GPT-4.1： 一个前沿 LLM。查询说明和所有 25 张候选图像被呈现在一个单一的零样本提示词中。模型被指示返回一个排好序的图像 ID 列表。
Claude Sonnet 4.6： 一个前沿 LLM。使用与 GPT-4.1 相同的提示词和流程进行评估。

为了减轻 LLM 的位置偏差（position bias），图像在提示词中的顺序针对每个查询进行了随机化处理。

评估指标

性能通过以下指标进行衡量：

召回率@1 (R@1)： 地面真值图像被排在第一位的比例。
召回率@3 (R@3)： 地面真值图像出现在前三位的比例。
平均倒数排名 (MRR)： 地面真值图像倒数排名的平均值。
延迟 (Latency)： 排序 1,000 个查询的执行时间，区分了端到端处理与预计算嵌入的情景。

统计显著性通过针对 R@1 的 McNemar 测试和针对 MRR 的 Wilcoxon 符号秩检验（配合 Bonferroni 校正）进行评估。

关键结果

检索准确度

顶尖表现者： Gemini Embedding 2、GPT-4.1 和 Claude Sonnet 4.6 在所有三个指标（R@1, R@3, MRR）上均达到了统计学上无法区分的性能。
- R@1 分数： GE2 (0.804), Claude Sonnet 4.6 (0.796), GPT-4.1 (0.789)。
- 显著性： 两两测试显示这三个系统之间没有显著差异（均 $p > 0.09$ ）。
表现欠佳者： Amazon Nova 2 显著落后，其 R@1 为 0.673。统计测试确认其性能与所有其他系统都有显著差异（ $p < 0.0001$ ）。作者将这一差距归因于使用了 GENERIC_INDEX 进行嵌入目的，该模式针对通用的向量数据库创建进行了优化，而非针对特定的文本-图像匹配。

延迟与效率

预计算优势： 嵌入模型（GE2 和 Nova 2）允许预计算图像嵌入。一旦完成预计算，对 1,000 个查询（每个查询 25 个候选）进行排序仅需不到 2 秒（GE2 为 0.66s，Nova 2 为 1.16s）。
LLM 延迟： LLM 进行端到端的查询处理，无需预计算。对相同的负载进行排序，GPT-4.1 用时 6,100 秒，Claude Sonnet 4.6 用时 9,415 秒。
结论： 对于涉及固定图像库的低延迟应用，嵌入模型提供了约四个数量级的加速。

贡献与意义

本文声称了以下贡献：

首次直接比较： 本研究首次直接比较了原生多模态嵌入与前沿 LLM 作为零样本直接视觉排序器在硬负例数据集（Flickr30k）上的表现，且无需特定任务的微调或中间说明生成。
准确度对等： 研究通过实证表明，专用多模态嵌入模型（特别是 GE2）与前沿 LLM（GPT-4.1, Claude Sonnet 4.6）在硬负例候选集的检索准确度上达到了统计学上无法区分的水平。这表明 LLM 可以有效地作为零样本排序器，达到专门的嵌入空间性能。
延迟权衡： 本文强调了一个关键的实际区别：虽然准确度相当，但由于预计算能力，嵌入模型在低延迟应用方面具有压倒性优势。相反，对于更新频繁的画廊或预计算不切实际的小规模场景，LLM 可能是更优的选择。

局限性

作者承认存在以下局限性：

模糊的地面真值： 在硬负例集中，一条说明可能合理地描述另一张图像，从而产生歧义。然而，这对所有系统都是公平的。
说明空间的难度： 硬负例是基于说明空间定义的，这可能本质上有利于优化了密集向量表示的嵌入式方法。
推理条件： LLM 受益于跨候选推理（同时看到 25 张图像），而嵌入模型对图像进行独立评分。
专有访问： 所有系统均通过付费 API 访问，模型权重可能会在实验和重复尝试之间发生变化。
范围： 评估使用了 25 幅图像的候选集，测量的是排序性能而非全库检索，这可能无法推广到大规模设置。

结论

研究结论认为，前沿 LLM 可以匹配原生多模态嵌入模型在硬负例文本-图像检索任务中的检索准确度。然而，系统的选择取决于应用约束：对于具有固定画廊的低延迟、大规模检索任务，嵌入模型是更优的选择；而对于预计算不可行的动态或小规模场景，LLM 提供了一个可行的零样本替代方案。