💻 computer science

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

本文介绍了 Gemini Embedding 2，这是一种原生多模态嵌入模型，它将视频、音频、图像和文本统一到一个单一的表示空间中，在多种单模态、跨模态和多模态检索任务中实现了最先进的性能，同时在专业领域展现了强大的零样本能力。

原作者： Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Sam

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的图书馆，里面藏书、电影、音乐录音和照片。目前，如果你想找到一首听起来像电影场景的特定歌曲，或者找到一张与菜肴照片相匹配的食谱，你通常必须先将所有内容转化为文字。你得为照片撰写描述，将音频转录成文字，然后进行搜索。这就像试图仅通过查看油漆名称列表来寻找特定的颜色；你失去了颜色实际的“感觉”。

Gemini Embedding 2 是谷歌推出的一款新工具，它将彻底改变游戏规则。它不再强迫所有内容转化为文字，而是创建了一种单一的、通用的“语言”，让图片、声音、视频和文字都能使用同一种方言进行交流。

以下是其工作原理及其重要性的简要说明，辅以简单的类比：

1. 通用翻译器（核心理念）

将旧有的工作方式想象成拥有针对不同语言的不同词典。如果你想将一本法语书与一部德语电影进行比较，你必须先将两者都翻译成英语，而这往往会丢失细微差别。

Gemini Embedding 2 就像一位会说“意义”的通用翻译器。

它将视频、歌曲、照片或一段文字转换为一种单一类型的“身份证”（数学向量）。
因为它们都使用同一种“语言”，模型可以立即识别出一段狗吠的视频和一段写着“一只大声的狗”的文字是相关的，即使一个是声音，另一个是文字。它无需先将声音转换为文字；它能直接理解声音。

2. “全能”厨师

以前的模型就像只能擅长烹饪一种食物的厨师。一位厨师擅长处理文字，另一位擅长图像，还有一位擅长视频。如果你想要一顿包含这三种元素的餐食，你就必须雇佣三位不同的厨师，并指望他们在口味上达成一致。

Gemini Embedding 2 是一位能处理任何食材的大厨。

它是在海量的混合任务上训练的：阅读代码、理解电影、聆听音频以及分析文档。
因为它从这种巨大的多样性中学习，所以当混合食材时，它不会感到困惑。你可以要求它通过混合照片和句子来查找视频片段，它能完美地理解这种组合。

3. “零样本”超能力

通常，如果你想让计算机理解一个非常具体的主题（如天文学或烹饪），你必须专门针对该主题对其进行训练。这就像雇佣一位家庭教师，只教学生关于太阳系的知识。

Gemini Embedding 2 就像一位已经是万事通的学生。

论文表明，该模型在显微镜技术（生物学）、天文学、美术和烹饪等专门主题上表现极其出色，无需任何额外训练。
它是“开箱即用”的。如果你给它看一张星图或一份复杂的食谱，它能立即比那些仅针对其中某一项进行训练的专门模型更好地理解上下文。

4. 音频突破（不再需要转录）

搜索音频的最大问题之一是，计算机通常必须先“阅读”音频（将语音转录为文字），然后才能进行搜索。这就像试图通过阅读歌词来寻找一首歌，但如果歌手含糊不清或口音很重，计算机就会听错歌词，导致你永远找不到那首歌。

Gemini Embedding 2 跳过了中间环节。

它直接聆听原始声音。它理解声音的语调、音高和情感，而不仅仅是文字。
论文发现，使用原始音频进行搜索比使用转录文本进行搜索要准确得多。这就像在人群中认出朋友的声音，而无需听到他们在说什么。

5. 它是如何构建的（训练食谱）

为了构建这个“通用翻译器”，团队并没有一次只教它一件事。他们采用了一个三步烹饪过程：

预微调：他们向模型提供了一大堆杂乱的数据（文本、代码、图像），让它适应“编码”信息的概念。
微调：他们提供了非常具体、高质量的示例，教导模型如何将事物匹配在一起（例如将问题与答案匹配，或将视频与描述匹配）。
模型混合（Model Souping）：这是一个巧妙的技巧，他们取了几种不同版本的训练模型并将它们“混合”在一起，就像混合不同批次的汤以获得完美的味道一样。这使得最终模型更加稳定，并且更擅长同时处理不同类型的任务。

总结

Gemini Embedding 2 是一款强大的新引擎，它让计算机能够像人类一样理解世界：通过观察、聆听和阅读，将一切视为一个相互联系的整体。无论你是通过文字描述搜索视频中的特定时刻，通过哼唱的曲调查找歌曲，还是查找包含图表和文字的文档，该模型都能在一个统一的空间中完成所有这些任务，其表现往往优于仅针对其中某一项工作设计的专门工具。

技术摘要：Gemini Embedding 2——来自 Gemini 的原生多模态嵌入模型

1. 问题陈述

现有的多模态嵌入模型（如 CLIP、ALIGN 和 SigLIP 2）通常依赖“晚期融合”方法。这些模型利用成对的跨模态数据来训练特定模态的编码器（例如，独立的图像和文本编码器），将其映射到统一的向量空间。虽然这种方法对单模态和简单的跨模态任务有效，但其架构存在一个关键局限：难以处理混合模态输入（例如，文本、图像和视频交错排列的序列），且无法充分利用模态间丰富的语义交互。此外，传统的音频处理流程通常需要在嵌入之前进行中间转录（ASR），这不仅引入了误差传播，还丢失了语调、韵律等声学细微差别。

本文提出，随着多模态大语言模型（MLLMs）的出现，现在可以创建原生多模态嵌入，深度融合跨模态交互，使单一模型能够在连贯、统一的表示空间中处理文本、图像、音频和视频的任意组合。

2. 方法论

模型架构

Gemini Embedding 2 构建于Gemini基础模型之上，利用其原生多模态能力。

输入处理：与需要独立编码器的先前模型不同，Gemini Embedding 2 利用 Gemini 的内部能力，将原始输入（图像、视频、音频、文本）直接转换为 token 序列。这使得模型能够原生接受异构输入，而无需中间模态（如音频的 ASR 转录）。
编码器：该模型采用基于 Gemini 初始化的双向注意力Transformer 来处理长度为 $L$ 的 token 序列 $T$ 。这克服了因果 LLM 单向注意力的限制，实现了对整个输入序列的上下文感知推理。
池化与投影：token 嵌入沿序列轴使用平均池化进行聚合。随后，一个线性投影层将结果缩放到目标维度。模型输出3,072 维向量，并支持多分辨率损失（MRL）以同时优化 768 维和 1,536 维的表现。

训练目标

该模型采用多任务、多阶段方法训练，以学习统一的嵌入空间：

损失函数：主要目标是带有批内负样本的噪声对比估计（NCE）。损失函数最大化查询 $q_i$ 与正样本目标 $p^+_i$ 之间的相似度，同时最小化其与硬负样本 $p^-_i$ 及其他批内项目的相似度。
任务字符串：对于纯文本任务，包含指定的任务字符串（例如“事实核查”），但在训练过程中会随机丢弃，以确保在缺乏此类字符串的模态中具备鲁棒性。
MRL：为了支持灵活的嵌入维度，损失函数利用多分辨率损失（MRL）在重叠的子维度上进行适配。

训练配方

训练过程分为三个不同的阶段：

预微调（PFT）：将模型从自回归生成调整为编码模式。此阶段使用大批量大小和包含图像、文本及代码任务的多任务设置，以稳定针对噪声输入的梯度。
微调（FT）：一个全面的阶段，涉及文本、代码、文档、图像、音频和视频任务。此阶段利用“查询 - 目标 - 硬负样本”三元组以及来自单一任务的样本构建批次，仔细平衡采样率以优化所有模态的性能。
模型汤（Model Soup）：为了增强泛化能力，最终模型通过对各个微调检查点（包括不同的训练运行和加权平均）的参数进行平均来创建。

3. 主要贡献

原生多模态嵌入：推出了首个能够将交错排列的文本、图像、音频和视频的任意组合嵌入到单一向量空间的模型，超越了晚期融合架构的局限。
卓越的音频理解：证明了原生音频处理（直接编码原始音频）显著优于依赖 ASR 转录的传统流程，保留了声学线索并减少了误差传播。
统一训练框架：成功将文本、代码、图像、视频和音频训练统一到一个模型中，在多样化的基准测试中实现了最先进（SOTA）的性能，且未牺牲任何单一模态的表现。
鲁棒的零样本泛化：在天文学、生物科学、烹饪艺术、美术等特定领域展现出强大的零样本性能，无需针对特定领域进行微调，确立了该模型作为可靠的“开箱即用”表示的地位。

4. 实验结果

多模态检索基准

Gemini Embedding 2 在广泛的检索任务中实现了最先进（SOTA）的性能：

图像 - 文本检索：在 MSCOCO 上达到 62.9 R@1，在 Flickr30k 上达到 89.1 R@1（图像到文本），超越了 Voyage-3.5-multimodal 和 Amazon Nova MME 等模型。
文本 - 视频检索：在 Vatex 上得分为 68.8 NDCG@10，在 MSR-VTT 上得分为 68.0 NDCG@10。
文档检索：在 ViDoRe V2 上达到 64.9 NDCG@10，展示了在理解页面级视觉结构和布局方面的强大能力。
总体表现：该模型在单模态图像检索、文本到图像、图像到文本和文本到视频任务中均占据决定性领先地位。

文本与代码嵌入（MMTEB）

多语言性能：在 MTEB 多语言基准测试中达到 69.9，优于之前的纯文本 Gemini Embedding 模型及其他多模态竞争对手。
代码检索：在 MTEB Code v1 上创下 84.0 的新 SOTA 记录，显著优于 voyage-code-3 等特定领域模型。

特定领域（零样本）

在跨特定领域的零样本评估中，Gemini Embedding 2 始终优于基线：

显微学（MicroVQA）：79.3 R@5（CLIP-Large 为 44.4）。
天文学（AstroLLaVA）：64.4 R@5（CLIP-Large 为 31.6）。
烹饪艺术（Recipe1M）：食材识别为 90.2 R@5，步骤说明为 92.1 R@5。
美术（ArtCap）：67.7 R@5。

音频检索（MSEB）

在大规模声音嵌入基准（MSEB）上，采用原生音频输入的模型实现了 73.99 的平均 mrr@10，而基于 ASR 的基线为 70.40。

同语言内：提升 2.0 分。
跨语言：提升 5.01 分，验证了该模型在不依赖中间转录器的语音边界的情况下，能够对齐跨语言的语义特征。

5. 意义与主张

本文声称，Gemini Embedding 2 代表了通用表示学习中的变革性一步。其意义在于：

消除模态壁垒：通过原生处理交错输入，它实现了复杂的检索范式（例如，使用组合视觉和文本提示在视频中查找特定时间事件），而这些任务此前难以实现或根本无法实现。
效率与鲁棒性：它消除了对昂贵且易错的中间转换（如 ASR）和手动提示工程的需求，提供了一个稳健的统一潜在空间，在零样本设置中表现优异。
企业就绪：该模型被定位为下游企业用例的高度可靠候选者，包括检索增强生成（RAG）、视频推荐和搜索，能够处理现代应用中丰富的异构数据。
跨领域一致性：与在不同领域性能波动的专用模型不同，Gemini Embedding 2 保持了连贯的通用对齐，使其适用于从生物科学到烹饪艺术等 diverse 领域。

作者总结道，这种统一方法促进了下一代代理系统的构建，为复杂的跨数据检索提供了必要的基础设施，且不受特定模态架构的限制。