Douyin Multimodal Embedding Model Technical Report
本文介绍了抖音多模态嵌入（DME），这是一种通过将大规模对比预训练与用于证据落地推理和跨条件重构的新型训练时机制相结合，从而在实现最先进性能和生产效率的同时，提供细粒度多模态判别能力且不牺牲在线推理速度的两阶段训练模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在草堆中寻找一根特定的针，但这个草堆是整个互联网，而那根针可能是一段视频、一张照片、一份文档，或者是这三者的结合。这正是现代搜索引擎和推荐系统每天面临的现实。为了实现这一目标，计算机使用了一种被称为**多模态嵌入（multimodal embedding）**的技术。你可以把它想象成一个神奇的翻译官，将你所看到、读到或观看的一切转化为一个单一且紧凑的“指纹”（即向量）。当你搜索“戴着帽子的猫”时，系统并不会阅读这些文字；它会将你的请求转换成一个指纹，然后在数据库中寻找与其他指纹看起来极其相似的内容。
长期以来，这些系统面临着一个艰难的选择：它们可以做得很快但很笨，能快速找到大致相似的东西，却会忽略掉那些真正重要的微小细节；或者，它们可以变得聪明但缓慢，在给出答案前需要对每一个细节进行长时间的思考，但这对于数以亿计正在刷应用的用户的速度要求来说太慢了。这篇论文正是在解决这个难题：我们如何构建一个既能闪电般快速，又极其精准的搜索引擎，使其能够在不拖慢整个系统速度的情况下，分辨出两个非常相似的视频或文档之间的细微差别？
来自字节跳动抖音团队和中国人民大学的作者们推出了一种名为**抖音多模态嵌入（Douйn Multimodal Embedding, DME）**的新模型。他们认为，以往试图让搜索变得更“聪明”的尝试之所以失败，是因为它们试图强迫计算机在给出答案之前先写出一长串解释（比如一步步的推理链）。虽然这会让答案变得更好，但对于实际应用来说太慢了。相反，DME 使用了一种巧妙的两阶段训练过程，旨在教会模型成为一个“超级聪明的指纹制造者”，它不需要通过“说话”来展现智慧。
首先，模型经历了一场大规模的“新兵训练营”（第一阶段），在这个阶段，它学习如何匹配数十亿种不同类型的内容——文本、图像、视频和文档——就像传统的快速搜索引擎那样。这给了它对世界的广泛理解。接着，在第二阶段，模型得到了一次特别的升级。研究人员教会了它两个秘密技巧。第一个是**“基于证据的潜空间推理”（Evidence-Grounded Latent Reasoning）**。想象一位侦探，他不需要写一份冗长的报告，而是拥有一份微小的、隐形的心理清单，帮助他在形成观点之前专注于最重要的线索（比如路标上的特定文字或视频中的某一帧）。DME 在内部实现了这一点，在隐藏的空间中组织其思绪，而不会减慢搜索速度。
第二个技巧是**“跨条件重构”（Cross-Conditional Reconstruction）**。这就像是一个记忆游戏。模型被训练去观察一段视频的“指纹”，并尝试从零开始“重建”该视频的文本描述。如果它能成功重建描述，就证明这个指纹包含了所有必要的细节。这迫使模型将更多信息压缩进它的指纹中，确保它不会错过那些让搜索结果真正相关的细粒度细节。
结果令人印象深刻。在一项名为 MMEB-v2 的重大测试中，DME 的 20 亿和 90 亿参数版本均取得了顶尖成绩，击败了同等规模的其他模型，尤其是在视频和视觉文档搜索等棘手领域。但真正的考验在于现实世界。当部署在抖音上时，该模型在离线测试中将整体搜索质量提升了 2.92%，并在在线实测中提升了 0.1% 的用户参与度。至关重要的是，所有的这些“聪明才智”几乎没有带来速度上的损失；这个“心理清单”为每个查询增加的延迟不到 1 毫秒。
论文指出，通过将简单编码器的速度与推理模型的深度理解相结合，DME 解决了效率与精度之间长期存在的权衡问题。它证明了你并不需要让计算机“说话”来让它思考；有时，最好的推理发生在沉默之中，隐藏在指纹本身之内。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。