💬 NLP

MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction

MixLM 是一种新颖的大语言模型（LLM）排序框架，它通过混合交互机制将冗长的文本输入替换为紧凑的嵌入标记（embedding tokens），从而显著提升系统吞吐量，在保持高相关性的同时，实现了在实际搜索应用中的高效全流量部署。

原作者： Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan So

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan Song, Xiaoqing Wang, Zhipeng Wang, Qing Lan, Yanning Chen, Jingwei Wu, Luke Simon, Wenjing Zhang, Qi Guo, Fedor Borisyuk

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营着一家规模宏大的图书馆，每秒钟都有数百万人向你寻求书籍推荐。你拥有一位才华横溢、超级聪明的图书管理员（即大语言模型，或 LLM），他能读完一本书的完整描述，理解用户的提问，并瞬间判断出他们是否是完美的匹配。

问题在于？这位图书管理员非常严谨。为了给出一个好的答案，他需要为每一个候选书籍阅读其整个描述。如果一本书有 2,000 个单词，而他需要检查 1,000 本书，那么仅仅为了处理一个人的请求，图书管理员就必须阅读 200 万个单词。在现实世界的计算机服务器中，这不仅耗时，而且成本极高。图书馆会发生积压，人们的等待时间也会过长。

由此诞生了 MixLM：“速记笔记型”图书管理员。

LinkedIn 的研究人员发明了一种全新的工作方式，称为 MixLM。与其让图书管理员每次都阅读整本书，不如在图书管理员看到书籍之前，先将书籍的描述预处理成一份精简、高度浓缩的“速记笔记”（被称为嵌入标记/embedding tokens 的几个数字）。

它是如何运作的，我们可以将其分解为以下简单的步骤：

1. “预读”阶段（离线阶段）

想象一下，在图书馆开门营业之前，有一组助手阅读了图书馆里的每一本书。他们并没有写下摘要，而是将整本书浓缩成了一张完美的“本质卡片”。

论文指出： 他们使用“编码器 LLM”（Encoder LLM）将数千词的项目文本转化为一小组学习到的嵌入标记（embedding tokens）。
类比： 这些“本质卡片”被存储在一个特殊的、快速访问的柜子中（即近线缓存/nearline cache），就在图书管理员的办公桌旁边。

2. “混合”阶段（在线阶段）

当用户提出“我想要一份数据科学方面的工作”时，图书管理员不需要再次阅读完整的职位描述。

他们获取用户的提问（文本）。
他们从柜子中取出顶尖候选职位的“本质卡片”（嵌入/embeddings）。
他们将用户的提问与这些微小的卡片进行“混合”。
论文指出： 这创造了一个“混合交互表示”（mixed-interaction representation），它将文本标记（text tokens）与嵌入标记（embedding tokens）结合在一起。
类比： 这就像图书管理员正在阅读一张便签，上面写着：“用户想要数据科学” + [职位 A 的卡片] + [职位 B 的卡片]。图书管理员可以瞬间“感受到”用户与职位之间的联系，而无需在数千个单词中苦苦挣扎。

3. 结果：速度与智慧

由于图书管理员只需阅读几张“卡片”而非整本书，他们可以处理请求的速度比以前快了 75 倍，同时依然保持了几乎与那个缓慢、严谨的版本同等的聪明程度。

论文声称： 与“摘要化”方法相比，MixLM 将吞吐量提升了 10.0 倍；与阅读全文相比，吞吐量提升了 75.9 倍。
类比： 这就像是一个每小时能检查 290 本书的图书管理员（旧方法）与一个每小时能检查 22,000 本书的图书管理员（MixLM）之间的区别，而两者的准确度几乎相同。

他们是如何教导图书管理员的

你可能会好奇：“图书管理员是如何学会阅读这些微小卡片的？”
研究人员使用了一种巧妙的训练方法：

老师： 首先，他们训练了一位阅读整本书且非常准确的“超级图书管理员”。
学生： 然后，他们训练了“MixLM 图书管理员”去模仿超级图书管理员的决策，但使用的是微小的卡片而非完整的文本。
对齐： 他们加入了特殊的规则（损失函数/loss functions），以确保“本质卡片”能完美地契合进图书管理员的大脑，使得文本与卡片的混合感觉自然顺畅。

现实世界的影响

当 LinkedIn 将此系统应用于其职位搜索功能时：

他们终于能够让这种超级智能的 AI 服务于所有人（全量流量），而不仅仅是少数幸运的用户。
因为搜索变得更快、更智能，更多的人找到了他们喜欢的工作。
论文声称： 这带来了 0.47% 的日活跃用户（DAU）增长。在拥有数百万用户的平台世界里，这微小的百分比代表着庞大的人群体验到了更好的服务。

总而言之： MixLM 就像是给一位超级智能的 AI 提供了一个“荧光笔”，将长篇文档浓缩成精炼且强大的笔记。这让 AI 能够在不损失智能的前提下读得更快，使职位搜索（以及其他事物）的搜索引擎既极速又精准。

技术总结：MixLM

问题陈述

大语言模型（LLMs）通过捕捉传统词法方法容易忽略的细微语义信号，在搜索和推荐系统中展现出了卓越的相关性排序能力。然而，在工业级场景中将 LLMs 作为交叉编码器（cross-encoder）进行部署面临着一个关键瓶颈：计算成本。

标准的交叉编码器方法通过构建结合用户查询与长候选项目描述（通常包含数千个 token）的提示词（prompt）来进行工作。这导致了：

沉重的预填充（Prefill）推理压力： 计算成本主要由预填充阶段主导，由于注意力机制的存在，其计算量随上下文长度呈二次方增长。
吞吐量限制： 在严格的延迟预算（例如 500ms）下，系统被迫使用规模较小、能力较弱的模型，或者舍弃具有信息量的特征（例如通过文本摘要或剪枝），从而牺牲了排序质量。

核心挑战在于如何在显著减少输入上下文长度的同时，保留查询与完整文档之间丰富的语义交互。

方法论：MixLM 框架

作者提出了 MixLM，一种基于 LLM 的排序框架，它使用一组学习到的紧凑嵌入 Token（embedding tokens）取代了长项文本。这种“文本-嵌入混合交互”架构将项目描述的处理过程与在线排序阶段解耦。

1. 架构

MixLM 由两个主要组件组成：

编码器 LLM（Encoder LLM）： 在离线（或近线）阶段处理完整的项目描述，以生成紧凑的表示。该编码器并非仅输出单个向量，而是产生一个嵌入 Token 序列。在生产环境中，作者使用**最后 $N$ 个采样（last- $N$ sampling）**技术，从编码器的隐藏状态中选择少量 Token（例如 $T_S=1$ ）来代表该项目。
排序器 LLM（Ranker LLM）： 在线运行。它接收用户查询、辅助文本以及预先计算好的嵌入 Token。这些内容被拼接成一个“混合输入”提示词，该提示词比全文本提示词短得多。

排序器根据此混合输入预测相关性（ $p_{yes}$ ）。由于项目嵌入是预先计算并缓存的，在线推理仅需处理查询前缀和少量嵌入 Token，从而大幅降低了序列长度。

2. 训练流水线

作者采用了三阶段训练方案来对齐编码器和排序器：

第一阶段（领域推理微调）： 使用来自 7B 相关性判别模型的思维链（CoT）轨迹，在包含 18 万个样本的领域特定推理数据集上对一个 0.6B 的预训练 LLM 进行微调。这建立了一个能够理解相关性逻辑的基础模型。
第二阶段（排序器教师训练）： 将第一阶段的模型作为纯文本排序器进行进一步微调，使用完整的项目描述（10.9M 样本）。该模型作为一个高质量的“教师”模型，但由于成本过高，无法用于在线服务。
第三阶段（联合编码器-排序器训练）： 使用混合输入架构对编码器和排序器进行协同训练。训练目标结合了：
- 软标签 SFT 损失（Soft-Label SFT Loss）： 使预测结果与地面真值（ground truth）标签对齐。
- 蒸馏损失（Distillation Loss）： 使混合输入模型的输出分布与纯文本教师模型（第二阶段）的输出分布保持一致。
- 自我对齐损失（Self-Alignment Loss）： 确保编码器的输出嵌入与排序器的内部隐藏状态兼容。这包括隐藏状态对齐（使混合输入的最后一个隐藏状态与全文本输入的隐藏状态匹配）以及预测对齐。

在第三阶段使用了课程学习策略，最初优先考虑空间对齐（编码器与排序器的兼容性），随后转向侧重于蒸馏（相关性预测的准确性）。

3. 服务优化

为了最大化吞吐量，作者实施了多项系统级优化：

共享前缀预填充（Shared-Prefix Prefill）： 由于排序列表中所有项目的查询前缀是相同的，因此所有项目的查询前缀的键值（KV）缓存可以被计算一次并跨所有项目复用。
批内前缀缓存（In-Batch Prefix Caching）： 对推理引擎（SGLang）进行了修改，以合并注意力计算，允许后缀 Token（嵌入）在单次前向传播中同时关注共享前缀。
多进程架构： 服务堆栈通过多进程技术将 gRPC 前端与推理引擎解耦，以绕过 Python 全局解释器锁（GIL）带来的瓶颈。
KV 缓存管理： 消除了针对仅预填充（prefill-only）工作负载的冗余缓存操作，从而降低了 CPU 开销并增加了有效的 GPU 显存容量。

核心贡献

MixLM 框架： 一种新型的混合输入排序架构，通过使用紧凑的嵌入 Token 取代长文本文档，在保持语义表达能力的同时，将提示词长度降低了数个数量级。
端到端训练流水线： 一种带有自定义蒸馏和自我对齐损失的协同训练策略，成功地将高质量全文本教师模型的知识转移到了混合输入学生模型中。
生产级服务堆栈： 对推理引擎进行了全面的优化（包括共享前缀缓存和多进程处理），实现了高吞吐量的 LLM 服务。
工业化部署： 这是首个在 LinkedIn 职位搜索中实现全流量部署的基于 LLM 的语义排序系统，并通过大规模 A/B 测试得到了验证。

实验结果

离线评估

相关性质量： MixLM 达到了 NDCG@10 为 0.9239，与纯文本教师模型（0.9432）相当，且显著优于仅使用嵌入的检索（0.8380）和摘要文本基准（0.9218）。
吞吐量： 在固定的 500ms 延迟预算下：
- MixLM 的成绩为 22,000 项/秒/GPU。
- 这代表了相比于摘要文本 LLM 排序（2,200 项/秒/GPU）实现了 10.0 倍的提升。
- 相比于全文本 LLM 排序（290 项/秒/GPU）实现了 75.9 倍的提升。

在线 A/B 测试

MixLM 已部署到 LinkedIn AI 驱动的职位搜索 100% 的流量中。
该系统维持了与现有有限规模生产基准相当的相关性指标。
吞吐量的提升使得 LLM 排序的全面部署成为可能，直接导致了 0.47% 的日活跃用户（DAU）增长。

意义与主张

论文声称 MixLM 为在现实环境中部署基于 LLM 的排序系统提供了一条实用且可扩展的路径。通过弥合全文本 LLM 的语义丰富性与工业搜索效率要求之间的差距，MixLM 证明了：

通过嵌入进行上下文压缩： 在不显著损失排序质量的前提下，可以将数千个 token 压缩为少量嵌入 token 是可行的。
系统-模型协同设计： 高吞吐量不仅是通过改变模型架构实现的，更是通过模型设计（混合输入）与基础设施优化（KV 缓存、批处理）的紧密集成实现的。
业务影响： 效率的提升使得从有限规模或摘要文本的实验转向全流量 LLM 部署成为可能，从而直接推动了用户参与度指标（DAU）的提升。

作者将这项工作定位为解决此前阻碍交叉编码器 LLM 在生产搜索系统中广泛应用的“延迟-吞吐量”权衡问题的解决方案。