💬 NLP

OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework

本文提出了 OneSearch-V2，一种通过思维增强查询理解、推理内化自蒸馏训练及行为偏好对齐优化三大创新，显著提升复杂查询理解与用户意图挖掘能力，并在不增加推理成本的情况下有效改善搜索体验与商业指标的生成式搜索框架。

原作者： Ben Chen, Siyuan Wang, Yufei Ma, Zihan Liang, Xuxin Zhang, Yue Lv, Ying Yang, Huangyu Dai, Lingtao Mao, Tong Zhao, Zhipeng Qian, Xinyu Sun, Zhixin Zhai, Yang Zhao, Bochao Liu, Jingshan Lv, Xiao Liang

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ben Chen, Siyuan Wang, Yufei Ma, Zihan Liang, Xuxin Zhang, Yue Lv, Ying Yang, Huangyu Dai, Lingtao Mao, Tong Zhao, Zhipeng Qian, Xinyu Sun, Zhixin Zhai, Yang Zhao, Bochao Liu, Jingshan Lv, Xiao Liang, Hui Kong, Jing Chen, Han Li, Chenyi Lei, Wenwu Ou, Kun Gai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OneSearch-V2 的“超级搜索助手”，它是快手电商搜索系统的升级版。

为了让你更容易理解，我们可以把电商搜索想象成去一家巨大的、没有导购的超级超市买东西。

🛒 核心故事：从“死记硬背”到“聪明导购”

1. 旧版本（OneSearch V1）：像一本“死板的字典”

怎么工作： 当你输入“红色 T 恤”时，它就像一本字典，只会在数据库里找包含“红色”和"T 恤”这两个词的商品。
痛点：
- 不懂潜台词： 如果你搜“送女朋友的礼物”，它可能只给你推“礼物盒”，却不懂你可能想要“口红”或“项链”。
- 死板： 它只记得过去大家怎么搜、怎么买。如果有个新商品刚上架，或者你的喜好变了，它就反应不过来。
- 信息茧房： 它总是给你推你以前买过的东西，让你觉得“怎么全是这些”，看不到新东西（长尾商品）。

2. 新版本（OneSearch V2）：像一位“经验丰富的金牌导购”
OneSearch-V2 引入了三个“超能力”，让它从字典变成了真人导购：

🧠 超能力一：深度思考（Thought-Augmented Query Understanding）

比喻： 以前你问导购“我要个能跑步的”，导购可能只给你推“跑鞋”。现在，这位金牌导购会先在脑子里过一遍：
- “用户说跑步，是在室内还是室外？是新手还是老手？是不是需要护膝？”
- 它会把你的简单搜索词（比如“送女友”），在脑子里拆解成具体的关键词（“口红”、“香水”、“项链”、“包包”）。
效果： 即使你搜得很模糊，它也能猜到你真正想要什么，不再只盯着字面意思。

🧠 超能力二：把思考“内化”成直觉（Reasoning-Internalized Self-distillation）

痛点： 如果让 AI 每次搜索前都像人一样把思考过程（写小作文）全打出来，速度太慢了，用户等不起。
解决方案： 论文发明了一种“自我蒸馏”技术。
- 比喻： 想象这位金牌导购先经过“特训”，在脑子里把“如何思考”的过程反复演练了成千上万次。最后，它把思考过程吃进了肚子里，变成了肌肉记忆和直觉。
- 结果： 当你问它问题时，它不需要再“想”一遍，而是瞬间凭直觉给出最精准的答案。既保留了思考的深度，又保持了闪电般的速度，而且不需要额外的硬件成本。

🎯 超能力三：直接听用户反馈（Behavior Feedback Preference Alignment）

旧模式： 以前，系统靠一个“中间人”（奖励模型）来告诉 AI 什么好。这个中间人只看历史数据，容易有偏见，或者为了刷分而“作弊”（比如只推那些容易点击但质量差的东西）。
新模式： OneSearch-V2 直接听用户的真实行为。
- 比喻： 不再听“中间人”转述，而是直接看用户有没有点击、有没有加购物车、有没有付款。
- 创新点： 它把搜索过程看作一个层层递进的过程（先选大类，再选具体属性）。如果第一步（大类）选错了，后面再对也没用。它学会了“前功尽弃”的逻辑，只奖励那些每一步都走对的路径，从而更精准地匹配用户需求。

📊 实际效果：真的变强了吗？

在快手的真实电商环境中，这个“金牌导购”上线后，效果非常惊人：

卖得更多了： 商品点击率提升了 3.98%，下单转化率提升了 3.05%，订单量增加了 2.11%。
体验更好了： 用户觉得搜索结果更相关了，页面满意度提升了 1.65%。
更公平了： 它不再只盯着热门商品，那些刚上架的“冷门”商品（长尾商品）也能被更多人看到，解决了“信息茧房”问题。
没变慢： 最重要的是，它虽然变聪明了，但没有增加任何延迟，用户感觉不到等待时间变长。

💡 总结

OneSearch-V2 的核心思想就是：让 AI 像人一样思考，但像机器一样快。

它不再死板地匹配关键词，而是通过“深度思考”理解你的真实意图，通过“自我内化”把思考变成直觉，通过“直接反馈”不断修正自己的推荐策略。这让电商搜索从一个简单的“找东西工具”，变成了一个懂你、能帮你发现新惊喜的“智能购物伙伴”。

1. 研究背景与问题 (Problem)

背景：
生成式检索（Generative Retrieval, GR）作为一种端到端联合优化的范式，在工业级搜索系统中展现出比传统多阶段级联架构更高的效率和性能。快手科技此前部署的 OneSearch (V1) 框架已取得了显著的商业成功。

现有挑战 (V1 的局限性)：
随着用户偏好多样化和查询复杂化，OneSearch V1 面临三个核心瓶颈：

复杂查询理解不足： 许多查询（如“室内健身器材”）语义模糊或属于长尾查询（如否定句、疑问句），V1 仅依赖原始查询进行单次前向推理，缺乏深层语义理解和推理能力，导致匹配不准。
用户意图推理缺失： V1 过度依赖历史共现模式（Log-fitting），缺乏对用户上下文（如过敏史、当前季节）的个性化推理。虽然大模型（LLM）具备 Chain-of-Thought (CoT) 能力，但直接生成显式 CoT 会导致推理延迟过高，无法在线部署。
奖励系统脆弱且存在偏差： 现有的奖励模型基于历史日志训练，容易过拟合窄众偏好，导致“奖励黑客”（Reward Hacking）和信息茧房效应，且难以适应新出现的查询和意图。

2. 核心方法论 (Methodology)

OneSearch-V2 提出了一种潜在推理增强的自蒸馏生成式搜索框架，包含三个关键创新模块：

2.1 思维增强型复杂查询理解模块 (Thought-Augmented Query Understanding)

机制： 利用 LLM 为每个“查询 - 用户”对生成显式的思维链（CoT），但为了适应工业部署，将其压缩为基于关键词的 CoT (Keyword-based CoT)。
流程：
1. 查询分析： 识别意图、层级分类、属性识别及话题推荐。
2. 关键词提取： 提取高信息密度的关键词，并经过同义合并和去重。
3. 偏好校准： 结合用户画像和历史行为，过滤或增强关键词以匹配个人兴趣。
作用： 这些关键词作为训练时的语义对齐语料，帮助模型学习复杂的查询解释；在推理时，它们作为补充信号注入模型输入（RAG 模式），提升长尾和模糊查询的识别能力。

2.2 推理内化自蒸馏训练流水线 (Reasoning-Internalized Self-Distillation)

核心思想： 将显式的推理能力“内化”为模型的参数直觉，避免在线推理时生成冗长的 CoT 文本，从而零额外推理成本。
自蒸馏设计 (Self-Distillation)：
- 教师 (Teacher)： 接收包含关键词 CoT 的增强输入。
- 学生 (Student)： 接收原始查询输入（无关键词）。
- 共享权重： 教师和学生使用同一组模型参数 $\theta$ ，通过信息不对称（教师有额外信息）进行蒸馏。
- 目标： 最小化学生在无关键词输入下的输出分布与教师在有关键词输入下的输出分布之间的 KL 散度。
稳定性增强：
- R-Drop： 对同一输入进行两次前向传播（独立 Dropout），最小化输出分布差异，增强预测一致性。
- FGM (Fast Gradient Method)： 对输入嵌入层进行对抗性扰动，增强模型对输入微小变化的鲁棒性。
- Focal Loss： 缓解 SID 词汇表中的长尾类别不平衡问题。

2.3 行为反馈偏好对齐优化系统 (Behavior Feedback Preference Alignment)

去奖励模型化： 摒弃了单独训练的奖励模型（Reward Model），直接使用用户交互反馈（点击、加购、购买）作为复合奖励信号。
复合奖励设计： 结合相关性奖励（Relevance）、后验点击率奖励（CTR）和点击/订单奖励（C&O）。
Token-Position Marginal Advantage (TPMA)：
- 问题： 传统的 GRPO 算法对生成的整个序列赋予相同的优势值（Advantage），忽略了 SID 生成的层级因果结构（粗粒度类别 -> 细粒度属性）。
- 解决方案： 引入位置边际优势。根据前缀（Prefix）的正确性动态调整梯度流。如果前缀错误，后续细粒度 token 的梯度被抑制（Prefix Gate）；如果前缀正确，则根据该位置的边际贡献计算优势。这使得模型能先学习正确的类别，再学习具体属性。

3. 主要贡献 (Key Contributions)

思维增强查询理解： 提出了基于关键词的 CoT 提取与注入机制，在不增加推理延迟的前提下，显著提升了模型对复杂、模糊及长尾查询的语义理解能力。
推理内化自蒸馏： 设计了一种无需额外参数、无需特殊 Token 的自蒸馏框架。通过信息不对称训练，将显式推理能力编码进模型权重，实现了“隐式推理”，解决了在线部署的延迟瓶颈。
行为反馈偏好对齐： 构建了基于直接用户反馈的优化系统，并提出了 TPMA-GRPO 算法。该系统不仅解决了奖励模型的采样偏差问题，还通过层级感知的优势分配机制，提升了生成序列的准确性和业务转化率。
工业级落地验证： 在快手商城搜索平台进行了大规模部署，证明了该框架在提升业务指标的同时，未增加推理成本，并有效缓解了信息茧房和长尾稀疏问题。

4. 实验结果 (Results)

4.1 离线评估

召回与排序： OneSearch-V2 在订单（Order）和点击（Click）数据上的 HR@10 和 MRR@10 均显著优于 V1 及各类基线模型。
- 相比基线，Order HR@10 提升了 2.04% (从 20.46% 到 22.14%)。
- 相比基线，Order MRR@10 提升了 0.62%。
消融实验： 证明了自蒸馏（Self-Distillation）是性能提升的主要驱动力，R-Drop 和 FGM 进一步增强了鲁棒性。TPMA 机制在平衡多目标奖励方面表现最优。

4.2 在线 A/B 测试 (Kuaishou Mall)

在真实的线上流量测试中，OneSearch-V2 相比 V1 取得了显著的业务增长（统计显著 P<0.05）：

商品点击率 (Item CTR): +3.98%
页面点击率 (PV CTR): +1.17%
买家转化率 (Buyer CVR): +2.90%
订单量 (Order Volume): +2.11%
GMV (商品交易总额): +3.45%
人工评估： 页面好评率 (Page Good Rate) 提升 +1.65%，查询 - 商品相关性 (Query-Item Relevance) 提升 +1.37%。

4.3 细分场景表现

长尾查询： 提升最为显著（CTR 相对增益达 5.37%），证明了模型在处理语义模糊查询上的优势。
冷启动商品： 新发布商品的 CTR 提升高达 6.16%，有效缓解了长尾稀疏问题。
全行业覆盖： 在服装、鞋包、美妆等头部但语义模糊的行业表现尤为突出。

5. 意义与价值 (Significance)

突破推理与延迟的权衡： OneSearch-V2 成功证明了可以通过“训练时推理、推理时直觉”的自蒸馏策略，让生成式检索模型具备复杂的推理能力，同时保持与 V1 相同的推理延迟，解决了 LLM 推理成本高难以落地的痛点。
解决工业搜索的深层痛点： 通过直接行为反馈和层级感知优化，有效解决了传统搜索系统中常见的“信息茧房”、“长尾商品曝光难”以及“奖励模型过拟合”等问题。
灵活的动态优化： 系统支持流式更新和基于业务目标的灵活干预（如大促期间对新商家的流量扶持），展现了生成式搜索在动态商业环境中的适应性。
开源贡献： 代码已开源，为生成式检索领域的研究提供了重要的工业级参考基准。

总结： OneSearch-V2 通过思维增强理解、推理内化自蒸馏和行为反馈对齐三大支柱，将生成式搜索从简单的“查询 - 商品”匹配提升到了具备深度推理和个性化意图理解的新高度，在快手电商场景中实现了显著的业务增长和用户体验提升。