💬 NLP

Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

本文提出了一种结合强化学习与知识蒸馏的框架，通过训练大语言模型从跨域用户信号中生成兴趣驱动的新闻搜索查询，并利用在线蒸馏技术将高性能策略迁移至轻量级模型，从而在大规模新闻推荐系统中显著提升了用户兴趣建模质量与推荐效果。

原作者： Mengdan Zhu, Yufan Zhao, Tao Di, Yulan Yan, Liang Zhao

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Mengdan Zhu, Yufan Zhao, Tao Di, Yulan Yan, Liang Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何更懂你”**的故事，特别是当你在不同的网络世界里留下足迹时，新闻平台如何真正理解你的兴趣，而不是仅仅盯着你点过什么。

我们可以把这篇论文的核心思想想象成**“一位超级侦探（大模型）在训练一位敏捷的助手（小模型）”**。

以下是用大白话和比喻为你拆解的整个过程：

1. 痛点：你留下的“脚印”太乱了

想象一下，你在网上冲浪，就像在森林里走路。

你搜过“怎么做红烧肉”（搜索记录）。
你点过一篇关于“火星移民”的文章（新闻点击）。
你在某个论坛发过“周末去哪玩”的帖子（浏览历史）。

传统的推荐系统就像是一个只会数脚印的统计员。它只会说：“这个人点了 10 次科技新闻，所以给他推科技新闻。”但这有个大问题：

太表面：它不知道你为什么点科技新闻（是因为喜欢，还是因为工作需要？）。
太死板：它很难把你“搜索红烧肉”和“浏览美食文章”联系起来，发现你其实是个“吃货”。
跨域难：它在不同平台（搜索、点击、浏览）之间很难打通，就像统计员把森林里的脚印、车辙和鸟鸣混在一起，却分不清哪些是“你”留下的。

2. 核心方案：让 AI 当“翻译官”和“侦探”

这篇论文提出了一种新方法，不再直接猜你爱看什么，而是让你“想”出你真正感兴趣的话题。

第一步：大侦探（老师模型）出场

他们训练了一个超级大模型（Teacher LLM，比如 320 亿参数），就像一位经验丰富的老侦探。

任务：老侦探把你所有的杂乱脚印（搜索、点击、浏览）放在一起看。
推理：它不只是数数，而是思考。它会想：“哦，这个人搜了红烧肉，又看了美食文章，还搜了‘周末去哪’，看来他最近对‘家庭烹饪’和‘周末短途游’特别感兴趣。”
输出：老侦探不会直接给你推文章，而是生成一份“搜索关键词清单”（比如：“家庭红烧肉做法”、“周末亲子游攻略”）。这份清单代表了你深层的、可复用的兴趣。

第二步：如何教好侦探？（强化学习 + 多重奖励）

怎么确保老侦探生成的清单是高质量的呢？就像教学生做题，不能只给答案，要给多维度的评分：

能不能搜到东西？（检索对齐）：生成的关键词必须能在新闻库里搜到好文章。
覆盖全不全？（兴趣覆盖）：不能只盯着一个点，要覆盖你所有的兴趣面。
够不够具体？（查询特异性）：不能只写“新闻”，要写“最新科技动态”。
有没有重复？（列表多样性）：清单里不能全是同一个意思的词。
格式对不对？（结构有效性）：必须是个像样的列表。

老侦探通过不断尝试、自我反思（强化学习），在这些评分标准下变得越来越聪明。

第三步：培养小助手（蒸馏技术）

问题来了：老侦探虽然聪明，但太笨重了！它思考一次需要很久，成本很高，没法在几毫秒内给几百万用户同时服务。

于是，他们用了**“师徒制”（蒸馏）**：

老师（大模型）：在后台慢慢思考，生成完美的关键词清单。
学生（小模型，比如 0.5B 参数）：在旁边看着老师怎么做，学习老师的“思维过程”和“决策逻辑”。
结果：学生模型虽然个头小、反应快，但它继承了老师 90% 以上的智慧。现在，它可以在瞬间生成高质量的关键词清单，直接用于在线推荐。

3. 两个有趣的发现：算力和规模的力量

论文里还做了两个有趣的实验，就像在测试“练功”的效果：

模型越大，越聪明（空间缩放）：把老师模型从“小学生”（0.5B）升级到“博士”（32B），它理解用户的能力确实更强了，推荐更准。
多想几次，更精准（时间缩放）：让模型在生成答案前，先“头脑风暴”出 32 个方案，然后挑最好的那个。结果发现，想得越多，答案越完美。

4. 实际效果：真的有用吗？

离线测试：在历史数据上跑，新方法的推荐准确率（Recall, NDCG）比以前的老方法（如 GRU, SASRec 等）都要高。
在线实战（A/B 测试）：这是最关键的。他们把这个系统放到了真实的新闻 App 里运行了一周。
- 结果：用户的**日活（DAU）和点击率（CTR）**都提升了。
- 惊喜：对于**“冷启动用户”**（那些刚注册、没怎么点过新闻的新用户），效果提升特别巨大（DAU 提升了 4.38%）。这说明，哪怕没有太多历史数据，只要通过跨平台的信号（搜索、浏览）去推理，也能很快猜出你喜欢什么。

总结

这篇论文的核心就是：
别只盯着用户“做了什么”（点击），要利用大模型的推理能力，去理解用户“想要什么”（深层兴趣）。

他们先让一个超级大脑学会如何从杂乱的信息中提炼出用户的兴趣清单，然后把这个智慧传授给一个轻量级的小模型，让它能在毫秒级时间内为亿级用户服务。这不仅让推荐更准，也让新用户能更快找到自己喜欢的内容。

这就好比，以前推荐系统像个只会数数的收银员，现在变成了一个懂你心思的私人管家，虽然管家思考需要时间，但通过“师徒传承”，我们拥有了一个既聪明又反应神速的管家团队。

这是一篇关于跨域新闻推荐中用户兴趣建模的学术论文总结。该论文提出了一种基于**推理（Reasoning）和强化学习（Reinforcement Learning, RL）的框架，利用大语言模型（LLM）从异构的跨域用户行为信号中提取可复用的深层用户兴趣，并通过在线策略蒸馏（On-policy Distillation）**技术将其部署到大规模生产系统中。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心挑战：传统的新闻推荐系统主要依赖协同过滤或基于嵌入的序列建模，难以捕捉用户深层的、可复用的兴趣，尤其是在面对**跨域（Cross-domain）且噪声大（Noisy）**的异构信号（如搜索日志、点击流、浏览历史等）时。
现有局限：
- 传统方法难以学习合理的个性化嵌入。
- 难以捕捉深层的序列信号。
- 直接在大模型上进行推理成本过高，无法满足大规模在线服务的低延迟和高吞吐要求。
目标：从跨域用户行为中推断出一组代表用户深层兴趣的新闻搜索查询列表（Query List），用于增强下游的检索和推荐效果，同时保证系统的可扩展性。

2. 方法论 (Methodology)

该框架包含三个主要阶段：数据清洗、基于多奖励强化学习的兴趣生成、以及在线策略蒸馏。

2.1 数据清洗 (Noise Cleaning)

原始行为日志包含大量噪声（如乱码、导航输入、无关搜索）。
使用轻量级的 RoBERTa 二分类器，基于 GPT-5 标注的数据进行训练，过滤掉与用户深层兴趣无关的噪声信号，保留高价值行为。

2.2 基于多奖励强化学习的兴趣生成 (Interest Generation via Multi-Reward RL)

问题重构：将跨域兴趣发现重构为查询列表生成问题。输入为用户清洗后的行为序列 $\tilde{B}_u$ ，输出为一组新闻搜索查询 $Z_u$ 。
算法核心：采用 Dr.GRPO (Group Relative Policy Optimization)，这是 GRPO 的改进版本。
- 策略优化：将生成过程视为策略优化问题，通过组内相对优势（Group Relative Advantage）来更新策略。
- 多奖励信号设计：为了引导模型生成高质量的查询列表，设计了五个互补的奖励信号：
  1. 检索对齐 (Retrieval Alignment, $R_{align}$ )：确保生成的查询能从内部 ANN 索引中检索到相关文章。
  2. 兴趣覆盖 (Interest Coverage, $R_{cov}$ )：鼓励查询集合覆盖用户行为的多样化潜在兴趣。
  3. 查询特异性 (Query Specificity, $R_{spec}$ )：鼓励内容丰富、非通用的个性化查询。
  4. 列表内多样性 (Intra-list Diversity, $R_{div}$ )：促进同一列表中查询之间的语义非冗余性。
  5. 结构有效性 (Structural Validity, $R_{struct}$ )：确保输出格式符合预设约束。
训练对象：使用 Qwen2.5-32B 作为教师模型（Teacher Model）进行训练。

2.3 在线策略蒸馏 (On-Policy Distillation)

动机：32B 模型推理成本过高，无法直接用于在线服务。
方法：将教师模型学习到的策略蒸馏到轻量级的学生模型（Student Model，Qwen2.5-0.5B）。
技术细节：采用在线策略蒸馏，最小化学生模型与教师模型在解码步骤上的反向 KL 散度。这不仅利用了教师生成的轨迹（Rollouts），还结合了教师对每个 Token 的密集监督，使学生模型能在低延迟下保留大部分推理能力。

3. 关键贡献 (Key Contributions)

LLM 兴趣建模的缩放特性 (Scaling Properties)：
- 证明了在噪声信号下，通过多奖励 RL 训练，LLM 能有效推断可复用的用户兴趣。
- 发现**模型容量（空间缩放）和推理时采样（时间缩放，Best-of-N）**均能带来类似缩放定律（Scaling Law）的性能提升。
可扩展的兴趣生成蒸馏框架：
- 提出了一种在线策略蒸馏方法，成功将计算密集型的教师策略转移到紧凑的学生模型，实现了低延迟、高吞吐的生产部署。
大规模实证验证：
- 在离线评估、消融实验以及大规模在线 A/B 测试中均取得了显著成果，验证了该方法在工业级新闻推荐系统中的有效性。

4. 实验结果 (Results)

4.1 离线实验 (Offline Evaluation)

数据集：来自内部大规模新闻推荐系统的真实用户日志（50 万用户，120 万新闻，跨域行为数据）。
对比基线：包括 GRU, SASRec, NRHUB, PinSage, HSTU 等主流推荐模型。
主要发现：
- 性能提升：RL 训练的 32B 教师模型在所有指标（Recall@K, NDCG@K, MRR）上均显著优于所有基线。例如，Recall@10 从 HSTU 的 0.250 提升至 0.271。
- 蒸馏效果：蒸馏后的 0.5B 学生模型（Recall@10: 0.261）保留了教师模型的大部分性能（0.271），远优于无蒸馏训练或监督蒸馏的效果。
- 缩放效应：
  - 模型容量：从 0.5B 增加到 32B，性能持续提升。
  - 推理采样：增加采样数量 $N$ （Best-of-N）也能提升性能，但在 $N$ 较大时收益递减。

4.2 在线 A/B 测试 (Online A/B Tests)

部署方式：作为额外的召回路径集成到生产系统中，为期 7 天的流量实验。
核心指标提升：
- DAU (日活跃用户)：提升 +0.95% (p-value 0.012)。
- CTR (点击率)：提升 +0.22% (p-value 0.031)。
- 冷启动用户 (Cold User)：DAU 提升高达 +4.38%。这表明利用跨域异构信号能显著改善缺乏直接新闻交互历史的新用户或冷启动用户的推荐体验。

5. 意义与价值 (Significance)

工业界首创：这是已知首个在大规模商业新闻推荐系统中部署推理驱动的强化学习框架进行用户兴趣建模的案例。
范式转变：从传统的“基于历史交互相似度”转向“基于 LLM 推理的深层兴趣抽象”，能够处理更复杂的跨域信号。
工程落地：通过“大模型训练 + 小模型蒸馏”的范式，解决了 LLM 在推荐系统中推理成本高的问题，证明了在工业级系统中实现高成本训练、低成本推理的可行性。
冷启动突破：特别展示了该方法在解决冷启动用户推荐难题上的巨大潜力，为个性化推荐提供了新的思路。

总结

该论文提出了一套完整的解决方案，利用大语言模型的推理能力，结合强化学习（GRPO）和多维度奖励机制，从嘈杂的跨域数据中提炼出高质量的用户兴趣查询。通过在线策略蒸馏技术，成功将这一高成本模型转化为适合大规模在线部署的轻量级模型，并在实际生产环境中验证了其在提升用户活跃度和点击率（尤其是冷启动场景）方面的显著效果。