Not All Candidates are Created Equal: A Heterogeneity-Aware Approach to Pre-ranking in Recommender Systems

本文针对推荐系统预排序阶段训练样本异质性导致的梯度冲突与计算资源浪费问题，提出了 HAP 框架，通过冲突感知采样与自适应计算预算分配机制，在 Toutiao 生产环境中实现了零额外成本下的用户时长与活跃度显著提升。

要点

这篇论文讲的是推荐系统（比如今日头条、抖音、淘宝这些 APP 里的“猜你喜欢”）中一个非常关键但常被忽视的环节——“初筛”（Pre-ranking）。

为了让你轻松理解，我们可以把整个推荐系统想象成一家超级繁忙的“选角导演”团队，他们的任务是从几亿个演员（候选内容）中，挑出几百个最合适的，最后让大导演（最终排序）决定谁上电视。

1. 核心问题：演员太杂，导演太累

在“初筛”这个阶段，系统面临两个大麻烦：

• 麻烦一：演员水平参差不齐（样本异质性）
  想象一下，导演手里拿着几千张演员简历。

  • 有的演员一眼就能看出不行（比如长得完全不像主角，或者演技太差），这叫“容易样本”。
  • 有的演员长得特别像主角，演技也差不多，很难区分谁更好，这叫“困难样本”。
  • 以前的做法：导演把所有人都混在一起，用同一套标准去评判。结果呢？那些“难搞”的演员（困难样本）总是让导演纠结，消耗了大部分精力；而那些“一眼假”的演员（容易样本）反而被忽略了，或者因为导演太纠结于难搞的，导致整体判断失误。这就好比让一个顶级大厨去切土豆丝，同时也让他去切萝卜，结果切萝卜花了他 90% 的时间，土豆丝切得也不够细。

• 麻烦二：大材小用，浪费资源（计算效率低）
  以前的做法是：不管来的是谁，都请同一个超级豪华的专家团队（大模型）来审核。

  • 对于“一眼假”的演员，请顶级专家来审核简直是杀鸡用牛刀，浪费钱又浪费时间。
  • 对于“难搞”的演员，专家又觉得不够用，因为大家混在一起，专家被那些简单的干扰项带偏了。

2. 论文提出的解决方案：HAP（智能分级筛选系统）

作者提出了一个叫 HAP 的新框架，核心思想就两点：“因材施教” 和 “分而治之”。

第一步：给演员分班（梯度和谐化对比学习 - GHCL）

在训练阶段，系统发现如果把“容易”和“困难”的样本混在一起教，模型会“晕头转向”。

• 比喻：就像教学生，如果让一个刚学会加减法的小学生（容易样本）和正在解微积分的学霸（困难样本）坐在同一张桌子上做同一套题，学霸会觉得题目太简单没劲，小学生会被题目吓哭，最后谁都没学好。
• HAP 的做法：它发明了一种新的“教学方法”（梯度和谐化损失函数）。它把容易和困难的样本分开，但又在同一个课堂里教。它调整了“打分规则”，确保那些难搞的样本不会“霸占”老师的注意力，让简单的样本也能得到足够的关注。这样，模型学得更稳，不会偏科。

第二步：建立“流水线”工厂（难度感知模型路由 - DAMR）

在真正干活（在线服务）的时候，HAP 把原来的“单一大工厂”改成了**“双层流水线”**：

1. 第一层：快速安检门（轻量级模型）

   • 角色：一个反应快、成本低的小助手。
   • 任务：把所有几千个演员快速过一遍。那些“一眼假”的（容易样本），小助手直接说“淘汰”，秒秒钟搞定，不需要惊动大人物。
   • 效果：过滤掉了 90% 的垃圾，大大节省了时间。

2. 第二层：专家会诊室（复杂模型）

   • 角色：一个经验丰富、能力强的顶级专家。
   • 任务：只处理那些小助手拿不准的、剩下的“难搞”的演员。因为专家只面对高难度的挑战，所以他能更精准地分辨谁更好。
   • 效果：把宝贵的专家资源用在刀刃上，既省了钱，又提高了准确率。

3. 实际效果：省钱又好用

这个系统已经在今日头条（Toutiao） 的后台运行了 9 个月。

• 用户感觉：大家刷新闻的时间变长了（APP 使用时长增加 0.4%），打开 APP 的天数也多了（活跃天数增加 0.05%）。虽然数字看起来很小，但在几亿用户的规模下，这相当于多服务了上百万人。
• 公司感觉：不仅没多花钱，反而省了 6% 的电脑算力成本，而且反应速度（延迟）还更快了。

总结

这篇论文的核心思想就是：不要“一刀切”。

在推荐系统里，不是所有的候选内容都一样难处理。

• 以前：用一个超级大脑处理所有事，既累又慢，还容易出错。
• 现在（HAP）：
  1. 教的时候：把容易和难的分开教，互不干扰，学得更扎实。
  2. 用的时候：简单的交给“小助手”快速处理，难的交给“大专家”精挑细选。

这就好比医院看病：

• 以前：不管感冒还是癌症，都让顶级专家排队看，专家累死，感冒病人也等得急。
• 现在：先由分诊台护士（轻量模型）快速把感冒的打发去普通门诊，只有疑难杂症（困难样本）才转给顶级专家（复杂模型）。
• 结果：病人看得更快，专家看得更准，医院运营成本更低。

这就是 HAP 带来的“聪明”的推荐方式。

技术摘要

1. 研究背景与核心问题 (Problem)

在工业级推荐系统中，预排序（Pre-ranking）阶段位于粗排（Retrieval）和精排（Ranking）之间，负责在毫秒级时间内将数千个候选项筛选至数百个。该阶段面临两个核心挑战：

1. 样本异质性导致的梯度冲突 (Gradient Conflicts from Heterogeneity)：

   • 预排序的训练样本来源多样，包括：曝光负样本（Exposed Negatives）、精排负样本（Ranking Negatives）、预排负样本（Pre-ranking Negatives）以及随机负样本（Global Random Negatives）。
   • 这些样本的“难度”差异巨大：曝光负样本最难（接近正样本），随机负样本最容易。
   • 问题：现有的预排序方法通常将这些异构样本混合训练。理论分析表明，在二元交叉熵（BCE）和 InfoNCE 损失函数下，难样本（Hard Negatives）会产生不成比例的大梯度，主导模型更新，导致易样本（Easy Samples）被忽视，模型陷入次优局部极小值，训练不稳定。

2. 计算资源分配的低效 (Computational Inefficiency)：

   • 工业界常通过增加模型复杂度（扩大参数量）来提升效果。
   • 问题：这种“一刀切”的扩容策略效率低下。易样本用轻量级模型即可处理，强行使用大模型不仅浪费算力，且对易样本带来的收益微乎其微（收益不对称）。

2. 方法论：HAP 框架 (Methodology)

为了解决上述问题，作者提出了 HAP (Heterogeneity-Aware Adaptive Pre-ranking) 框架，包含两个核心模块：

2.1 梯度和谐对比学习 (Gradient-Harmonized Contrastive Learning, GHCL)

• 目标：解决不同难度负样本间的梯度冲突，平衡训练动态。
• 机制：
  • 将负样本根据难度分为两组：难负样本集（Exposed Negatives, Ranking Negatives）和易负样本集（Pre-ranking Negatives, Global Random Negatives）。
  • 设计了一种分组的对比损失函数。对于每个正样本，分别计算其在“难负样本集”和“易负样本集”内部的 InfoNCE 损失，而不是将所有负样本混在一个分母中计算。
  • 数学原理：通过分离计算，避免了难样本的高分在 Softmax 分母中压制易样本的梯度贡献。理论推导证明，GHCL 显著降低了难样本与易样本之间的梯度比率，使梯度方向更一致，训练更稳定。

2.2 难度感知模型路由 (Difficulty-Aware Model Routing, DAMR)

• 目标：根据样本难度动态分配计算资源，实现精度与效率的平衡。
• 架构：采用两阶段级联架构：
  1. 轻量级模型 (Lightweight Model)：处理所有候选项。它使用 GHCL 学习所有类型的负样本，主要任务是快速过滤掉明显的易负样本（Easy Negatives）。
  2. 强表达模型 (Expressive Model)：仅接收由轻量级模型筛选出的“困难候选项”（Hard Candidates）。该模型专门针对难样本（如曝光负样本、精排负样本）进行训练，使用更深的网络和注意力机制来捕捉复杂特征。
• 优势：在固定计算预算下，将昂贵的算力集中在最难处理的样本上，避免了在易样本上的算力浪费。

2.3 在线部署与工程优化

• 在头条（Toutiao）系统中重构了预排序模块，建立了实时的列表级样本流水线。
• 通过共享特征引用策略（Shared Feature Reference）减少存储冗余（减少 60% 以上）。
• 设计了门控阈值（Gating Threshold），动态控制从轻量模型转发到强模型的候选项数量，以平衡延迟和效果。

3. 关键贡献 (Key Contributions)

1. 理论洞察：首次系统性地揭示了预排序阶段因样本异质性导致的梯度主导（Gradient Dominance）问题，并证明了混合训练会导致优化冲突。
2. 统一框架 (HAP)：提出了结合 GHCL（解决优化冲突）和 DAMR（解决计算低效）的统一框架，实现了效果与效率的双赢。
3. 开源数据集 (ToutiaoRec)：发布了一个大规模、全标注的工业级多阶段推荐数据集（ToutiaoRec），包含 7000 万用户请求、3.13 亿条记录，覆盖了从检索到重排的完整链路，填补了开源界缺乏全链路数据的空白。
4. 工业级落地验证：在头条生产环境中成功部署并运行 9 个月，验证了方法的实际价值。

4. 实验结果 (Results)

4.1 离线实验 (Offline Performance)

• 数据集：基于 ToutiaoRec 数据集。
• 指标：AUC, CTR, 时长等。
• 结果：
  • HAP 在所有测试集（按负样本类型和难度划分）上均优于现有的 SOTA 预排序模型（如 DSSM, COLD, COPR, HCCP）。
  • 特别是在难样本集 (THard) 上，HAP 的 AUC 提升最为显著，证明了其对困难样本的区分能力。
  • 消融实验证明：移除 GHCL 会导致 AUC 显著下降；移除 DAMR（使用统一大模型）虽然参数更多，但计算成本增加且在线延迟更高，效果反而不如 HAP。

4.2 在线实验 (Online Deployment)

• 场景：今日头条（Toutiao）推荐系统。
• 对比基线：之前的 SOTA 生产模型。
• 核心指标提升：
  • 用户活跃天数 (Active Days): +0.05%
  • App 使用时长 (App Usage Duration): +0.4%
  • 点击率 (CTR): +3.0%
• 成本与延迟：
  • 在提升效果的同时，CPU 使用率降低了 6%，延迟（Latency）降低了约 10%（从 225ms 降至 203ms）。
  • 证明了 HAP 在提升效果的同时，通过智能路由降低了整体计算成本。

5. 意义与价值 (Significance)

1. 重新定义预排序范式：打破了传统“混合样本 + 统一大模型”的预排序范式，提出了“样本分治 + 模型路由”的新思路，为工业界处理大规模异构数据提供了新的理论依据。
2. 解决“梯度冲突”痛点：GHCL 提供了一种简单有效的数学手段，解决了多源负样本混合训练时的梯度不平衡问题，具有广泛的通用性。
3. 极致的性价比：HAP 证明了在工业系统中，“更聪明的架构”比“更大的模型”更重要。通过自适应分配资源，实现了在降低算力的同时提升业务指标（如时长、活跃度），这对成本敏感的推荐系统具有极高的参考价值。
4. 数据开源推动研究：ToutiaoRec 数据集的发布，使得学术界和工业界能够基于真实的全链路数据进行复现和深入研究，推动了预排序和多阶段推荐系统的技术发展。

总结：这篇论文通过深入分析预排序阶段的样本异质性，提出了 HAP 框架，利用梯度和谐化解决优化冲突，利用难度感知路由解决计算低效。其在头条生产环境的成功落地（提升效果且降低成本）以及开源的大规模数据集，使其成为推荐系统领域具有里程碑意义的工作。