🤖 machine learning

Long-term User Engagement Optimization through Model-agnostic Downstream Rewards Learning

本文提出了一种统一的、与模型无关的框架，用于通过识别早期预测性会话行为并推导下游奖励信号，来优化大规模推荐系统中的长期用户参与度，该框架已成功部署于 Pinterest 的多个场景中，以提升留存指标。

原作者： Dingsu Wang, Filip Ryzner, Kelly He, Armando Ordorica, David Woo, Aditya Mantha, Liyao Lu, Usha Amrutha Nookala, Haoran Guo, Jiacong He, Olafur Gudmundsson, Matt Chun, Krystal Benitez, Dhruvil Deven B

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dingsu Wang, Filip Ryzner, Kelly He, Armando Ordorica, David Woo, Aditya Mantha, Liyao Lu, Usha Amrutha Nookala, Haoran Guo, Jiacong He, Olafur Gudmundsson, Matt Chun, Krystal Benitez, Dhruvil Deven Badani, Yijie Dylan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正漫步在一座宏大且无尽的图书馆中，书架会根据你的注视而重新排列。这就是推荐系统的世界，是 Pinterest、TikTok 和 Netflix 等应用背后的隐形引擎。它们的任务是猜测你下一步会喜欢什么。长期以来，这些系统就像是不耐烦的导游：它们只关心你现在是否停下来看了一眼展品。如果你点击了一张图片，它们会立刻为你展示十张类似的图片。但问题在于：如果只向人们展示他们已经熟悉的东西，他们会感到厌倦并最终停止造访这座图书馆。科学家们试图解决的大问题是：我们该如何推荐那些能让人们在数月甚至数年内都持续回访的内容，而不仅仅是吸引他们度过接下来的五分钟？

为了回答这个问题，研究人员必须应对一个棘手的现实：我们无法轻易预知未来。我们不能通过等待一个月看用户是否回归，来决定今天该向他们展示什么。因此，与其直接预测未来，不如寻找“线索”——即那些通常发生在用户决定留下来之前的微小行为。这篇论文正是关于如何寻找这些线索，并教会图书馆的导游如何遵循这些线索，从而将一次短暂、乏味的访问转变为一场漫长而精彩的冒险。

问题所在：“点击陷阱” (The "Click-Trap")

想象你在参加一场嘉年华。一个游戏摊位提供只要你转动轮盘就能获得免费糖果。你转动了轮盘，得到了糖果，然后离开了。摊主很高兴，因为你转动了轮盘，但你再也不会回来了。这就是当推荐系统只关注短期信号（如快速点击或一秒钟的瞥视）时发生的情况。它们获得了大量的“旋转”，但用户却感到厌倦，并永远离开了嘉年华。

这篇论文的作者（任职于 Pinterest）意识到，优化即时点击实际上正在损害其平台的长期健康。他们想要构建一个不仅会说“这里有你可能感兴趣的东西”，而且会说“这里有能让你留下来、探索并希望明天再次光临的东西”的系统。

解决方案：“兔子洞”侦探 (The "Rabbit Hole" Detective)

团队提出了一个聪明的想法：与其等待看用户下周是否回归（这很难追踪且效率低下），不如寻找下游奖励 (Downstream Rewards)。这就像是一个寻找足迹的侦探。如果用户深入探索了一个相关的“兔子洞”、保存了一张图片，或者花费了很长时间进行探索，这些都是强有力的足迹，表明：“这个人玩得很开心，并且很可能会回来。”

该论文提出了一个模型无关 (model-agnostic) 的框架。“模型无关”是一个高级说法，意思是指“它适用于任何类型的推荐引擎”，无论是一个简单的列表还是复杂的 AI。他们并不只是凭直觉猜测哪些行为是好的；他们运行了一个大规模的离线筛选过程，以找到那些真正能预测长期忠诚度的特定行为。

三个黄金线索

通过分析，他们确定了三种主要的“奖励”（线索），这些线索能带来快乐且会回访的用户：

深度探索 (更深的会话参与度)：
这不仅仅是关于点击，更是关于你走得有多深。论文发现，如果用户点击一个 Pin 图，然后立即深入到一个“P2P 兔子洞”（一系列相关的 Pin 图链条）中，或者保存它、下载它，这就是一次巨大的成功。
- 比喻： 这就像是仅仅窥视一个房间与真正搬进去住的区别。系统学会了去奖励那些愿意花时间探索“兔子洞”而非仅仅停留在表面的人。
- 结果： 他们发现，这些深度行为与用户的回访行为强相关。事实上，拥有这些深度行为的会话显著缩短了用户再次访问应用的时间间隔。
“假装兴趣”惩罚 (负面奖励)：
并非所有的点击都是好事。团队发现，某些“放大查看”（缩放图像）的行为实际上是无聊的信号。如果用户放大查看的时间不到一秒钟就立即离开，这就是一次“浅层放大”。
- 比喻： 想象有人走进一家商店，拿起一件商品，看了一眼就立刻放下。他们并不感兴趣，只是在消磨时间。
- 对策： 系统现在将这些瞬间的瞥视视为负面奖励。这就像导游在说：“嘿，别再给这个人展示这个东西了，他们显然并不喜欢。”他们甚至发现不同类型的用户需要不同的规则：“核心”用户需要 1 秒钟的阈值才会被视为浅层行为，而“非核心”用户只需 0.5 秒。
新的冒险 (用例采纳)：
有时，用户会陷入旧兴趣的循环中。论文引入了用例采纳 (Use Case Adoption) 的奖励。这发生在用户参与了与他们通常模式完全不同的新事物时。
- 比喻： 如果一个用户平时看“猫咪视频”，而系统向他展示了一个“如何修理自行车”的视频，而他真的观看并保存了它，这就是一次胜利。这意味着系统成功扩展了他的视野。
- 目标： 这鼓励 AI 向用户展示他们原本不知道自己想要的东西，帮助他们建立新的爱好和兴趣，从而让他们在平台上停留更久。

引擎室：他们是如何实现的

你可能会问：“如何在不减慢应用速度的情况下计算这一切？”作者构建了一个名为 DRv2 的新基础设施。

旧方式： 他们以前使用巨大的批处理来预计算所有这些奖励，这需要数周时间才能更新。如果他们想测试一个新想法，必须等待数周。
新方式： 他们构建了一个可以在数据被读取时实时计算这些奖励的系统。这把测试新想法的时间从 3 周缩短到了 2 天。这就像是从每次想吃一片蛋糕都要从头开始烘焙，变成了拥有一个神奇的机器，每当你想要时，它都能立即组装出一片新鲜的蛋糕。

结果：真的有效吗？

团队通过 A/B 测试（向一组人展示旧系统，向另一组人展示新系统）在现实世界中测试了这些想法。结果是一致且积极的：

更成功的会话： 用户进行有意义行为（如保存或下载）的会话数量全面增长了 +0.36%。
更多停留时间： 用户在应用中的停留时间增加了，总时长增加了 +0.10%。
更好的留存率： 最重要的是，核心用户的周活跃用户数 (WAU) 增加了 +0.1%。这证明了该系统不仅仅是在诱导点击，它确实让人们想要回来。
跨场景成功： 他们不仅修复了“首页”（主页面），还将同样的逻辑应用于了搜索 (Search)、相关 Pin 图 (Related Pins) 和通知 (Notifications)。在搜索领域，“达成率”（即搜索导致实际行动的频率）上升了 +0.25%。

总结

这篇论文表明，保持用户快乐的秘诀不仅仅是向他们展示他们已经喜欢的东西，而是引导他们进入更深层、更有意义的互动。通过奖励“深度探索”、惩罚“假性点击”并鼓励“新的冒险”，系统可以将一次匆匆一瞥转化为一段长期的关系。

作者谨慎地指出，这并不是解决一切问题的万灵药，但它是一个强大且灵活的工具，可以应用于应用的各个部分。通过关注旅程的质量而非点击的速度，他们成功构建了一个让推荐系统感觉不像自动售货机，而更像是一位懂得如何延续话题的贴心好友。

技术摘要：通过模型无关的下游奖励学习实现长期用户参与度优化

1. 问题定义

本文探讨了在大型推荐系统中（特别是在 Pinterest 的背景下）优化长期用户参与度和留存率的挑战。虽然现代系统能有效优化短期行为信号（如即时点击），但优化长期留存非常困难，主要由于以下三个因素：

稀疏性与噪声： 留存标签（例如用户是否在一周内返回）具有稀疏、多噪且仅能弱观测到的特性。
延迟与归因： 留存信号存在延迟，这使得将未来的结果归因于早期的特定推荐变得具有挑战性。
分布偏移： 用户兴趣和数据分布随时间演变，导致固定的代理目标变得陈旧，并与驱动长期价值的行为脱节。

现有的强化学习（RL）或序列建模方法通常需要特定任务的奖励工程，存在大量的计算开销，且难以在不同的产品界面（如首页 Feed、搜索、相关 Pin 图）之间进行泛化。

2. 方法论

作者提出了一个统一的、模型无关的下游奖励（Downstream Reward, DR）框架。该系统并非直接优化延迟的留存标签，而是学习优化“下游奖励”——即从观察到的用户行为模式中提取的、能够预测未来留存的代理信号。

2.1 离线筛选框架

在定义奖励之前，作者开发了一个离线筛选框架，用于识别能够作为有效代理指标的会话级行为。通过对低参与度用户进行枢轴日（pivot-day）分析，他们根据三个标准筛选了数百个候选特征：

相关性： 必须与未来的持续参与度相关（而非仅仅是即时的活动）。
可观测性： 必须在会话期间或会话后不久即可被观测到。
增量预测性： 在控制了相关信号后，必须依然保持预测能力。

筛选的关键发现：

深度优于广度： 深层参与（例如：收藏、长时放大查看、P2P 兔子洞探索）与留存呈正相关；而浅层、高频的浏览在控制曝光量后，往往具有误导性。
P2P 探索： 在“Pin 到 Pin”（P2P）兔子洞内的探索密度是实现快速回访的强预测因子。
会话长度： 较长的会话在经验上与更快的再次访问相关联。

2.2 下游奖励设计

基于筛选出的洞察，作者定义了三类互补的奖励家族：

针对深层会话参与度的奖励：
- 计算会话内推荐之后发生的、高意图行为的折扣累积和。
- 公式： $R_{eng}(S_{u,t}) = \sum \gamma^{i-1} r_{eng}$ ，其中 $\gamma$ 是倾向于靠近初始推荐事件的折扣因子。
负向奖励（浅层放大查看）：
- 明确惩罚指示用户体验不佳的“浅层”交互。
- 将“浅层放大查看”定义为：停留时间低于用户状态特定阈值（例如：核心用户 <1s，非核心用户 <0.5s），且随后未跟随任何高意图下游行为的放大查看。
- 该信号被视为负向奖励，以抑制模型推送导致用户立即流失的内容。
针对用例采纳的奖励：
- 鼓励模型推送能够将用户兴趣空间扩展到其既有兴趣簇之外的内容。
- 如果用户参与了一个与其预计算兴趣簇相似度较低（相似度 < $\eta$ ）的条目，则触发奖励。
- 这作为扩展用户意图同时保持与参与度目标一致性的代理指标。

2.3 基础设施与工程

为了应对奖励定义的组合复杂性和快速迭代的需求，作者构建了 DRv2 基础设施：

DRv1（遗留版本）： 使用预聚合表，任何奖励定义的变更都需要通过 Spark 自连接进行全量重计算（迭代周期需数周）。
DRv2（提议版本）： 将用户参与度存储为可复用的每日序列。奖励标签通过基于 Ray 的数据加载器 在线计算，使用可配置的用户自定义函数（UDF）。
影响： 这将实验迭代时间从约 3 周缩短至约 2 天，并将增量训练成本控制在基线的 5% 以内。

2.4 与排序模型的集成

该框架是模型无关的，可以应用于任何监督学习或基于强化学习的排序模型。在生产环境中，下游奖励作为多任务学习模型中的辅助头（auxiliary heads）进行集成。最终得分是即时参与度预测与下游奖励预测的线性组合，其权重通过 HyperOPT 进行调优，以平衡即时体验与长期留存。

3. 实验结果

作者在 Pinterest 的首页 Feed、搜索、相关 Pin 图和通知功能上进行了广泛的在线 A/B 测试。

3.1 首页 Feed 结果

深层会话奖励： 带来了成功会话（Successful Sessions, SS）+0.36% 的增长和总时长 +0.10% 的增长。周活跃用户数（WAU）增加了 +0.1%。
负向奖励： 在根据用户状态（核心 vs 非核心）优化阈值后，模型实现了 SS +0.16% 的增长、非成功会话 -0.40% 的下降以及总时长 +0.35% 的增长。至关重要的是，与采用统一阈值的方案（该方案会损害非核心用户留存）不同，此配置维持了核心及非核心用户的正向留存趋势。
用例采纳： 提升了首页 Feed 的收藏量 +0.42%，并使参与多种用例的用户比例增加了 +0.18%。

3.2 跨界面扩展

该框架成功扩展到了搜索、相关 Pin 图和通知功能：

搜索： 搜索达成率（Search Fulfillment Rate）提升了 +0.25%。
相关 Pin 图： 成功会话增加 +0.15%。
通知： 成功会话增加 +0.14%，WAU 增益为 +0.11%。
P2P 特定优化： 在 P2P 排序器上部署特定的浅层放大查看惩罚（使用 2s 阈值）后，实现了 SS +0.14% 以及时长超过 5 分钟的会话增加 +0.70%。

4. 核心贡献

用户留存建模的洞察： 提供了一个离线评估框架，识别出会话级信号（特别是深层 P2P 探索和收藏）是长期留存的有效代理指标，从而过滤掉具有误导性的浅层信号。
模型无关的下游奖励： 一个统一的框架，生成可应用于不同深度学习模型和产品界面的互补奖励信号（正向、负向及用例采纳）。
奖励标签生成基础设施： 一个可扩展的、基于 Ray 的基础设施（DRv2），能够在无需沉重工程开销的情况下实现奖励定义的快速迭代。
实证评估： 通过 Pinterest 多个界面的长期在线 A/B 测试验证了其效果，展示了在参与度和留存指标上的持续提升。

5. 意义与主张

本文声称，该框架为工业级推荐系统提供了一种实用且可扩展的解决方案，用于优化长期用户价值，而无需部署复杂的完整强化学习。通过将重心从即时点击转向捕捉用户会话质量与深度的“下游奖励”，该系统成功缓解了留存标签稀疏和延迟的问题。

作者强调，该框架具有可泛化性和模型无关性，能够以极低的重工程成本部署到不同的界面（首页 Feed、搜索、P2P）。结果表明，优化用户旅程的质量（深度、多样性以及避免浅层交互）比单纯优化原始活动量对于长期留存更为有效。该工作已在 Pinterest 生产环境全面部署，证明了平衡即时参与度与下游价值不仅可行，而且对用户体验和业务指标均有裨益。