🤖 AI

Decomposing Staleness in Recommender Systems: A Dual-Filter Framework for Supersession and Decay

本文介绍了部署在 Google Discover 中的 SDF，这是一个利用学习型模型来检测内容过时（supersession）并预测相关性衰减的双重过滤器框架，成功地将陈旧内容报告减少了 54.9%，同时提升了用户参与度和系统效率。

原作者： Di Bai, Feng Han, Zhenwei Tang, Jintao Liu, Luoshu Wang, Jialu Liu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Di Bai, Feng Han, Zhenwei Tang, Jintao Liu, Luoshu Wang, Jialu Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在变幻莫测、瞬息万变的数字信息景观中，相关性是一种转瞬即逝的商品。推荐系统是策划我们在屏幕上看到内容的引擎，它们运行在一个新闻每小时都在变化、故事的重要性可能在新的进展出现瞬间便会消失的世界里。对于这些系统而言，一件内容不仅仅是变旧了，而是变得“陈腐”了。这种陈腐感源于两种截然不同的力量。首先，当新的更新构成了对原叙事的矛盾或补充，使得之前的版本在事实层面变得不完整或具有误导性时，一个故事可能会被突然取代。其次，内容本身可能会经历价值的自然衰减，例如一份针对特定事件的指南或一条有时效性的提示，即使没有新故事出现，也会随着时机的流逝而失去效用。当这些系统未能识别这些转变时，它们会继续推送过时的材料，从而挫伤用户体验，并让信息流充斥着不再具备实际意义的内容。

谷歌的研究人员通过一种名为 SDF 的新方法解决了这一普遍问题，这是一种旨在识别并在陈腐内容到达用户屏幕之前将其移除的双重过滤器系统。该系统部署在 Google Discover 中——这是一个每天有数亿人使用的个性化信息流。该系统超越了过去那些粗放的方法（例如仅仅在设定的天数后删除文章，或依赖于文章获得的点击量），而是构建了两个专门的过滤器，通过协同工作来理解信息的生命周期。其中一个过滤器寻找故事之间的关系，检测新到来的内容是否使旧内容变得过时；另一个过滤器则检查内容本身，以预测其价值随时间消逝的速度。通过结合这两个视角，该系统扮演了一个主动守门人的角色，对候选文章进行修剪，以确保只有新鲜、相关且有用的内容才能进入后续的排序和展示阶段。

研究人员解决的第一个挑战是“取代”（supersession），即新故事使旧故事变得过时的时刻。这并非时间流逝的问题，而是叙事进度的演进。例如，一份称某公众人物处于医疗监护下的早期报道，会在确认其去世的公告发布瞬间变得陈腐。为了捕捉这些时刻，团队开发了一个关系过滤器，用于比较成对的文章。由于手动标注数百万个文章对以教导计算机这种技能是不可能的，他们使用了一个大型语言模型来生成合成训练数据。该模型学习阅读两篇文章，并判断较新的文章是否矛盾或补充了较旧文章的故事。从这个大型模型中获取的知识随后被蒸馏到一个更小、更快的学生模型中，该模型能够实时做出这些判断。该过滤器成功识别了新更新取代先前报道的情况，例如最终选举结果取代了预测，或者确认的价格取代了传闻。

第二个挑战是“相关性衰减”（relevance decay），即由于特定机会窗口的关闭，导致物品价值自然消退的过程。一份关于流星雨的指南在活动当晚极其有用，但第二天早晨就会变得无关紧要；而一份关于当地节日的指南可能仍能维持数日的效用。与“取代”不同，这种衰减是内容本身固有的，而不依赖于新的竞争者。为了解决这个问题，研究人员创建了一个预测项目“流量比例”的模型。通过分析文章中的文本、图像和视频，该模型可以预报该项目在其整个生命周期内，在未来某一特定时间点将累积了多少流量。如果模型预测该项目已经获取了其预期总流量的大大部分，它就会将该项目标记为陈腐。这使得系统能够在时效性指南的活动窗口结束后立即将其丢弃，同时让像健康建议这类“长青”内容能够保留更长时间。

该系统的力量在于这两个过滤器如何协同工作。它们独立运行，分别检查“取代”和“衰减”，然后结合两者的发现。如果其中任何一个过滤器判定一项内容已陈腐，该项内容就会在进入重度计算阶段的排序过程之前被剔除。这不仅提高了用户所见内容的质量，还通过避免处理注定会被忽略的内容，节省了大量的计算能力。在在线测试中，这种方法被证明非常有效。与依赖简单年龄限制或参与度阈值的旧方法相比，该系统显著降低了信息流中陈腐内容的流行度。双过滤器框架成功捕捉到了以往系统所错过的不同类型的陈腐现象，证明了将这两种机制作为独立问题处理，比试图用单一、粗放的工具来解决它们能获得更好的结果。

在为期两年的真实部署过程中，该系统的效果通过用户反馈进行了衡量。用户投诉陈腐内容的报告数量下降了超过一半，这在用户体验方面是一个实质性的提升。具体而言，关于被取代的新闻故事的投诉减少了近三分之二，而关于内容自然失去相关性的投诉减少了约三分之一。该系统还改善了信息流的整体健康度，导致正面用户参与度略有增加，并带来了更广泛的主题多样性。虽然该系统并不完美，偶尔会错过微妙的情况或误判用户已经在其他地方看到的内容，但它代表了一种针对复杂工业问题的稳健且可扩展的解决方案。通过将“陈腐”的概念分解为关系性和内在性两个组成部分，研究人员建立了一种保持数字内容新鲜感的新范式，确保到达用户手中的信息不仅是热门的，而且是及时且准确的。

技术摘要：分解推荐系统中的陈旧性（Staleness）

1. 问题定义

在像 Google Discover 这样的大规模推荐系统中，内容陈旧性是导致用户不满的主要来源。本文认为，陈旧性并非一个单一的问题，而是由两种截然不同的机制产生的：

替代（Supersession）： 当一个较新的条目更新、反驳或改变了底层主题的叙述时，原有的条目会突然变得陈旧（例如，关于球员签约谈判的报道被正式宣布签约的消息所替代）。这是一种**关系型（Relational）**信号，需要进行成对比较。
相关性衰减（Relevance Decay）： 一个条目由于其内在内容，在其生命周期内自然地失去信息价值（例如，关于特定天气情况的指南或突发新闻事件）。这是一种与条目预期寿命相关的**内在（Intrinsic）**信号。

传统的应对措施，如年龄阈值或基于参与度的启发式方法（例如，点击率底线），效果并不理想。年龄阈值过于粗糙，无法区分长青内容和时效性内容；而基于参与度的启发式方法则存在结构性滞后，导致系统在适应之前仍向用户展示质量下降的内容。

2. 方法论：SDF 框架

作者提出了 SDF（替代-衰减过滤，Supersession-Decay Filtering），这是一个部署在排序阶段上游的双重过滤器系统，旨在在消耗大量下游计算资源之前剔除陈旧的候选集。SDF 通过两个互补模型的析取（OR-fusion）进行运作：

2.1 关系型陈旧性过滤器（替代）

该组件通过确定新到达的条目（ $d'$ ）是否使现有条目（ $d$ ）变得陈旧，来解决替代的属性问题。

数据生成： 由于人工标注成对比较的成本极高，作者利用大语言模型（LLM）教师来合成标注数据集。他们采用了一种采样策略对条目进行聚类，以避免冗余，并提升具有最优相似度的条目对权重（避免近乎重复或无关的条目）。
标注： LLM 教师利用上下文学习（In-context Learning）和思维链（CoT）提示，为条目对生成标签和逻辑依据（Rationales）。通过多个独立样本的聚合投票来确保标签质量。
模型训练： 通过知识蒸馏将一个紧凑的学生模型（T5）训练出来，用于处理合成的标签。训练过程结合了：
- 逻辑依据监督（Rationale Supervision）： 学生模型被训练为先生成逻辑依据，随后生成类别标签，模拟 CoT 解码过程。
- NLI 增强： 使用自然语言推理（NLI）数据作为辅助任务，以提高模型判断文本输入之间关系的能力。
服务： 该过滤器以在线（针对时效性内容的近实时模式）和离线批处理模式运行，以覆盖长尾内容。

2.2 内在陈旧性过滤器（相关性衰减）

该组件通过仅利用条目本身的内容，来预测其随时间变化的相关性。

预测流量比例（PTR）： 模型预测一个条目在发布后的特定时间跨度（ $\tau$ ）内，其总流量中将累积的比例。目标值是 $[t, t+\tau]$ 时间段内的访问量与固定 30 天窗口内总访问量的比值。
架构： 一个采用早期融合（Early Fusion）的多模态多任务网络。文本、图像和视频 Token 被组合进一个共享编码器，随后连接针对不同时间跨度（分别训练于 12h, 1d, 3d, 5d, 7d, 10d, 14d）的预测头。
训练信号： 模型在匿名化的搜索点击日志上进行训练，这些日志比原始页面浏览日志能更好地反映显式的用户意图和相关性。
决策规则： 如果预测的最大跨度下的流量比例超过阈值（ $\theta$ ），则该条目被标记为陈旧，这意味着该条目已经捕获了其大部分潜在流量。

2.3 系统组成

两个过滤器通过“或”（OR）运算进行组合。如果关系型过滤器检测到替代项，或者内在过滤器预测该条目已超过其有效寿命，则该条目在进入下游排序器之前会被从候选集 $A$ 中移除。这种方法是去个性化的，依赖于条目级信号，从而实现了高效的缓存和查询服务。

3. 核心贡献

分解陈旧性： 本文正式区分了关系型（替代）陈旧性和内在（衰减）陈旧性，并指出它们需要不同的检测机制。
LLM 蒸馏的成对模型： 一种可扩展的流水线，利用 LLM 生成关系型陈旧性标签，并将其蒸馏到轻量级的学生模型中，克服了人工标注的瓶颈。
基于内容的流量预测： 引入了 PTR 模型，该模型直接从多模态内容中预测相关性衰减，而无需等待参与度信号。
工业化部署： 该双过滤器框架已在 Google Discover 中全面部署，为数亿用户提供服务。

4. 实验结果

系统通过离线指标、在线 A/B 测试以及为期两年的生产环境部署进行了评估。

离线评估：
- 关系型过滤器（Gen + NLI 配置）在测试集上的 F1 分数达到 84.79%。
- 内在过滤器（早期融合）在分类时效性内容方面的准确率达到 80%，优于后期融合基准模型 4 个百分点。
在线 A/B 测试：
- 使用连续流行度增量（Prevalence-delta）框架，与基于年龄阈值和参与度悬崖（Engagement Cliffs）的基准相比，SDF 使陈旧内容流行度降低了 −6.91%。
- 长期留存实验显示，SDF 使用户拒绝率降低了 −0.16%，增加了信息多样性 +0.13%，并提升了正向参与度 +0.26%。
生产影响（2 年部署数据）：
- 用户反馈的陈旧性报告量相对于部署前基准下降了 54.9%。
- 降幅构成：替代类减少了 64.0%，衰减类减少了 34.4%。
- 效率提升： 通过在重型排序计算前进行剪枝，系统节省了 4.76% 的关系型过滤器 CPU/TPU 时数和 3.98% 的内在过滤器 CPU/TPU 时数。

5. 重要性与主张

本文声称，SDF 为在工业规模上解决内容陈旧性建立了一个稳健且可扩展的范式。通过将陈旧性重新定义为条目与其环境（关系型）以及其生命周期（内在型）的共同属性，该系统超越了粗糙的启发式方法。作者强调，SDF 不仅通过减少不满程度来提升用户体验，还通过减少下游排序阶段的计算负载来提高系统效率。该框架被认为可以推广到其他工业级推荐系统和内容应用中。

作者也承认了局限性，包括政治评论在关系型判断中的模糊性，以及捕捉长尾中逐渐衰减条目的难度。然而，两年的部署数据验证了双过滤器方法是对比现有行业实践的显著改进。