PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest
本文介绍了 PinEqualizer，这是一个部署在 Pinterest 上的全链路内容探索与去偏系统，旨在通过在搜索和推荐界面平衡新鲜内容发现与用户参与度来解决冷启动问题，同时利用一个可扩展的框架来验证短期和长期的影响。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你走进了一座巨大且无尽的图书馆，书架上的书籍在不断地被重新填满。在这座图书馆里，图书管理员（实际上是超级聪明的计算机程序）只有一个任务：那就是在此时此刻为你递上一本最完美的书。但问题在于，这些管理员有个坏习惯。他们热衷于那些已经被看过上百万次的旧书。他们非常清楚这些昔日宠儿有多受欢迎，所以总是把它们塞进你的手里。与此同时，那些还没人读过的全新书籍却被困在后台，落满了灰尘。这就是所谓的“冷启动”问题。如果一本新书从未获得被阅读的机会，管理员就无法学习它是否真的优秀，因此他们永远不会去推荐它。这导致图书馆陷入了一个无趣的循环：只有那些陈旧的故事在不断重复，而新鲜且令人兴奋的新声音却永远无法脱颖而出。
这篇论文讲述了 Pinterest 的一个工程师团队如何决定解决这个确切的问题。他们构建了一个名为“PinEqualizer”的新系统，旨在帮助他们的计算机管理员停止这种对“名气大”的旧内容的偏见，并开始给新鲜、全新的内容一个公平竞争的机会。他们不仅仅是微调了流程中的某个部分，而是彻底改造了整个流水线——从他们挑选哪些新书值得关注，到如何寻找它们，再到如何决定向你展示哪些书。他们的目标是确保新内容能获得证明自己的公平机会，他们发现，这样做会让读者更快乐，也能让整个图书馆变得更加健康、多元。
问题所在：一个“强者恒强”的图书馆
Pinterest 就像一个巨大的视觉发现引擎，拥有数千亿个独特的项目，被称为“Pin”。每天都有数百万个新的 Pin 被上传。系统的任务是将这些 Pin 与会喜爱它们的用户的进行匹配。但这里有一个隐蔽的陷阱：系统是从历史中学习的。如果一个 Pin 在过去被点击了很多次，系统就会认为：“这太棒了！”并把它展示给更多的人。如果一个新 Pin 没有历史记录，系统就会因为不知道它好不好而不敢展示它。
这产生了一种“强者恒强”（rich-get-richer）效应。流行的、旧的内容变得越来越流行，而新的、新鲜的内容则被埋没了。随着时间的推移，这伤害了整个生态系统。新的创作者无法成长，用户也停止看到令人兴奋的新事物。工程师们意识到，仅仅尝试“探索”（随机展示新内容）是不够的。他们需要修复系统深处的这种偏差，以便让计算机能够在不需要长期历史记录的情况下，就能预测新内容的质量。
解决方案：PinEqualizer
该团队构建了一个名为 PinEqualizer 的新系统，它在内容到达用户屏幕的整个“漏斗”过程中发挥作用。你可以把这个漏斗想象成一个用于传输 Pin 的水滑梯。一个 Pin 必须经过几个阶段才能到达你的屏幕：
- 语料库筛选 (Corpus Selection)： 决定哪些新 Pin 值得留在池子中。
- 检索 (Retrieval)： 为特定的用户找到合适的 Pin。
- 排序 (Ranking)： 决定展示它们的精确顺序。
PinEqualizer 在这个滑梯的每一个阶段都加入了特殊的工具，以确保新内容不会卡在底部。
1. 挑选最佳新人 (语料库筛选)
由于要检查的新 Pin 太多，系统使用了一种被称为“汤普森采样”（Thompson Sampling）的聪明猜谜游戏。想象你有一个装满神秘盒子的袋子。有些盒子很有可能装有玩具，而有些盒子的概率较低。系统不会打开每一个盒子，而是根据它对创作者的了解以及一点点运气，挑选出那些可能是最好的盒子。他们还专门为新鲜内容建立了一个“探索库”，这样系统就不必立即与那些旧的、著名的 Pin 进行竞争。
2. 寻找精准匹配 (检索)
一旦系统拥有了一组优秀的候选新 Pin，它就需要为你找到最合适的。通常情况下，系统会观察 Pin 之间的相互连接关系（就像朋友圈一样）。但新 Pin 目前还没有多少朋友！因此，工程师们教会系统使用基于“内容”的线索。他们利用先进的 AI 来理解图片实际看起来是什么样的（使用视觉语言模型等），而不是仅仅看之前是谁保存了它。他们还创建了一个“专用通道”，以确保有一股稳定的新 Pin 流顺着滑梯向下传递，即使它们目前还不受欢迎。
3. 最终决策 (排序)
这是最重要的部分。当系统必须选择最终展示给你的 Pin 列表时，它通常严重依赖过往的数据。如果一个 Pin 没有过往数据，系统往往会给它一个低分。PinEqualizer 通过以下方式解决了这个问题：
- 教 AI 忽略过去： 他们使用了一种叫做“Dropout”的技巧，即在训练期间随机隐藏“流行度”数值。这迫使 AI 学习如何根据 Pin 的实际内容（图片和描述）而非仅仅根据它的名气来判断。
- 给予信心加成： 他们为新项目添加了一个“奖励”分数。这就像是在说：“我们还不知道这东西好不好，但让我们给它一个被看到的公平机会。”这是通过 UCB（置信上限）方法实现的，它会为那些被看到次数较少的项目增加一点额外的“兴奋感”。
- 校准分数： 他们确保系统不会仅仅因为内容是新的就对其不公平地惩罚。他们调整了数学模型，使得一个具有巨大潜力的 Pin 能获得与旧的、著名的 Pin 同等的机会。
他们如何衡量成功
你可能会问：“你怎么知道这真的有效？”如果你只是向人们展示新东西，他们最初可能会点击得更少，因为他们还不了解这些新东西。这就是“短期阵痛换取长期收益”的问题。
为了解决这个问题，该团队构建了一个特殊的衡量框架：
- “留存测试” (Holdout Test)： 他们进行了一项长期实验，其中一组用户只看到旧内容（没有新内容），而另一组用户则看到了包含新内容的探索性内容。他们发现，看到新内容的这一组在长期参与度方面表现更好。这证明了新内容确实是有价值的，即使它需要一点时间才能被发现。
- “毕业”指标 (Graduation Metric)： 他们定义了一个“毕业”点。一旦一个新 Pin 在一定天数内获得了足够的正面互动（点赞、收藏），它就从一个“未知数”变成了“已知量”。他们追踪了有多少 Pin 成功完成了“毕业”。
- “探索不足”指标 (Under-Explored Metric)： 他们测量了来自尚未被广泛接触的内容的参与度。这有助于他们观察其变化是否真的帮助了新内容获得关注。
结果
结果令人印象深刻。在部署 PinEqualizer 后，Pinterest 看到的鲜活内容曝光量增加了 350%。这意味着用户看到的全新 Pin 比以前多得多。
- 用户参与度： 该系统带动了北美地区成功会话量（successful sessions）24% 的增长，以及国际地区 49% 的增长。
- 购物： 对购物环节的影响巨大。北美的购物会话量增加了 63%，这表明新产品终于得到了应有的关注。
- 创作者健康度： 该系统帮助了更多的创作者取得成功。获得大量关注的“成功内容提供者”（即创作者）的数量同比增长了 99%。
为什么这很重要
这篇论文表明，你并不需要在“向用户展示他们现在喜欢的”和“向用户展示他们未来可能喜欢的”之间做二选一。通过修复系统大脑中的偏差，你可以两者兼顾。工程师们发现，通过在流程的每一个步骤中做出细小而聪明的改变——挑选更好的候选者、更好地寻找他们、以及更公平地排序——他们可以打破“强者恒强”的循环。
他们还学到，你不能只修复系统的某一部分。如果你修复了排序阶段，但检索阶段仍然存在偏差，那么新内容甚至根本无法到达排序阶段。这就像拥有一本伟大的新书，却把它锁在一个没人能找到它的房间里。PinEqualizer 解锁了整个图书馆。
最终，该系统不仅帮助 Pinterest 展示了更多新的 Pin，还帮助建立了一个更健康的生态系统，让新的创作者能够成长，并让用户发现一个更广阔、更精彩的世界。论文指出，这种“全链路”的方法是解决任何大规模推荐系统中冷启动问题的强大手段，证明了公平性与准确性是可以并行不悖的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。