Predicting Custom-Feed Returns for New Bluesky Posts: A Prospective Study
本文引入了一种用于预测新发布的 Bluesky 帖子是否会出现在特定自定义信息流中的新型冷启动路由任务，提出了一个大规模基准数据集，并证明了 LambdaRank 在对可能返回新内容的流进行排序方面具有卓越的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网是一个巨大的、繁忙的城镇广场，每个人都在同时大声喊出他们的想法、笑话和新闻。在这个混乱的广场中，有成千上万个不同的“俱乐部”或“报刊亭”（被称为自定义馈送流/custom feeds），由人们运营。每个俱乐部都有自己的规则手册，用来决定广场上的哪些呐喊值得被放在他们的公告板上。通常情况下，当一个新成员加入俱乐部时，俱乐部需要知道他们是谁，以便推荐朋友。但这里有一个转折：在这个特定的城镇里，新的“呐喊”（帖子）是那些还没有历史记录的东西。它们是“冷启动”。这个城镇面临的大问题是：我们如何在一个人甚至还没看到某个新呐喊之前，就猜出哪些俱乐部会想要把这个新呐喊放在他们的公告板上？ 这就是“冷启动路由”（cold-start routing）的谜题。这就像是在你刚打完最后一个句号的那一刻，试图预测哪些特定的杂志编辑会喜欢你写的文章，而此时你甚至还没有任何过往的销售数据可以参考。
这篇论文探讨了正是这个谜题，而背景是 Bluesky——一个将自定义馈送流作为其主要功能的社交媒体平台。研究人员 Yipeng Wang 和 Mohit Singhal 致力于构建一个系统，使其充当一个超级聪明的媒人。他们的目标是获取一个全新的帖子，并立即对数千个潜在的馈送流进行排名，以预测哪些会在 24 小时内将该帖子“返回”（展示）在其前 50 条结果中。
为了实现这一点，他们不仅仅是在猜测；他们构建了一个大规模的、穿越时空的实验。他们建立了一个由 5,000 个不同馈送流组成的“监测小组”，并观察了他们一周。他们收集了 1,780.4 万 条公开帖子。对于每条帖子，他们等待观察它是否确实出现在任何一个馈送流的前 50 条结果中（在 24 小时内）。如果出现了，他们就将其标记为一个“命中”。这创造了一个包含 186.5 万 个可观测的帖子与馈送流之间连接的数据集。他们称之为一种“先收集，后标注”的方法，因为他们首先收集原始数据，然后才在未来真正发生后将其标注为成功或失败，从而确保他们的预测是根据真实结果而非仅仅是猜测来进行测试的。
随后，团队尝试了不同的“计算机大脑”来解决这个匹配游戏。他们从简单的规则开始，比如“作者通常是否会在这个馈送流中发帖？”或者“文本内容是否与这个馈送流喜欢的类型相似？”这些简单的方法还可以，但并不出色。接着，他们尝试了更复杂的模型，这些模型可以理解文本的“含义”，而不仅仅是单词本身。这场竞争的获胜者是一个名为 LambdaRank 的模型。
以下是数据告诉我们的关于其表现如何的信息。研究人员在两天的独立数据上测试了他们的系统。在所有测试的帖子中，他们专注于那些实际上被至少一个馈送流采纳的帖子（约占总数的 9.04%）。对于这些帖子，LambdaRank 模型在 Top 10 列表中成功放入正确馈送流的次数达到了 73.61%（这是一个称为 capped Recall@10 的指标）。它在衡量最佳匹配排序程度的指标（NDCG@10）上得分 0.6127，并且获得“命中”（即在前 10 名中找到至少一个正确的馈送流）的概率为 77.49%。
论文指出，虽然该模型非常出色，但并非完美。最大的瓶颈不在于“排名大脑”本身，而在于第一步：寻找合适的候选者。即使模型是完美的，如果它从未看过某个馈送流，它也无法选中它。研究人员发现，他们的系统只查看了可能性的一个很小的切片（一个包含多达 370 个馈送流的“候选集”，而总共有 4,233 个经过排名的馈送流）。如果他们能够查看每一个可能的馈送流，该系统本可以表现得更好，达到 0.8448 的理论“天花板”。这意味着下一步的关键不在于让“大脑”变得更聪明，而是让“搜索范围”变得更广。
简而言之，这篇论文证明了我们可以在一个帖子还没有任何历史记录之前，就成功预测哪些自定义馈送流会采纳它。它表明，通过结合简单的文本匹配与对意义的深度理解，我们可以将新内容路由到正确的地方。然而，它也警告说，我们目前正受限于一次能检查多少个馈送流。该系统是一个强有力的开端，但随着“城镇广场”变得更加繁忙，仍有增长的空间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。