🤖 machine learning

Benchmark Datasets for Lead-Lag Forecasting on Social Platforms

本文介绍了领先-滞后预测（Lead-Lag Forecasting, LLF）范式，并建立了两个来自 arXiv 和 GitHub 的高容量基准数据集，以支持对从早期社交平台交互中预测延迟高影响力结果的系统性研究。

原作者： Kimia Kazemian (Department of Computer Science, Cornell University), Zhenzhen Liu (Department of Computer Science, Cornell University), Yangfanyu Yang (Department of Information Science, Cornell Unive

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kimia Kazemian (Department of Computer Science, Cornell University), Zhenzhen Liu (Department of Computer Science, Cornell University), Yangfanyu Yang (Department of Information Science, Cornell University), Katie Luo (Department of Computer Science, Stanford University), Shuhan Gu (Department of Computer Science, Cornell University), Audrey Du (Department of Computer Science, Cornell University), Xinyu Yang (Department of Information Science, Cornell University), Jack Jansons (Department of Computer Science, Cornell University), Kilian Q. Weinberger (Department of Computer Science, Cornell University), John Thickstun (Department of Computer Science, Cornell University), Yian Yin (Department of Information Science, Cornell University), Sarah Dean (Department of Computer Science, Cornell University)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图预测哪部新电影会成为大片，或者哪首新歌会霸榜数年的星探。你不能等上五年才揭晓答案；你需要现在就根据早期的迹象做出判断。

这篇论文介绍了一种思考这一问题的新方法，称为**“领先-滞后预测”（Lead-Lag Forecasting）**。

核心理念：“领先”与“滞后”

把一个新产品（比如一篇科学论文或一段软件代码）想象成一颗正在被播下的种子。

领先（The Lead）： 这些是早期、快速的交互。这就像看到一颗种子发芽，或者注意到有几个人停下来观看一部新电影的预告片。在现实世界中，这些是诸如“浏览量”、“点赞数”、“下载量”或对代码仓库的“推送（pushes）”等行为。它们会立即发生。
滞后（The Lag）： 这是巨大的、长期的影响。这是从种子成长起来的大树，或者是五年后获得奥斯卡奖的电影。在现实世界中，这些是“引用”（其他科学家引用该论文）或“分叉（forks）”（其他开发者复制并改进该代码）。

问题所在： 通常情况下，这两者发生的速度非常不同。“领先”发生在今天；而“滞后”可能在数年后才会显现。大多数计算机模型擅长预测“接下来”会发生什么（比如明天的天气），但它们很难根据“今天”发生的事情去预测“数年后”会发生什么。

解决方案：两个巨大的数据集

为了教会计算机如何进行这种长期预测，作者构建了两个巨大的“训练场”（数据集），在这里“领先”和“滞后”都被清晰地记录了下来：

arXiv 训练场（科学）： 他们追踪了 230 万篇 科学论文。
- 领先： 论文在最初几周内的下载量或浏览量。
- 滞后： 在接下来的 5 年 内，该论文被其他科学家引用的次数。
GitHub 训练场（技术）： 他们追踪了 300 万个 软件项目。
- 领先： 在早期有多少人“推送（push）”代码（更新代码）或“点赞（star）”该项目。
- 滞后： 在接下来的 5 年 内，有多少人“分叉（fork）”（复制并修改）该项目。

为什么这些数据集很特别：

没有作弊： 许多旧的数据集只关注那些存活下来的数据（幸存者偏差）。这些数据集包含了每一篇论文和每一个项目，即使是那些从未有人关注过的项目。这提供了一个公平的现实图景。
长线思维： 他们的观察周期为 5 年。这很难，因为“今天的浏览量”与“五年后的引用量”之间的联系是非常复杂且混乱的。

他们的发现

作者测试了各种计算机模型（从简单的数学模型到复杂的 AI）来观察它们是否能根据过去来猜测未来。

早期信号非常强大： 他们发现早期活动（如浏览量或点赞数）实际上是长期成功的强力预测指标。例如，如果一篇论文在头 30 天内获得了大量浏览，那么它在五年后极有可能获得高引用量。
跨渠道的魔力： 当模型同时观察不同类型的信号时，效果最好。例如，在 GitHub 数据中，同时观察“推送（pushes）”（更新）和“点赞（stars）”比只看其中之一效果更好。这就像一名星探不仅通过歌手的声音，还通过其舞台表现力来预测其能否成名，而不是仅凭单一维度。
时间至关重要： 计算机观察早期活动的时间越长，预测就越精准。如果你只观察 30 天，猜测尚可；如果你观察一年，你的猜测会更加锐利。

总结

这篇论文不仅仅是在说“我们可以预测未来”。相反，它在说：“这里有一套关于一种新型预测方法的规则手册和练习场。”

他们将这种研究“早期迹象如何导致延迟的重大结果”的方法进行了形式化。他们提供了数据和基准分数，以便其他研究人员现在可以构建更好的工具，去理解在我们的数字世界中，创意和产品是如何随时间成长的。

简而言之： 他们建立了一个庞大的“早期迹象”与“后期结果”的图书馆，旨在教会计算机如何在热门作品真正爆发之前识别出它们。

技术摘要：社交平台上的领先-滞后预测（Lead-Lag Forecasting）基准数据集

问题定义：领先-滞后预测 (LLF)

本文将领先-滞后预测 (Lead-Lag Forecasting, LLF) 正式定义为一种独特的序列预测范式。与传统的滚动预测（预测单一通道的即时未来）或时间点过程（建模离散事件到达）不同，LLF 旨在解决基于早期交互来预测在时间上偏移且相关的下游结果通道的问题。

形式化地，给定一个实体 $i$ （例如一篇论文或一个代码仓库），任务是在仅使用观察窗口 $\tau$ 内的“领先”通道 $x$ （以及潜在的早期“滞后”数据）的情况下，预测在未来时间跨度 $H$ 处由“滞后”通道 $y$ 衍生的下游结果 $z^{(i)}$ 。

领先通道 ( $x$ )： 早期阶段的交互（例如：浏览量、下载量、推送次数、Star 数）。
滞后通道 ( $y$ )： 延迟的影响信号（例如：引用次数、销售额、Fork 次数）。
关键约束： 预测跨度 $H$ 显著大于观察窗口 $\tau$ （例如：通过 30 天的数据预测 5 年的影响力），且模型必须能够泛化至未见实体（跨序列泛化），并实现跨通道的信息传递（跨通道预测）。

作者认为，尽管这种双重过程动态在科学、经济和社交媒体领域普遍存在，但该领域缺乏标准化的数据集来系统性地研究它们，因为现有的基准测试主要关注同通道、短跨度的预测。

方法论与数据集

为了为 LLF 研究提供支撑，作者策划并发布了两个高容量的基准数据集，并详细记录了策划、清洗和匿名化的所有技术细节。

arXiv 数据集：
- 范围： 230 万篇学术论文。
- 领先信号： 来自 10.7 亿匿名用户的每周/每日访问日志（下载量/浏览量）。
- 滞后信号： 源自 Semantic Scholar 引用图谱的引用计数（通过引用论文的发表日期来近似引用时间）。
- 任务： 基于 $\tau \in \{30, 100, 365\}$ 天的访问数据，预测 5 年引用计数（ $H=1825$ 天）。
- 划分： 采用随机划分进行训练、验证和测试，并设置了一个特定的“无标签测试集”（包含在训练截止日期后提交的论文），以确保不存在数据泄露。
GitHub 数据集：
- 范围： 300 万个代码仓库（特指那些通过 Ecosyste.ms 与 PyPI/Conda 等包管理器关联的仓库）。
- 领先信号： Push 事件和 Star 事件。
- 滞后信号： Fork 次数。
- 任务： 基于 $\tau \in \{30, 100, 365\}$ 天的 Push/Star 数据，预测 5 年 Fork 次数。
- 划分： 与上述类似，将历史时长短于 5 年的仓库放入无标签测试集中。

动态分析：
作者通过统计分析验证了领先-滞后关系的存在：

时间偏移： 在 arXiv 中，访问行为一致地先于引用发生；在 GitHub 中，Star 通常出现在 Fork 之前。
预测能力： 皮尔逊相关系数和对数-对数六边形图（log-log hexbin plots）显示，早期领先信号（访问量、Star）与长期滞后结果（引用、Fork）强相关，且在短期内往往比早期的滞后信号本身更具预测力。
分布特征： 两个数据集均表现出重尾分布（幂律分布），因此需要特定的评估指标。

评估指标：

分类任务： 识别高影响力实体（arXiv 为前 8.1%，GitHub 为前 11.3%）。指标包括：AUROC、F1 分数、AUC-PR。
回归任务： 预测数值计数。指标包括：平均绝对误差 (MAE)、对数平均绝对误差 (MAE-log)，以及针对高影响力实体限制后的平均绝对百分比误差 (MAPE)，以避免低计数噪声带来的不稳定。

核心贡献

数据集发布： 提供两个全新的大规模数据集（arXiv 和 GitHub），这是首个共同测试长跨度设置下跨通道和跨序列泛化能力的任务。
形式化定义： 将 LLF 定义为一个统一的预测问题，区别于现有的时间序列任务。
经验验证： 通过统计测试证明早期使用模式包含了有意义的长期影响预测信号。
基准测试： 建立了以下基准性能：
- 参数化/非参数化模型： 逻辑回归（Vanilla、单特征、Time-MoE 嵌入）、KNN、MLP。
- 深度学习模型： InceptionTime、Transformer 以及 Time-MoE（大型）嵌入。
- 消融实验： 对比单通道输入与多通道输入，以及同通道预测与跨通道预测。

结果

基准实验得出了以下关键发现：

预测信号存在： 即使是使用单一累积特征（例如第 30 天的总访问量）的简单模型，也显著优于随机基准（例如 arXiv 的 F1 从 0.08 上升至 0.31；GitHub 的 F1 从 0.11 上升至 0.29）。
跨通道优势： 对于早期跨度（30–100 天），使用领先通道预测滞后结果（例如：访问量 $\to$ 引用）的表现始终优于使用滞后通道本身（例如：早期引用 $\to$ 未来引用）。
特征丰富度： 使用多个通道（例如：Push + Star）通常比单通道输入表现更好。
模型表现：
- InceptionTime： 在长跨度的排序指标（AUC）方面表现优异，但在短跨度下 F1 分数较低，这可能是由于校准问题。
- 深度学习 vs. 简单模型： 深度特征（Time-MoE 嵌入）通常优于非变换特征，尽管提升并不总是很显著。
- 回归任务： KNN 在 MAE 指标上表现强劲，尤其是在 GitHub 上，但在处理高影响力项的 MAPE 时表现不如深度学习方法，这可能是由于数据分布高度偏斜，许多实体长期影响力为零。
跨度依赖性： 随着观察窗口 $\tau$ 从 30 天增加到 365 天，预测性能有所提高，这验证了更多的早期数据有助于更好的长期预测。

意义与主张

本文将 LLF 定位为理解社交与使用数据的新颖预测范式。其重要性在于：

填补空白： 解决了缺乏用于跨通道、长跨度预测的标准数据集的问题，而这限制了对领先-滞后动态的系统性探索。
现实相关性： 超越了人工测试用例，转向真实的场景（学术传播和开源软件），在这些场景中，影响力的展开跨越数年，并涉及复杂的、非确定性的机制。
为未来工作奠定基础： 为开发能够泛化至未见序列的可扩展、灵活的预测架构提供了经验基础和严格的基准。

作者也谦虚地指出了局限性：数据集包含的是聚合信号而非个体层面的追踪或内容元数据；它们反映了特定平台在特定时期的动态；且模型捕捉的是预测相关性而非因果关系。他们强调，这些数据集不应被用于推断直接的因果干预，而应作为理解预测长期结果之潜力与陷阱的工具。