Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing

该论文通过复现分析 SIGIR 2022 年发表的 10 篇基于消息传递的推荐系统论文，揭示了其中普遍存在的数据泄露、实验复现不一致以及基线选择偏差等严重问题，导致大多数论文声称的改进成果无法被证实。

要点

这篇论文就像是一次对推荐系统（比如抖音、淘宝、Netflix 的“猜你喜欢”）研究界的**“大体检”**。

作者们（来自意大利的三位学者）检查了 2022 年在顶级会议 SIGIR 上发表的一系列关于“基于消息传递的图神经网络推荐系统”的论文。他们想搞清楚两件事：

1. 这些论文是真的吗？（别人能照着做出来一样的结果吗？）
2. 这些新方法真的比老方法好吗？（还是只是看起来很美？）

为了让你更容易理解，我们可以把这项研究想象成**“美食评论家去检查新开的网红餐厅”**。

1. 核心发现：很多“网红菜”其实是“照骗”

作者检查了 10 篇论文（就像检查 10 家新开的网红餐厅），结果发现情况不太乐观：

• 食材（数据）被“动过手脚”：
  很多论文声称他们的数据是随机切分的（就像随机挑选顾客来试菜），但作者发现，他们提供的数据切分方式其实是有问题的。

  • 比喻： 想象一家餐厅声称“我们随机邀请了 100 位顾客试菜”。但实际上，他们偷偷把“爱吃这道菜”的顾客都留给了“训练集”（厨师练习用），而把“不爱吃这道菜”的顾客放到了“测试集”（正式上菜给客人）。结果厨师在练习时觉得“哇，大家都爱吃！”，但真上菜时客人却觉得“难吃”。
  • 后果： 这叫做**“数据泄露”**。就像考试前把答案偷偷塞给了学生，学生考高分是理所当然的，但这不代表他真学会了。

• 菜谱（代码）和说明书（论文）对不上：
  虽然 90% 的论文都提供了代码（菜谱），但作者发现代码和论文里写的步骤经常不一致。

  • 比喻： 论文里写着“这道菜要放 3 克盐”，但提供的代码里却放了 30 克盐，或者根本没放盐。更糟糕的是，有些代码里甚至直接用了“测试数据”来调整火候（决定什么时候停止训练），这就像厨师在试菜时，一边尝一边改菜谱，直到味道完美为止，然后声称这是“一次性做出来的完美味道”。

• 结果不可复现：
  作者试图照着论文和代码重新做一遍实验。结果发现，只有一半多一点的论文能复现出原本声称的效果。有的论文甚至完全做不出那个结果。

  • 比喻： 你拿着网红餐厅的菜谱回家做，结果做出来的菜和照片完全不一样，甚至根本没法吃。

2. 最大的讽刺：新不如旧

这是这篇论文最扎心的发现。

• 现象： 这些新推出的“高科技”图神经网络模型，在很多情况下，竟然打不过几十年前的“老古董”算法（比如简单的 ItemKNN，就像简单的“买了 A 的人通常也买 B"这种规则）。
• 比喻： 就像一家餐厅花大价钱请了米其林大厨，用了最复杂的分子料理技术，结果做出来的牛排，口感还不如隔壁街角卖了几十年的“老张铁板烧”。
• 特别案例（Amazon-Book 数据集）： 在亚马逊图书这个数据集上，那些号称“最先进（State-of-the-Art）”的新模型，表现甚至比简单的老方法差了一半。这就像是用火箭去送快递，结果发现骑自行车反而更快、更准。

3. 为什么会出现这种情况？

作者分析认为，主要有三个原因：

1. 作弊的“训练”： 很多模型在训练时偷偷看了“考题”（测试数据），导致成绩虚高。
2. 没调好参数： 就像做菜没放对调料。很多论文没有认真调整模型的参数，只是随便设了几个值，就声称效果很好。作者自己重新认真调参后，发现有些模型的效果确实变好了，但依然打不过简单的老方法。
3. 比较对象太弱： 为了显得自己厉害，有些论文故意找一些很弱的对手来比，或者没有把对手（基线模型）调到最强状态。这就像拳击手为了赢，只敢和刚学拳的小孩子打，却不敢和职业选手打。

4. 对未来的影响：恶性循环

作者还检查了 2023 年的论文，发现这些“问题论文”的影响还在延续：

• 2023 年的新论文还在引用 2022 年那些有问题的模型作为“基准”（Baseline）。
• 因为大家用的数据切分方式、预处理方法都不一样，导致大家根本没法互相比较。
• 比喻： 就像大家都在比谁跑得快，但有人穿跑鞋，有人穿拖鞋，有人还在跑道上跑，有人在泥地里跑。最后得出的结论是“穿跑鞋的赢了”，但这真的公平吗？

总结：这篇论文想告诉我们什么？

这篇论文就像是一记警钟，敲醒了推荐系统研究界：

1. 别再搞“花架子”了： 不要只追求模型看起来复杂、高大上，如果连简单的老方法都打不过，那这个新模型可能没什么用。
2. 诚实很重要： 数据怎么切的、代码怎么写的一定要写清楚，不能偷偷作弊（数据泄露）。
3. 回归科学本质： 科学研究应该是可重复的、透明的。如果别人照着你的方法做不出来，或者你的方法打不过简单的老方法，那就应该承认并改进，而不是强行吹嘘。

一句话总结：
现在的推荐系统研究有点“虚火”，很多新模型像是“纸老虎”，经不起推敲，甚至不如几十年前的老方法实在。作者呼吁大家少一点套路，多一点真诚，把基础打牢，让研究真正对得起“科学”二字。

技术摘要

这是一份关于论文《Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing》（基于消息传递的 SIGIR 2022 推荐系统论文的可复现性与工件一致性）的详细技术总结。

1. 研究背景与问题 (Problem)

近年来，基于图神经网络（GNN）和消息传递（Message Passing）的推荐系统（RS）研究在 SIGIR 等顶级会议上呈爆发式增长。然而，该领域正面临严重的可复现性危机和评估方法学缺陷。

• 核心问题：许多新提出的复杂图模型声称超越了最先进（SOTA）的水平，但其结果往往无法被独立复现，或者在更严格的基线对比下表现不佳。
• 具体痛点：
  • 工件不一致：开源代码与论文描述不符，数据划分（Data Splits）存在错误（如训练集与测试集重叠导致信息泄露）。
  • 基线薄弱：新模型常与优化不足的简单基线对比，造成“虚假”的性能提升。
  • 评估协议混乱：缺乏统一的数据预处理和划分标准，导致不同论文间的结果无法横向比较。
  • 对后续研究的影响：SIGIR 2023 的论文大量引用了 SIGIR 2022 中可能存在缺陷的模型作为基线，导致错误实践和不可靠结论的进一步传播。

2. 研究方法 (Methodology)

作者对 10 篇 发表于 SIGIR 2022 的基于消息传递的推荐系统论文进行了深入的复现和一致性分析，并定性评估了它们对 SIGIR 2023 论文的影响。

2.1 研究对象选择

• SIGIR 2022 论文：筛选出 10 篇基于图消息传递的 Top-N 推荐论文（包括 LightGCN, SimGCL, HAKG, GDE, RGCF, INMO, HCCF, GTN, KGCL 等）。
• SIGIR 2023 论文：筛选出 11 篇在实验中使用上述 2022 年论文作为基线的后续研究。

2.2 分析维度

1. 工件一致性 (Artifact Consistency)：
   • 检查开源代码和数据划分是否与论文描述一致。
   • 验证数据划分是否存在异常（如训练/测试集重叠、非随机划分导致的分布偏差）。
   • 检查代码是否包含未文档化的硬编码路径或错误的早停（Early-stopping）逻辑（如使用测试集进行早停）。
2. 结果复现性 (Reproducibility)：
   • 使用作者提供的代码和数据，尝试复现原始论文中的数值结果。
   • 定义复现成功的标准：在至少一个指标上，相对差异小于 2%。
3. 基线竞争力 (Competitiveness)：
   • 引入一组经过严格超参数优化的强基线（包括 TopPop, UserKNN, ItemKNN, SLIM, MF-BPR, MultVAE, GF-CF 等）。
   • 在相同的数据集和划分下，重新训练并对比新提出的图模型与这些简单基线的性能。
4. 独立超参数优化：
   • 为了排除原始论文中基线优化不足的干扰，作者对部分模型在 Amazon-Book 和 Yelp2018 数据集上进行了独立的贝叶斯超参数搜索（Bayesian Search），以评估模型在“公平”条件下的真实潜力。

3. 关键发现与结果 (Key Results)

3.1 工件与数据划分的严重问题

• 数据划分错误普遍：在 9 篇提供完整工件的论文中，有 5 篇（LightGCN, SimGCL, HAKG, GTN, KGCL）使用了错误的训练/测试划分。
  • 这些划分并非论文描述的“基于用户的随机保留（User-wise Random Holdout）”，导致训练集和测试集的物品流行度分布不一致。
  • 信息泄露：3 篇论文（GDE, HAKG, GTN）的数据划分中，训练集和测试集存在显著重叠（例如 Last-FM 数据集中有 13% 的交互重叠），导致严重的信息泄露和性能虚高。
• 代码与描述不符：
  • 部分论文声称使用早停，但代码中并未实现，或者直接在测试集上进行早停（这是严重的实验设计错误）。
  • 部分代码包含未文档化的超参数或硬编码路径，导致无法直接运行。

3.2 复现率低

• 整体复现率：在 10 篇论文中，仅有 3 篇 的结果在至少 50% 的指标上被成功复现。
• 部分复现：约一半的论文只能部分复现（结果偏差较大）。
• 完全不可复现：1 篇论文（Liu et al. [41]）由于代码缺乏文档、路径硬编码且缺少预处理数据，完全无法运行。
• 计算资源限制：部分模型（如 RGCF, HAKG）由于显存需求过大，在学术界的常规硬件上无法运行，阻碍了复现。

3.3 基线竞争力分析（核心发现）

• 图模型表现不佳：在大多数情况下，这些复杂的图消息传递模型无法超越简单的基线模型（如 ItemKNN, SLIM, MultVAE）。
• Amazon-Book 数据集的异常：这是最显著的问题。在该数据集上，几乎所有被分析的图模型（包括 LightGCN）的表现都显著低于简单基线。
  • 例如，LightGCN 在 Amazon-Book 上的 NDCG 仅为 0.0315，而简单的 ItemKNN 达到了 0.0624（几乎是其两倍）。
  • 即使经过作者独立的超参数优化，图模型仍难以超越 MultVAE 或 SLIM。
• 虚假的 SOTA：许多论文声称的“最先进”结果，实际上是因为使用了错误的基线（优化不足）或有缺陷的数据划分。一旦使用正确的划分和强基线，所谓的“提升”往往消失甚至变为负增长。

3.4 对后续研究 (SIGIR 2023) 的影响

• 不可比性：SIGIR 2023 的论文虽然引用了 2022 年的工作作为基线，但由于 2022 年论文本身的数据划分和预处理不统一，导致 2023 年的结果无法与 2022 年进行有效对比。
• 错误传播：尽管部分 2023 论文试图修正数据划分，但由于缺乏透明度和统一标准，新的错误仍在产生。
• 基线选择：LightGCN 和 SimGCL 被广泛用作基线，但它们在独立优化后的表现往往不如简单模型，这使得后续研究建立在不可靠的基准之上。

4. 主要贡献 (Key Contributions)

1. 大规模实证分析：对 SIGIR 2022 推荐系统领域进行了迄今为止最全面的可复现性审查，涉及约 25,000 个模型训练，耗时 4 年计算时间。
2. 揭示系统性缺陷：
   • 证实了信息泄露（训练/测试集重叠）和错误的数据划分是该领域普遍存在的严重问题。
   • 证明了简单基线（如 ItemKNN, SLIM） 在许多场景下（特别是 Amazon-Book）优于复杂的图神经网络模型。
3. 方法论批判：指出了当前评估协议中的关键缺陷，包括缺乏透明度的超参数搜索、使用测试集进行早停、以及缺乏统一的数据预处理标准。
4. 对后续研究的警示：展示了不可复现和弱基线的论文如何误导后续研究，导致整个领域陷入“排行榜追逐（Leaderboard Chasing）”的停滞状态，而非真正的科学进步。

5. 意义与建议 (Significance & Recommendations)

• 领域反思：该研究揭示了推荐系统领域正面临“可复现性危机”，如果不加以解决，将导致大量研究资源浪费在不可靠的结论上，阻碍领域发展。
• 改进建议：
  • 工件规范：作者必须提供完整、可执行、文档齐全的代码和数据划分，并明确说明预处理细节。
  • 基线优化：必须使用经过严格优化的强基线（如 SLIM, MultVAE）进行对比，避免“弱基线”带来的虚假提升。
  • 实验透明：严禁使用测试集进行早停或模型选择；必须公开超参数搜索过程和范围。
  • 负结果报告：鼓励发表负结果（即模型在特定数据集上不如简单基线），以提供更全面的性能画像。
  • 评审机制改革：建议采用“注册报告（Registered Reports）”模式，在实验前评审方法论，减少发表偏倚；审稿人应更关注实验设计的严谨性而非单纯的结果数值。

总结：这篇论文是一篇强有力的“警钟”，它表明当前基于消息传递的推荐系统研究在实验严谨性上存在严重不足。许多声称的 SOTA 成果实际上是实验设计缺陷的产物。为了推动领域的健康发展，社区必须回归科学严谨性，重视可复现性、透明度和与强基线的公平对比。