技术摘要：RankGraph-2

问题陈述

在十亿级节点规模的推荐系统中部署基于图的检索，需要解决三个紧密耦合的问题：图构建、表示学习以及实时服务。现有的工作通常孤立地处理这些阶段。学术研究往往在小型静态图上优化模型架构，而工业系统虽然推进了训练基础设施，却假设输入图是已给定的，并忽略了服务成本。这种孤立的方法造成了瓶颈：

• 构建（Construction）： 在十亿级节点系统中，朴素地构建全量共现图会导致数百万亿条边，使得存储和处理变得不可行。
• 训练（Training）： 在如此大规模的图上进行训练，通常需要昂贵的在线图基础设施（例如分布式采样引擎）来处理实时的邻域提取。
• 服务（Serving）： 通过在线近似最近邻（KNN）搜索为动态用户池（例如过去 15 分钟内的活跃用户）提供嵌入服务，需要数千台机器，从而产生高昂的延迟和成本。

本文认为，如果不考虑其他阶段的约束，仅优化其中一个阶段会导致次优的结果。核心挑战在于，当图拥有数十亿个节点和数百万亿条潜在边时，如何对构建、训练和服务进行协同设计（Co-design）。

方法论：生命周期协同设计

RankGraph-2 是一个统一的框架，它为相似性检索（用户-用户-物品 [U2U2I] 和 用户-物品-物品 [U2I2I]）协同设计了所有三个生命周期阶段。该系统的运行原则是：下游阶段（服务、训练）的需求应当塑造上游阶段（构建）。

1. 图构建（上游）

为了满足训练（自包含数据）和服务的需求（小时级新鲜度），构建流水线执行以下操作：

• 异构图模式： 仅基于交互数据（点击、点赞、分享、购买）构建包含三种边类型的图：用户-物品 (U-I)、用户-用户 (U-U) 和 物品-物品 (I-I)。
• 流行度偏差修正： 调整 I-I 边的权重，以防止热门物品主导表示。权重通过与目标物品流行度成反比的因子进行缩放，确保长尾物品不会被掩盖。
• 边采样： 将图从数百万亿条边减少到数百亿条。这包括保留用于 U-U 边的价值节点，并保留每个节点的前 $K_{CAP}$ 个高权重边。
• 预计算邻域： 系统不使用在线采样，而是利用“骨干”图上的个性化 PageRank (PPR) 来预计算每个节点最重要的 $K_{IMP}$ 个多跳邻居。对于缺乏同类型邻居的节点，则使用基于先前嵌入的 KNN 作为回退方案。
• 输出： 该流水线生成“以边为中心”的数据，每条记录包含边、节点特征和预计算的邻居，可直接摄取而无需在线图存储。整个流水线在 1 小时内完成，从而实现 3 小时的刷新周期。

2. 模型训练（中游）

训练阶段摄取预计算的、自包含的数据，从而消除了对在线图基础设施的需求（无需图存储或分布式采样引擎）。

• 架构： 使用带有用户和物品多头编码器的简单异构聚合器。它具有归纳学习能力，可泛化至未见过的节点（归纳设置）。
• 目标： 结合了边际排序损失（Margin Ranking Loss）和用于对比链路预测的 InfoNCE 损失。
• 协同学习： 至关重要的是，训练过程会协同学习一个聚类索引。模型不仅优化嵌入质量，还通过残差量化目标优化重建嵌入的质量。
• 正则化： 为了防止在持续训练期间出现“码本崩溃”（即少数代码被过度使用），系统采用了：
  • 正则化损失： 根据来自过去批次的经验分布，惩罚当前批次中强化频繁使用代码的行为。
  • 偏置代码选择： 选择倾向于使用不足的条目的代码，作为一种探索机制。

3. 实时服务（下游）

服务策略通过由协同学习索引驱动的聚类方法取代了昂贵的在线 KNN。

• 聚类分配： 每个用户通过残差量化被分配到一个层次化聚类代码。
• U2U2I 检索： 系统不是搜索相似用户，而是读取目标用户所属聚类的聚类队列中的最新物品。该队列由该聚类中最近活跃的成员维护。
• 效率： 这将 U2U2I 检索简化为简单的查找，消除了对动态用户池进行在线 KNN 的需求。

核心贡献

1. 生命周期协同设计框架： 识别并实现了一个框架，使服务、训练和构建的需求在各阶段间级联，解锁了通过独立优化无法达到的性能。
2. 无图基础设施训练： 证明了基于相似性的检索并不需要在线图基础设施。预计算邻域（通过 PPR）产生的质量与在线采样相当，允许在标准 ML 基础设施上进行训练。
3. 异构图构建： 提出了一种完全源自交互数据的、具有三种边类型（U-U, I-I, U-I）的图，并具有流行度偏差修正和基于 PPR 的邻居预计算功能。
4. 协同学习聚类索引： 开发了一个带有新型正则化和偏置代码选择的残差量化索引，以防止码本崩溃，并将服务成本降低了 83%。
5. 性能提升： 表明经过协同设计的简单架构在召回率和在线指标上显著优于复杂的基准模型（如 GAT + Deep Graph Infomax 和 PyTorch-BigGraph）。

结果

该系统已在 Meta 的多个界面部署，服务于数十亿用户。

• 离线召回率：
  • 用户嵌入： RankGraph-2 的 Recall@5 比 GAT + Deep Graph Infomax 模型（该模型使用了更复杂的架构但更简单的二部图）高出 3.8 倍。
  • 物品嵌入： 在物品检索方面，其 Recall@100 比 PyTorch-BigGraph 高出 2.1 倍。
• 在线 A/B 测试（14 天）：
  • 对于 U2I2I 检索，实现了高达 +0.96% 的 CTR 和 +2.75% 的 CVR。
  • 在 U2U2I 检索中表现出持续的改进。
• 基础设施成本：
  • 通过使用协同学习的聚类索引取代在线 KNN，将 U2U 服务基础设施成本降低了 83%。
• 部署： 为 Meta 旗下 20 多个主要界面的检索任务提供了动力。

重要性与主张

论文声称，主要的性能驱动力是生命周期协同设计，而非模型复杂度。通过将邻域计算移至离线，系统解锁了在在线设置下由于延迟和基础设施约束而无法实现的各种操作（多跳 PPR、流行度修正、异构边构建）。

作者认为，对于基于相似性的检索，投资于支持复杂 GNN 的在线图基础设施可能是一种错误的权衡。相反，投资于在标准 ML 基础设施上进行高质量的离线图构建，既能获得卓越的检索质量，又能降低运营成本。论文将 RankGraph-2 定位为不是生成式基础模型的竞争对手，而是一个互补的结构先验，它捕捉了全局协作结构，可以与捕捉时间意图的模型相结合，用于下游排序。