🤖 AI

Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design

本文介绍了 Kunlun，这是一种用于大规模推荐系统的统一架构，通过利用广义点积注意力（Generalized Dot-Product Attention）和分层种子池化（Hierarchical Seed Pooling）等底层优化，以及计算跳过（Computation Skip）等高层创新，解决了扩展效率低下的问题，从而建立了可预测的扩展法则，使扩展效率翻倍，并在 Meta Ads 中取得了显著的生产影响。

原作者： Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Y

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Yuzhen Huang, Chao Chen, Yue Dong, Yi Yang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Darren Liu, Jade Nie, Chunzhi Yang, Ellie Wen, Jiyan Yang, Huayu Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在运营一个规模巨大、高速运转的数字市场（类似于 Meta 用于广告投放的系统）。每一秒钟，都有数百万人正在刷屏，而系统必须预测每个人可能会点击哪条广告。为了做出这些预测，系统使用了一个“大脑”（机器学习模型），它会观察两类线索：

故事（序列/Sequence）： 用户最近的行为（例如：“我点了一双鞋，然后是一个帽子，接着是一个背包”）。
快照（上下文/Context）： 用户当下的状态（例如：“正在下雨”、“他们在纽约”、“他们今年 25 岁”）。

长期以来，构建一个既能高效处理“故事”又能处理“快照”的“大脑”，就像是在尝试用方轮子来驾驶赛车。虽然能跑，但速度极慢且极其耗油（计算资源）。研究人员将这个问题称为**“扩展效率低下（poor scaling efficiency）”**。基本上，当我们试图通过扩大“大脑”的规模来让它变得更聪明时，它变聪明的速度跟不上成本增加的速度。

于是有了 Kunlun（昆仑）。昆仑之名取自将多样巅峰连为一体的山脉，它是一种旨在解决这些“方轮子”问题的全新架构。论文声称，Kunлоn 通过在两个层面优化系统解决了这一问题：即“零件与螺栓”（底层）和“交通管理”（高层）。

以下是 Kunlun 的工作原理，我们使用日常类比来解释：

1. 底层修复：修理引擎

旧系统中的某些部件效率低下，导致计算机的“引擎”（GPU）在等待数据时处于闲置状态。Kunlun 用高性能部件替换了这些部件：

GDPA（个性化翻译官）：
- 问题： 旧系统试图基于“快照”来翻译“故事”，其过程笨拙且循序渐进，非常浪费时间。
- 修复： Kunlun 使用了 GDPA（广义点积注意力）。你可以把它想象成一位翻译官，他不仅是逐字翻译，而是能瞬间理解整个句子的语境。它将步骤融合在一起，使计算机无需停顿和重启，让引擎运行得更加顺畅。
HSP（总结专家）：
- 问题： 用户拥有很长的历史记录（数千次点击）。旧系统试图逐一阅读每一次点击，这让人应接不暇。
- 修复： HSP（分层种子池化）就像一位聪明的编辑。它不是去读完一部 500 页的传记，而是读完书后，写出一份 10 页的摘要，再进一步提炼成 1 页的梗概。它将冗长的历史浓缩成一份精简且强大的摘要，使系统可以在不被拖累的情况下有效利用。
滑动窗口注意力（局部聚焦）：
- 问题： 旧系统试图将用户很久以前做的第一件事与他们现在正在做的事情进行对比。但通常情况下，你上周做的事情比你去年做的事情重要得多。
- 修复： 滑动窗口注意力告诉系统：“不要看整个历史，只看最近的几页。”它专注于近期的交互，在保持预测准确性的同时，节省了大量的计算能力。

2. 高层修复：智能交通控制

即使拥有出色的引擎，如果你走错了路或者在每个红灯前都停下，依然会浪费燃料。Kunlun 改变了资源的分配方式：

CompSkip（快速通道）：
- 问题： 旧系统强迫大脑在每一个步骤都进行同样的繁重工作，即使在并不需要的时候也是如此。
- 修复： CompSkip 就像一个智能红绿灯系统。它意识到有些步骤不需要进行完整的“自我检查”（自注意力），有些步骤也不需要进行完整的“总结”（HSP）。它在交替的层级中跳过不必要的步骤。如果汽车正在直行，它不需要每秒都检查后视镜。这节省了大量的能量。
事件级个性化（VIP 待遇）：
- 问题： 旧系统将“点击”（强信号）与“曝光”（仅仅是看到广告）视为同等对待。它在低价值事件上浪费了资源。
- 修复： Kun-lun 为重要的事件提供 VIP 待遇。如果用户即将购买某物（高价值事件），系统会分配更多的计算能力和更深层的分析。如果是普通的浏览，则使用更轻量、更快速的方法。这就像一家餐厅为 VIP 客人提供全套品鉴菜单，而对路过的游客只提供一杯快速咖啡。

结果：“规模法则（Scaling Law）”

论文声称，通过结合这些修复措施，Kunlun 实现了一些业界难以攻克的成就：可预测的规模法则（Predictable Scaling Laws）。

过去，增加一倍的计算能力并不总是能带来一倍的智能提升。有了 Kunlun，这种关系变得可预测且高效。

效率提升： 在最新的超级计算机（NVIDIA B200 GPU）上，Kunlun 的硬件利用效率是此前方法的两倍（从 17% 的利用率跃升至 37%）。
现实世界的影响： 这不仅仅是一个实验室实验。Meta 已将 Kunlun 部署在其主要的广告模型中。结果如何？其核心业务指标提升了 1.2%。在广告领域，每天都要做出数十亿次决策，这微小的百分比其实是一个巨大的胜利。

总结： Kunlun 是一种更聪明、更精简、更有组织的方式来构建推荐系统。它不再在“方轮子”上浪费燃料，跳过了不必要的停顿，并为最重要的线索提供 VIP 待遇，从而让系统在规模扩大的同时，变得显著更加聪明。

技术摘要：Kunlun —— 为大规模推荐系统建立缩放法则

1. 问题定义

现代推荐系统，特别是大规模广告系统，需要对序列化用户行为（如点击历史）和非序列化上下文特征（如用户人口统计数据、广告元数据）进行联合建模。虽然缩放法则（即计算投入与模型性能之间的可预测数学关系）在大型语言模型（LLM）中已得到广泛验证，但在处理这种异构特征混合的推荐系统中，这仍然是一个开放性挑战。

作者指出，缩放效率低下是建立这些法则的主要障碍。缩放效率被定义为单位计算投入带来的性能提升速率。论文认为，当前的先进系统无法实现可预测的幂律缩放，主要归因于两个关键瓶颈：

模块效率低下： 现有架构的算力利用率（MFU）较低，通常在 3–15% 之间，而 LLM 则在 40–60% 之间。这是由于异构特征空间导致嵌入维度较小、张量形状不规则以及受内存带宽限制的操作所致。
资源分配效率低下： 盲目地等比例缩放所有组件会导致收益递减，因为不同的层和事件类型（例如点击与曝光）受益于截然不同的计算模式。

2. 方法论：Kunlun 架构

为了应对这些挑战，作者提出了 Kunlun，这是一个通过两个层面的系统性模型-效率协同设计（model-efficiency codesign）而设计的统一架构：底层模块优化和高层计算重分配。

2.1 架构概览

Kunlun 采用多层架构，每一层通过两个主要组件处理序列和非序列特征：

Kunlun Transformer 模块： 通过多头自注意力机制（MHA）和增强型个性化前馈网络（PFFN）中的广义点积注意力（GDPA）来处理上下文感知的序列建模。
Kunlun 交互模块： 通过权重生成（Weight Generation）、分层种子池化（HSP）和全局交互模块实现双向信息交换。

2.2 底层模块优化

这些优化旨在提高计算效率以提升 MFU：

广义点积注意力 (GDPA)： 作者将 PFFN 重构为一个多头注意力算子。GDPA 不再使用会产生内存瓶颈的独立矩阵乘法，而是将变换融合进单个算子内核中（类似于 FlashAttention）。在这里，序列 Token 作为 Query，而由非序列上下文衍生的权重则作为 Key 和 Value。这实现了高效的 GPU 利用，并允许稳定的 PFFN 堆叠。
分层种子池化 (HSP)： 为了高效总结长序列（ $T > 1000$ ），HSP 使用一个分层过程取代了标准多头注意力池化中的随机可学习查询。它首先学习种子级表示，然后使用基于克罗内克积（Kronecker product）的层 SumKronLinear 对其进行压缩。这在保持跨维度表达能力的同时，实现了参数的高效性（在典型配置下减少了约 14 倍参数）。
滑动窗口注意力： 考虑到推荐序列中存在强烈的局部性偏差（近期的交互更具预测性），模型将自注意力限制在局部窗口内。这使复杂度从 $O(T^2)$ 降低到 $O(Tw)$，显著提升了吞吐量。

2.3 高层计算重分配

这些策略优化了模型的资源分布：

计算跳过 (CompSkip)： 受 LLM 中层冗余性的启发，Kunlun 实现了“隔层跳过”模式。偶数层跳过自注意力以计算新鲜的 HSP 摘要，而奇数层跳过 HSP 和 PFFN 以计算自注意力。这在保持模型质量的同时减少了约 43% 的 FLOPs。
事件级个性化： 不同的事件类型（如点击与曝光）被分配了不同的超参数（模型维度、头数、摘要 Token 数、层深度和窗口大小）。高价值事件获得更大的配置，而低价值事件使用较小的配置，从而确保资源按信号重要性成比例分配。
悟空专家混合 (Mixture of Wukong Experts)： 全局交互模块采用了混合专家（MoE）方法，其中多个“悟空”（Wukong）模块（特征交互模型）并行运行。这通过在单个层内将计算分布到各个专家中，实现了水平扩展。

3. 主要贡献

论文概述了四个主要贡献：

问题定义： 将大规模推荐系统中的缩放效率挑战形式化，确定了模块效率低下和资源分配不当是导致不可预测缩放的根本原因。
架构设计： 引入了 Kunlun，它集成了底层优化（GDPA、HSP、滑动窗口）和高层创新（CompSkip、事件级个性化），以统一序列与非序列建模。
缩放法则： 展示了联合序列-非序列建模的首个可预测幂律缩放行为，其缩放效率比现有最先进方法提高了 2 倍。
部署影响： 在 Meta 主要广告模型中的成功部署，带来了可衡量的生产环境改进。

4. 实验结果

作者在使用了 NVIDIA B200 GPU 的大规模 Meta 内部广告数据集（70B+ 样本）上对 Kunlun 进行了评估。

缩放效率： Kunlun 使 MFU 从 17% 提升至 37%。在缩放效率（性能提升相对于计算量的斜率）方面，Kunlun 比当前最先进的 InterFormer 表现出了 2 倍的提升。
性能增益： 在各种计算规模（6 到 180 GFLOPs）下，Kunlun 始终优于基准模型。在最大规模（180 GFLOPs）下，相比于基准模型的 0.50% NE（归一化熵）增益，Kunlun 实现了 0.79% 的 NE 增益。
消融实验：
- 移除 GDPA 会使 MFU 降至 34% 并导致 NE 下降 0.04%。
- 移除 HSP（回归为 PMA）虽能提升 8.8% 的 QPS，但会导致 NE 下降 0.08%。
- 移除 CompSkip 会在没有 NE 增益的情况下增加 43.1% 的 FLOPs，验证了跳过策略的有效性。
生产影响： 在部署到 Meta 广告模型后，Kunlun 带来了 1.2% 的顶线指标（topline metrics）提升，证明了其在规模化下的显著在线影响力和卓越的投资回报率（ROI）。

5. 重要性与主张

论文声称，Kunlun 建立了一个原则性的框架，能够在保持计算效率的同时，将推荐系统扩展到前所未有的规模。通过系统地解决算法有效性和硬件利用率，作者证明了对于复杂的异构推荐任务，可预测的缩放法则是可以实现的。

该研究断言，结合底层模块效率（通过 GDPA 和 HSP）和高层自适应资源分配（通过 CompSkip 和事件级个性化）是释放大规模模型潜力的必要条件。这使得资源规划和架构决策能够进行可靠的外推，使推荐系统从启发式缩放转向可预测的、受法则支配的增长。在 Meta 的成功部署验证了这些理论收益可以直接转化为生产价值。