💻 computer science

Scaling Laws for Behavioral Foundation Models over User Event Sequences

本文为基于用户事件序列训练的行为基础模型建立了缩放法则，揭示了一个小型特征嵌入器始终是计算最优的，且最优训练策略会随预算和评估指标而转变，以及负采样约束最终会从计算量限制转变为内存限制。

原作者： Rickard Brüel Gabrielsson

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Rickard Brüel Gabrielsson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一家巨型在线商店运营着一个规模庞大、高速运转的推荐引擎。每当顾客点击、购买或搜索时，都会留下一个数字足迹。你的目标是构建一个 AI，根据用户的历史行为来预测他们下一步会做什么。

这篇论文就像是一本用于构建该 AI 的大规模、科学性的“食谱”。作者进行了大约 600 次不同的实验，通过不断调整 AI 的“大脑”来寻找各种可能的方式，以确定如何最有效地利用他们的计算能力（这涉及大量的资金和电力成本）。

以下是他们的研究发现，使用了简单的类比进行说明：

1. 双部分的大脑：图书管理员与说书人

大多数这类 AI 模型都有两个协同工作的不同部分：

图书管理员（嵌入器/Embedder）： 这部分负责观察特定的物品（如一双鞋或一笔交易），并弄清楚它是什么。它会阅读文本、价格、颜色和类别。
说书人（Transformer）： 这部分负责观察事件的序列。它会记住你看了鞋子，然后看了帽子，接着看了夹克，并尝试猜测你下一步会买什么。

重大发现： 作者发现，“图书管理员”应该是微小的。

类比： 想象你正在雇佣一个团队来写一部小说。你的预算有限。你可能会认为你需要一支庞大的研究团队（图书管理员）来为每一个词查阅资料。但作者发现，你只需要一个微小的研究团队（约占总员工人数的 2%）。
原因： “图书管理员”会反复看到相同的热门物品（如“耐克运动鞋”）成千上千次。它会感到厌倦并很快学会这些内容。然而，“说书人”看到的则是独特的事件组合，这些组合很少重复。因此，说书人需要一个强大的大脑；而图书管理员只需要一个小型且高效的大脑。

2. “批大小”的抉择：教室里有多少个学生？

在训练 AI 时，你不会一次只给它一个例子，而是给它一个“批次”（batch）的例子。

类比： 想象一位老师在教班级。如果班级太小（批大小为 64），老师会被个体的奇思妙想分散注意力。如果班级巨大（批大小为 2048），老师可能会感到应接不暇，或者教学内容变得过于笼统。
发现： “甜点位”（最佳平衡点）取决于你在衡量什么。
- 如果你关心的是准确率（是否得到了正确答案？），那么甜点位是一个中等规模的班级（约 570 名学生）。
- 如果你关心的是排序（排名第一的结果是否最好？），那么甜点位是一个较小的班级（约 200–275 名学生）。
- 启示： 你不能只选一个批大小来应对所有情况。根据你试图优化的目标不同，“最佳”大小也会随之改变。

3. 数据与模型的权衡：是大脑更强，还是图书馆更大？

你拥有一笔固定的资金（计算预算）。你是该买一个超级聪明的 AI（更多的参数）并喂给它较少的数据？还是买一个稍微没那么聪明但能喂入海量数据模型的 AI？

发现：
- 在小预算下： 你应该向 AI 提供海量的数据。AI 就像一块海绵；它需要吸收尽可能多的信息，因为它本身还不够聪明到可以进行自我泛化。
- 在大预算下： 当你变得更富有（拥有更多计算能力）时，这种平衡就会发生转移。你会开始需要一个更聪明的 AI 以及相对较少的数据，最终达到一个比例，看起来与训练大型语言模型（如那些编写文本的模型）的方式相似。
- 趋势： 它始于一种“数据密集型”策略，并随着你拥有更强大的计算机而逐渐转向一种“平衡型”策略。

4. “负采样”：要展示多少个错误答案？

当 AI 学习时，它不仅看到正确的答案，还会看到“干扰项”（错误答案），以此学习什么是不应该选择的。

类比： 想象一场多项选择题考试。如果你只给学生展示 3 个错误答案，他们可能会靠运气猜对。如果你展示 1,000,000 个错误答案，他们就能完美掌握规律。
发现：
- 小预算下： 你需要适中的错误答案数量（数十万个）。
- 大预算下： 你想要尽可能多的错误答案。事实上，在测试过的最大预算下，限制因素不再是计算能力，而是内存。系统想要展示 200 万个错误答案，但计算机由于空间不足无法承载。
- 陷阱： “最佳”错误答案数量取决于你是衡量简单的准确率还是复杂的排序。这两者并不一致。

5. 最重要的教训：目标是在不断移动的

这篇论文最关键的警告是关于指标（你如何衡量成功）。

类比： 想象你正在训练一辆赛车。如果你以“最高时速”来衡量成功，你会朝一个方向调校引擎。如果你以“燃油效率”来衡量，你会朝完全不同的方向调校。
发现： 在这些行为模型中，你选择的指标会改变配方。
- 如果你训练 AI 来最小化“损失”（数学误差），你会得到一组设置。
- 如果你训练它来最大化“排序”（将最好的项目排在首位），你会得到另一组不同的设置。
- 核心观点： 最擅长最小化数学误差的 AI，并不一定是擅长正确排序物品的 AI。你必须在开始构建模型之前，明确决定你要优化什么，因为“最优”模型会根据你的选择而改变。

总结

要构建最高效的“行为基础模型”（即理解人类行为的 AI）：

保持“物品理解”部分（嵌入器）非常微小（约占总容量的 2%）。
使用中等规模的批大小，但要根据你关心的是准确率还是排序来进行调整。
从海量数据开始，但随着计算能力的增强，转向更智能的模型。
使用尽可能多的“错误答案”示例，直到达到你计算机内存的极限。
最重要的一点： 在开始之前，先决定好“成功”的具体定义（指标），因为这个决定将决定你整个 AI 的架构。

技术摘要：行为基础模型在用户事件序列上的缩放法则

问题陈述

基础模型正越来越多地应用于推荐、支付、欺诈检测和电子商务等领域的用户行为序列。然而，与大语言模型（LLM）不同，这些行为模型缺乏成熟的缩放法则来指导计算分配。一个关键的架构差异在于：LLM 的 Token 通常是模糊的词表 ID，而行为事件则是特征丰富的（包含文本、元数据、视觉特征、时间戳等）。因此，现代系统采用了两部分架构：一个基于特征的事件嵌入器（event embedder），用于将原始物品特征映射为稠密向量；以及一个仅解码器的 Transformer 上下文关联器（contextualizer），用于对这些嵌入向量的序列进行建模。

这种架构引入了标准文本 LM 所不具备的独特缩放挑战：在推理过程中，必须为每个候选物品重新计算嵌入器，这对于大规模目录而言成本极高。标准的做法是采用两阶段训练方案：首先进行带有批次内采样 Softmax（in-batch sampled softmax）的联合训练，随后冻结嵌入器并缓存嵌入向量，以使用更大规模的采样负样本来训练上下文关联器。这一设置产生了四个需要校准的耦合超参数（旋钮）：

嵌入器权重（Embedder Share）： 分配给嵌入器相对于上下文关联器的参数比例。
关键批次大小（Critical Batch Size）： 最大化数据效率的批次大小。
模型/数据分配（Model/Data Allocation）： 在计算预算（ $N$ 与 $D$ ）之间的最优分配。
负采样（Negative Sampling）： 嵌入器冻结后使用的额外采样负样本数量（ $K$ ）。

研究方法

本研究通过在单个真实零售交互语料库（结合了搜索、浏览、点击和购买行为）上进行的约 600 次训练运行，进行了全面的实证调查。实验涵盖了 $C \in [10^{15}, 10^{19}]$ FLOPs 的计算预算范围。

实验设计通过保持其他变量不变或进行系统性扫描，隔离了四个维度：

架构： 改变嵌入器参数占比（ $s = p_e/N$ ）从 0% 到 50%，以及上下文关联器的深度。
批次大小： 扫描全局批次大小（ $B$ ）从 64 到 2048，以识别不同指标下的关键批次大小（ $B_{crit}$ ）。
模型/数据分配： 在等 FLOPs 前沿（iso-FLOP frontiers）上进行训练，以确定各种预算下的最优 $N$ 和 $D$ ，并与“Chinchilla”启发式规则（ $D/N \approx 20$ ）进行比较。
负采样： 在第二阶段训练中，将额外采样负样本的数量（ $K$ ）从 0 变化到 200 万。

评估协议： 研究区分了两种评估机制：

第一阶段（批次内）： 对比批次内的唯一目标，匹配训练分布。
第二阶段（全目录）： 对比完整的缓存产品目录，模拟实际部署的检索场景。
指标包括交叉熵损失（cross-entropy loss）、困惑度（perplexity）、Recall@k、NDCG@k、MRR@10 以及覆盖率（coverage）。

核心贡献与结果

1. 计算最优的嵌入器规模很小

与“特征丰富的输入需要大型编码器”的直觉相反，研究发现最优的嵌入器参数占比非常小且在四个数量级的计算量下保持稳定。

发现： 最优参数占比 $s^\star \approx 2\%$ （具体取决于指标和预算，在 $1.1\% - 3.7\%$ 之间）。
机制： 这是由两种不对称性驱动的：
1. 计算不对称性： 由于嵌入器的上下文长度较短，而 Transformer 的序列较长，嵌入器参数被触及的频率比上下文关联器参数高出约 24 倍。
2. 数据分布不对称性： 目录中的热门物品会被重复出现数百甚至数千次，使嵌入器面临高频记忆化问题；而上下文关联器很少看到完全相同的事件窗口。
启示： 小规模嵌入器是计算最优的，因为其参数在每一步中的成本更高，且面对的是更具重复性的数据分布。

2. 缩放初期以数据为主，最终趋向 Chinchilla

行为模型表现出与文本 LM 不同的缩放动态，尤其是在较低的计算预算下。

发现： 最优数据与参数比例（ $D/N$ ）最初非常高，在 $10^{15}$ FLOPs 时约为 $\approx 344$ ，并在 $10^{19}$ FLOPs 时下降至 $\approx 36$ 。
趋势： 随着计算量的增加，该比例趋近于文本 LM 的 Chinchilla 启发式规则（ $D/N \approx 20$ ）。
指数： 拟合的模型大小指数为 $N^\star \propto C^{0.617 \pm 0.025}$ ，在各种排序指标（Recall, NDCG）上保持一致。

3. 评估指标决定了缩放法则

一个核心发现是，评估指标的选择从根本上改变了“计算最优方案”。

关键批次大小（ $B_{crit}$ ）： 不同指标对最优批次大小的看法不一。损失函数（Loss）和 Recall@10 共享一个 $B_{crit} \approx 570$ ，而位置加权指标（NDCG@10, MRR@10）饱和得更早，其 $B_{crit} \approx 200\text{--}275$ 。
负采样（ $K$ ）： 最优负样本数量取决于指标。类损失指标倾向于较大的 $K$ （通常 $>10^6$ ），而排序指标则倾向于较小的 $K$ （通常为 $10^5$ ）。
损失与排序的差异： 采样 Softmax 训练损失并不总是全目录排序质量的可靠代理。在第二阶段，训练损失与排序指标之间的相关性可能会根据计算预算和所使用的特定指标而发生符号反转。

4. 负采样从计算约束转向内存约束

小规模预算： 最优 $K$ 在数十万量级，且具有指标依赖性。
大规模预算（ $10^{19}$ FLOPs）： 在最大规模下，随着 $K$ 增加到测试的最大值（200 万），所有核心指标都在持续提升。此时，主动约束从 FLOPs 转向了候选轴内存（即 Softmax Logits 的内存占用）。
启示： 在大规模场景下，负采样变成了一个内存工程问题，而非纯粹的计算分配问题。

意义与主张

本文主张，对于行为基础模型而言，评估指标本身就是缩放法则的一部分。与文本 LM 中单一损失函数即可指导架构和训练方案的情况不同，行为模型要求从业者在拟合缩放法则之前，必须先选择目标指标。改变指标会改变最优的嵌入器权重、批次大小和负采样策略。

本研究为训练标准的“事件嵌入器 $\to$ Transformer”堆栈的从业者提供了一套经过校准的“配方”：

架构： 使用小型嵌入器（约 2% 的参数量）。
数据： 在低计算量时使用重数据分配（ $D/N$ ），在高计算量时向 Chinchilla 靠拢。
批次大小： 根据特定目标指标进行调整（排序指标用较低值，损失指标用较高值）。
负采样： 将大规模负采样视为内存受限问题；在标准部署中使用数十万量级的 $K$ ，但要意识到在 $10^{19}$ FLOPs 规模下，限制进一步提升的是内存而非计算量。

作者强调，虽然缩放指数（ $N$ 和 $D$ 如何随 $C$ 增长）在不同指标间相对稳健，但可操作的配方（即实际部署的具体配置）对所选的评估指标高度敏感。