🤖 AI

Towards a Densing Law for User Representation Learning at Billion-Scale Capacity

本文提出了“用户行为稠密化定律”（User Behavioral Densing Law），这是一种将数据规模与最小充分分词能力联系起来的定量缩放模式，并引入了 ALGN，一种能够克服十亿级数据瓶颈并在用户表示学习中超越现有基准的自适应分词方法。

原作者： Bin Dou, Junru Zhang, Zhaoyi Yuan, Wuliang Huang, Letian Gong, Baokun Wang, Huan Li, Yu Cheng, Weiqiang Wang

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bin Dou, Junru Zhang, Zhaoyi Yuan, Wuliang Huang, Letian Gong, Baokun Wang, Huan Li, Yu Cheng, Weiqiang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字世界中，每一次点击、购买和搜索都会留下痕迹。对于那些构建了我们日常使用平台的公司而言，这些痕迹不仅仅是记录；它们是理解我们是谁的原材料。通过分析一个人行为的长久且曲折的历史，人工智能系统试图构建出一个关于该个体偏好和习惯的单一且强大的总结。这个总结通常被称为“用户表示”（user representation），它充当了数字指纹的角色，帮助决定向其展示什么新闻、推荐什么产品或展示哪些广告。多年来，工程师们普遍持有一种简单的信念：为了让这些指纹更准确，你只需要更多的数据。这种逻辑看起来很合理——为系统喂入更多的用户、更长的人生轨迹以及更大的计算机大脑来处理这一切，结果自然会变得更好。

然而，一项新的研究挑战了这种“多多益善”的假设。来自蚂蚁集团和浙江大学的研究人员调查了这种无止境扩张的策略在处理如支付宝处理的数十亿笔交易这类大规模真实世界数据时是否真的有效。他们发现，当增加原始信息时，存在一个临界点，此时增加信息不再有帮助，反而会产生负面影响。正如一个房间如果堆满了家具就会变得无法移动一样，一个系统如果被过多的重复性、低价值数据淹没，就会失去识别真正重要事物的能力。团队发现，瓶颈不在于计算机模型的大小，而在于输入信息的质量和密度。他们提出了一种新方法，专注于将这种庞大的历史压缩成一个紧凑、高价值的总结，从而使系统能够“以少胜多”。

研究人员首先在包含数亿用户的数据集上测试了传统方法的极限。他们系统地增加了用户数量、观察的时间窗口以及计算机模型本身的大小。他们发现性能起初提升很快，但随后撞上了一堵硬墙。当他们在超过一定点后增加用户，或者观察超过约六十天的历史记录时，系统停止了学习任何新东西。额外的数据大多只是重复不断的旧习惯，就像一个人十年来每天早上买同样的咖啡一样。即使他们显著扩大了计算机模型，它也未能变得更聪明；它只是记住了这些重复的细节，而没有获得任何真正的洞察。研究人员称之为“原始行为缩放墙”（raw behavioral scaling wall）的这一现象表明，仅仅向问题投喂更多数据已不再是一种可行的策略。

为了突破这堵墙，团队引入了一种“数据稠密化”（densing）的方法。他们并没有将整个混乱的原始事件历史直接喂给系统，而是首先将这些事件转化为一组紧凑的数字标记（tokens），类似于一本书可以被总结成几个关键句子而不丢失主旨。他们使用了一种技术，将相似的行为归类在一起并剥离冗余，只保留最具信息量的信号。当他们在这些压缩后的、标记化的用户历史版本上训练模型时，结果令人瞩目。即使随着数据规模的扩大，系统仍在持续改进，而使用原始数据训练的系统早已停滞不前。压缩后的数据让模型能够“见森林而非迷失在树木之中”，即使在输入量巨大时，仍能保持学习和适应的能力。

该研究进一步定义了一个精确的规则，即随着数据增长需要多少压缩。他们发现，存储用户总结所需的“空间”并不需要与原始数据量成正比增长。相反，它遵循一种可预测的模式，即必要的容量随数据量的增加而缓慢增长。这意味着对于处理十亿用户的系统，你不需要十亿倍的内存或计算能力；你只需要经过精心计算的、规模小得多的高质量标记。这一发现，他们称之为“行为稠密化定律”（Behavioral Densing Law），为工程师提供了一个数学指南，让他们确切知道对于任何给定的数据量应该应用多少压缩，从而确保不会在不必要的信息上浪费资源。

最后，研究人员开发了一种名为“自适应长度门控网络”（Adaptive Length Gated Network）的新工具来将这一定律付诸实践。以往的方法对每个用户的历史记录一视同仁，无论其生活多么复杂，都分配相同数量的压缩空间。新工具则更加聪明；它会针对每个用户进行个体化观察，并决定保留多少细节。对于生活非常规律、可预测的用户，它分配极短的总结；对于生活复杂、兴趣广泛的用户，它则分配更长、更详细的总结。这种动态方法确保了不会在枯燥、重复的数据上浪费任何计算能力，同时复杂的用户仍能获得所需的关注。在测试中，这种自适应方法不仅在准确性上超越了所有之前的系统，而且使用了显著更少的计算容量，证明了效率与性能可以并行不悖。

这项工作的意义远不止于一个应用程序或网站。它暗示了我们构建未来智能系统的方式正在发生根本性的转变。未来的路径不在于无止境地收集更多数据和构建更大的模型，而在于学会从现有的数据中提取更多的价值。通过关注信息的密度而非单纯的体积，我们可以构建出不仅更准确，而且更高效、更可持续的系统。这项研究表明，在数据大时代的背景下，最强大的工具不是一个更大的桶，而是一个更好的过滤器。

技术摘要：迈向十亿级容量下的用户表示学习“稠密化定律”

1. 问题陈述

在工业级用户表示学习中，性能提升传统上依赖于增加用户规模、延长行为序列长度以及扩大模型容量。然而，本文识别出了一个关键现象，称之为**“原始行为缩放墙”（Raw Behavioral Scaling Wall）**。

通过对十亿级支付宝数据的实证分析发现，一旦达到特定阈值（例如：用户数 > 0.03B，历史时长 > 60天，参数量 > 0.2B），单纯增加原始数据量或模型规模会产生迅速递减的收益。超过这些点后：

冗余主导（Redundancy Dominance）： 额外的数据主要引入的是重复的、低信息量的事件（如习惯性支付），而非新的任务相关信号。
损失-质量脱节（Loss-Quality Dissociation）： 更大的模型虽然能通过拟合冗余细节来降低预训练损失（Loss），但无法提升下游任务（如 CTR 预测、检索）的准确率。
瓶颈转移（Bottleneck Shift）： 限制因素不再是模型容量，而是输入的信息密度（Information Density）。原始行为序列包含过多的噪声和冗余，导致编码器无法高效地提取额外价值。

核心挑战在于：当原始数据缩放趋于饱和时，如何有效地扩展用户表示，特别是如何刻画数据规模与最小充分分词（Tokenization）容量之间的定量关系。

2. 方法论

本文提出将研究重心从面向容量的缩放（Volume-oriented scaling）转向面向密度的缩放（Density-oriented scaling），并通过以下三个主要部分来实现：

A. 基于残差量化的行为稠密化（Behavioral Densing via Residual Quantization）

为了应对缩放墙，作者采用**残差量化变分自编码器（RQ-VAE）**作为行为分词器。

流程： 将长序列、多源的原始行为日志（缴费、SPM、小程序）映射到连续嵌入空间，然后通过多阶段残差量化将其压缩为紧凑的离散语义 Token。
机制： 该过程将重复的原始序列转化为固定长度的离散编码序列。早期码本（Codebook）捕捉宏观层面的语义（如消费类别），而后期阶段则细化残差变化（如商家偏好）。
目标： 在不改变下游编码器架构的前提下，抑制冗余并提高每个输入单元的信息密度。

B. 行为稠密化定律（The Behavioral Densing Law）

作者提出了一个控制数据规模与最优分词容量之间关系的定量定律。

定义： 该定律定义了在给定行为规模（ $s$ ）下，实现帕累托最优性能所需的最小充分容量（Minimal Sufficient Capacity, $C^*$ ）。
理论公式： 该定律源于平衡下游效用（ $U$ ）与表示成本（ $C$ ）的帕累托优化问题，指出最优容量随行为复杂度的幂律增长。
经验公式：
$\ln C^*(s) = \beta + \alpha \ln(s/s_0)$
其中 $s$ 代表数据规模（用户数或时间跨度）， $\alpha$ 是取决于数据多样性和分词方法表示空间效率的系数。
验证： 通过对不同数据源（缴费、SPM、小程序）和分词方法（RQ-VAE、VQ-VAE、SARQ）的实验验证，证实了最小充分容量遵循该对数缩放轨迹。

C. 自适应长度门控网络（Adaptive-Length Gated Network, ALGN）

为了从规模层面的容量选择转向实例层面的分配，本文提出了受稠密化定律启发的创新分词方法 ALGN。

动机： 固定长度的分词并非最优，因为用户行为具有异质性；某些时段信息丰富，而另一些时段则属于常规行为。
机制： ALGN 动态决定每个用户样本的语义 ID 长度。在每个量化层级，门控网络评估以下指标：
1. 残差范数（Residual Norm）： 未被解释的信息量。
2. 累积不确定性（Cumulative Uncertainty）： 当前语义路径的模糊程度。
3. 边际成本（Marginal Cost）： 增加另一个编码层级的成本。
决策规则： 只有当预期边际效用（高残差/高不确定性）超过边际成本时，分词器才会进入下一个层级。这产生了变长 Token，将更多容量分配给复杂的行为，而为冗余行为分配较少容量。

3. 核心贡献

缩放诊断： 本文通过实证研究识别了“原始行为缩放墙”，证明了工业级用户表示学习存在严重的冗余饱和问题。研究表明，在固定数据下，超过一定点后增加模型参数会导致损失与质量的脱节。
行为稠密化定律： 提出了一个预测分词配置的“配方”。该定律量化了最小充分分词容量如何随数据量缩放，为十亿级场景下的配置选择提供了原则性指导。
自适应分词（ALGN）： 引入了一种基于行为复杂性自适应分配容量的变长分词策略。ALGN 在性能和效率方面均优于固定长度基准模型及现有的自适应方法。

4. 实验结果

所提方法在支付宝十亿级数据集上的三个下游任务中进行了评估：分类（线性探测）、基于文本的检索以及用户-用户（U2U）检索。

突破缩放墙： 分词后的表示（RQ-VAE）一致优于原始序列建模，尤其是在饱和区间（更长的历史记录、更大的用户群体）。当原始数据性能趋于平缓时，分词数据仍能展现持续的增益。
效率提升：
- ALGN vs. 基准模型： ALGN 在实现 SOTA 性能的同时（例如比表现最好的基准模型 SARQ 高出 1.07% AUC），减少了 13.23% 的容量使用。
- 缩放斜率： 应用 ALGN 将稠密化定律的缩放斜率从约 0.77（RQ-VAE）降低至 ~0.59，表明表示空间的利用更加高效。
泛化性： 稠密化定律在不同数据源（缴费、SPM、小程序）和分词架构（RQ-VAE、VQ-VAE、SARQ）下均成立，且缩放系数与数据源内部的唯一性相关。

5. 意义与主张

本文声称提供了对“更多数据和更大模型总能带来更好表示”这一假设的首次系统性、大规模实证检验。其意义在于：

范式转移： 文章主张从收集更多原始数据转向优化现有数据的信息密度。这为盲目进行数据缩放这种高计算和环境成本的行为提供了一个原则性的替代方案。
实践指南： 识别出的饱和阈值（如 0.03B 用户、60 天）为工业从业者在数据保留政策和训练预算分配方面提供了具体的指导。
理论基础： 通过建立行为稠密化定律，本文提供了一个预测特定数据规模所需最优分词容量的理论框架，使用户表示学习从启发式调优转向定量估计。
成本-性能前沿： 研究表明，在稠密化、分词后的输入上运行较小的编码器，可以超越在更长原始历史数据上训练的更大模型，从而有效地推动了性能-成本前沿。

作者也谦虚地指出，目前的研究侧重于单一模态（文本行为日志），且稠密化定律对其他模态（如视频消费）的泛化性仍需进一步验证。