🤖 machine learning

Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation

为解决 RankMixer 架构中的嵌入坍缩与表达能力受限问题，本文提出 RankElastor，这是一种新颖的推荐模型，其采用参数化全混合机制与 GLU 改进的 P-FFN，能够稳定表示谱并实现稳健的稠密扩展。

原作者： Guoming Li, Shangyu Zhang, Junwei Pan, Wentao Ning, Jin Chen, Gengsheng Xue, Chao Zhou, Shudong Huang, Haijie Gu, Menglin Yang

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guoming Li, Shangyu Zhang, Junwei Pan, Wentao Ning, Jin Chen, Gengsheng Xue, Chao Zhou, Shudong Huang, Haijie Gu, Menglin Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Expand More, Shrink Less》的解释。

大局观：推荐引擎的困境

想象你经营着一座庞大的图书馆（即推荐系统），它为数百万读者提供书籍推荐。为此，图书馆为每本书和每位读者分配了一张独特的“身份证”（即嵌入向量）。这些身份证包含大量信息。

最近，一位名叫RankMixer的新任聪明图书管理员被聘用。RankMixer 擅长整理这些身份证。它将这些卡片打乱、重新排列以寻找关联，然后将它们送入处理机器，从而生成更优质的推荐。

然而，这篇论文的研究人员发现了 RankMixer 的一个隐藏问题。随着图书馆规模扩大、身份证变得更加复杂，这些卡片开始失去个性。它们变得彼此雷同，就像一叠完全相同的复印件。用技术术语来说，系统遭受了“嵌入坍塌”（Embedding Collapse）。信息被挤压进一个微小且扁平的空间，导致图书馆无法区分悬疑小说和烹饪书，尽管它们截然不同。

问题所在：“锯齿状”过山车

研究人员仔细考察了 RankMixer 逐层处理这些身份证的方式。他们发现了一种奇怪的模式，就像一辆过山车上下起伏，但随着时间的推移却缓慢地向下漂移：

洗牌（Token Mixing）： RankMixer 首先打乱卡片。这就像将一副牌摊在桌面上。这一步实际上很有帮助！它将信息分散开来，使身份证看起来更加多样（即“扩展”部分）。
处理（P-FFN）： 接下来，卡片进入处理机器。不幸的是，这台机器倾向于将卡片重新压回成扁平的一堆。它压缩了多样性（即“收缩”部分）。

在旧的 RankMixer 中，“收缩”步骤过于强烈。尽管洗牌试图扩展信息，但处理机器却将其重新压扁。结果产生了一种“阻尼振荡”——一条缓慢趋向于平坦、无用状态的波动线。图书馆在扩展其潜力，却立即将其收缩回去。

解决方案：RankElastor

为了解决这个问题，作者构建了一位名为RankElastor的新图书管理员。他们的座右铭是“多扩展，少收缩”。他们对图书馆的工作流程进行了两项具体升级：

1. “总洗牌师”（参数化全混合）

旧方法： RankMixer 使用僵硬的规则来洗牌。这就像一台只能每次交换 10 张卡片块的机器。它很高效，但无法进行精细的、细节上的调整。
新方法： RankElastor 使用“总洗牌师”。这是一个可学习、灵活的体系，能够以细致的方式将每一张卡片与其他每一张卡片进行混合。
类比： 想象试图搅拌沙拉。旧方法就像使用一把只能舀起大块生菜和西红柿的大勺子。新方法则像使用一双筷子，可以夹起单粒米饭并将其完美混合。这使得系统能够创造出更丰富、更多样的身份证，不易发生坍塌。

2. “智能处理器”（改进的 GLU P-FFN）

旧方法： 处理机器使用标准的激活函数（GELU）。这就像是一个要么开要么关的开关，或者是一个有时会卡住的调光器。它倾向于过度压缩信息。
新方法： RankElastor 将其替换为GLU（门控线性单元）处理器。
类比： 想象旧处理器是一扇重重关上的门，挡住了大部分光线。新的 GLU 处理器则像是一扇带有调光器和栅栏的智能窗户。它可以让适量的光线通过，并更精确地控制流量。它充当“守门人”，防止信息被压扁，保持身份证的独特性和实用性。

结果：更健康的图书馆

研究人员在两个巨大的真实世界数据集（Criteo 和 Avazu）上测试了 RankElastor，这些数据集就像是庞大的在线广告和用户点击目录。

更好的推荐： RankElastor 的预测表现优于旧的 RankMixer 和其他顶级竞争对手。它提高了推荐的准确性（通过 AUC 衡量），虽然幅度微小，但在统计上显著。在大规模推荐系统的世界里，哪怕是一点点改进也是一次巨大的胜利。
不再坍塌： 当他们查看“有效秩”（衡量身份证多样性的指标）时，RankElastor 保持了卡片的高度多样性。卡片没有像过山车那样漂移成一条直线，而是在整个过程中保持“有弹性”且多变。
规模扩展： 当他们扩大图书馆规模（增加更多层或更宽的处理）时，RankElastor 表现得越来越好。旧的 RankMixer 在扩展时难以避免坍塌，而 RankElastor 则优雅地应对了增长。

总结

该论文认为，要构建更好的推荐系统，我们必须阻止信息被挤压。通过将僵硬的洗牌替换为灵活的混合，并使用更智能的处理门控，RankElastor确保了系统对数据的“扩展”理解多于“收缩”。这使得推荐保持新鲜、多样且准确，即使系统扩展到巨大规模也是如此。

技术摘要：多扩展，少收缩：塑造推荐系统中密集扩展的有效秩动态

1. 问题陈述

本文探讨了在扩展密集推荐模型背景下嵌入坍塌的挑战。尽管像RankMixer这样的最新架构通过交替进行令牌混合（token mixing）和逐令牌前馈网络（P-FFNs）来扩展推荐系统并展示了成功，但它们存在一个根本性局限：学习到的表示倾向于集中在低秩子空间中。

这种现象被称为嵌入坍塌，限制了模型的表达能力，并未能充分利用扩展所提供的表示空间。作者指出，RankMixer 的特定架构导致有效秩在各层间呈现**“阻尼振荡轨迹”**：

令牌混合模块略微增加有效秩。
P-FFN 模块随后收缩有效秩。

虽然这种交替行为比表现出单调秩衰减的传统推荐器提供了适度的改进，但随着模型深度的增加，它未能从根本上防止坍塌。本文认为，令牌混合的刚性、非参数化特性以及 P-FFN 中的标准激活函数是这种谱不稳定的主要原因。

2. 方法论：RankElastor

为了克服这些局限，作者提出了RankElastor，这是一种新颖的深度推荐架构，旨在产生具有可证明坍塌缓解能力的谱鲁棒表示。其核心哲学是“多扩展，少收缩”，通过两项关键的架构创新实现：

A. 参数化全令牌混合

在 RankMixer 中，令牌混合是通过非参数化的块转置（block-transpose）操作实现的。作者通过引入一个可学习的混合算子将网格尺度细化至最细分辨率（ $d=1$ ），从而对此进行了泛化。

机制：RankElastor 不再使用固定的排列，而是对展平后的表示采用稠密线性变换： $vec(M^\top) = LN((W + I)vec(X^\top))$ ，其中 $W$ 是一个可学习的混合矩阵。
理论依据：定理 3.1 证明，粗粒度的块混合（其中 $d^* > 1$ ）在表达能力上严格弱于全混合（ $d^* = 1$ ）。标准混合中的块克罗内克约束阻止了模型表达细粒度的、高秩的坐标交互，特别是在输入表示已经发生谱坍塌时。全混合消除了这一约束，从而实现了更丰富的交互。

B. 改进的 GLU-P-FFN

作者用GLU 风格的门控前馈模块替换了 RankMixer 中基于 GELU 的标准 P-FFN。

机制：新模块利用门控激活： $Z_t = (GELU(M_t W_1) \odot (M_t W_2))W_3 + M_t W_r$ 。
理论依据：定理 3.2 证明，改进的 GLU-P-FFN 提供了更强的有效秩恢复能力。与标准前馈网络不同（后者可能确定性地或概率性地收缩有效秩，特别是在低秩输入上），GLU 门的乘法性质诱导了二次交互。这使得该模块能够在统计上保持谱鲁棒性，并诱导有效秩的加性增加（ $\delta > 0$ ），前提是隐藏层宽度满足特定的缩放条件。

3. 主要贡献

RankMixer 分析：本文提供了实证证据和理论依据，表明 RankMixer 的核心模块（令牌混合和 P-FFN）共同限制了谱鲁棒性，导致嵌入坍塌的缓解不完整。
RankElastor 架构：提出了一种集成参数化全混合和改进的 GLU-P-FFN的新架构。作者为这些组件的谱鲁棒性提供了理论保证，表明它们能够实现更具表达力的变换并防止秩收缩。
实证验证：在工业级基准测试上的广泛实验表明，RankElastor 在点击率（CTR）预测方面始终优于强基线模型（包括 RankMixer、DCNv2 和 xDeepFM），同时保持了更高的有效秩，并表现出更优越的参数缩放行为。

4. 实验结果

作者在两个大规模工业数据集Criteo和Avazu上评估了 RankElastor。

预测性能：RankElastor 取得了最先进（SOTA）的结果，在两个数据集上，与最强基线（RankMixer）相比，AUC 提升了超过0.001。在工业界 CTR 基准测试中，这一提升被认为具有统计显著性。
嵌入坍塌缓解：
- 有效秩：与 RankMixer 相比，RankElastor 在所有层中始终维持更高的平均有效秩。
- 动态特性：虽然 RankMixer 显示出在 FFN 层具有显著收缩的阻尼振荡轨迹，但 RankElastor 在混合阶段表现出更强的扩展，在 FFN 阶段表现出明显更温和的收缩，从而实现了稳定的谱演化。
缩放行为：缩放定律实验（改变深度和宽度）显示，RankElastor 比 RankMixer 具有更有效的扩展性。深度和宽度的联合缩放产生了更大的性能增益，证实了其作为可扩展范式的潜力。
泛化能力：该模型还在行为序列建模任务（KuaiVideo 和 TaobaoAd）上进行了测试，再次优于基线模型，表明该方法不仅适用于标准 CTR 预测，还具有泛化性。
效率：由于引入了参数化混合，与 RankMixer 相比，所提出的架构带来了**10–15%**的运行时间适度增加，同时保持了相当的 GPU 内存使用量。

5. 意义与主张

本文主张，RankElastor 为改进基于令牌变换的推荐器提供了原则性的方向。通过将刚性、非参数化的操作转变为可学习的、细粒度的混合和门控激活，该架构成功解耦了模型深度与表示坍塌之间的权衡。

作者强调，他们的工作为表示坍塌提供了一个谱视角，指出“阻尼振荡轨迹”是原始 RankMixer 设计的固有属性。RankElastor 不仅被视为一种渐进式改进，更被视为一种稳健且可扩展的范式，它通过确保扩展的表示空间得到有效利用而非坍塌，从而释放了推荐系统中密集扩展的潜力。

本文最后指出，虽然这些发现特定于此类架构，但对谱动态的洞察以及“多扩展，少收缩”原则为未来研究更具表达力的令牌混合机制和保谱非线性模块奠定了基础。