📊 statistics

Hyperparameter Transfer for Dense Associative Memories

本文针对稠密联想记忆缺乏超参数迁移方法的问题，通过推导明确的理论指导方案，成功实现了从小型模型到大型模型的超参数扩展，该任务因共享权重和独特的激活函数而变得复杂，并通过强有力的实证一致性验证了这些发现。

原作者： Roi Holtzman, Dmitry Krotov, Boris Hanin

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Roi Holtzman, Dmitry Krotov, Boris Hanin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一台巨大而复杂的机器如何记忆事物。在人工智能领域，这台机器被称为稠密联想记忆（DenseAM）。不要把它看作标准的计算机程序，而要将其视为一片由山丘和山谷构成的“能量景观”。这台机器的工作是将一个球滚下山丘，直到它停在一个山谷中，这个山谷就代表存储的记忆或正确的答案。

问题在于，这些机器有各种尺寸。你可能从一个玩具大小的微型版本开始来测试你的想法，但最终，你想要构建一个巨大的、工业级的版本。通常，那些在玩具机器上完美运行的设置（称为超参数）——比如球滚动的速度或山丘的陡峭程度——当你将其扩展到巨型机器时，往往会彻底失效。你不得不花费数年时间以及数百万美元，仅仅为了猜测大型机器的正确设置。

这篇论文就像一本通用操作手册，它确切地告诉你如何将设置从你的小型玩具模型转换到大型工业模型，从而无需再进行猜测。

以下是他们利用简单类比对这一发现的分解说明：

1. “共享权重”问题

大多数标准 AI 模型就像一座多层建筑，每一层都有自己独特的油漆和家具（权重）。在这些模型中，科学家们已经知道如何扩展设置。

但 DenseAM 则不同。它们就像重复的壁纸图案。同一组规则（权重）被一遍又一遍地应用，既在同一层内，也在不同层之间。这种“共享”使得数学计算变得更加棘手。如果你只是盲目地将设置从一个小版本复制到大版本，整个系统往往会崩溃或陷入停滞。作者们推导出了具体的数学方法，以调整“油漆厚度”和“家具尺寸”，从而使重复的图案在任何规模下都能顺畅运行。

2. “中心化”修复（人群控制）

作者发现的一个最大难题是，这些模型往往会变得“不平衡”。想象一群人（数据）在齐声呐喊。如果你只是听取平均噪音，最响亮的人会淹没其他人，导致信号丢失。

用技术术语来说，“激活”（通过网络传递的信号）具有内在的偏差，就像天平一侧有一个沉重的砝码。作者发现，必须在这些信号进入下一步之前减去平均值。他们称之为**“中心化”**。

没有中心化： 模型随着变大而变得不稳定。这就像试图平衡一个跷跷板，你每增加一个人，一侧就会变得更重。
有了中心化： 模型保持平衡。作者表明，如果你对数据进行“中心化”，你在小型模型上找到的设置就能完美地适用于大型模型。

3. “优化器”的选择（SGD 与 Adam）

这篇论文还考察了机器学习的两种不同方式：SGD（一种采取小步、稳健步伐的方法）和Adam（一种更具适应性并使用动量的方法）。

对于 ReLU（一种常见的激活类型）： 两种方法都有效，但前提是必须使用上述的“中心化”技巧。
对于 Softmax（一种用于概率的方法，例如在选项之间进行选择）： 作者发现了一个惊人的转折。标准的“稳健步伐”方法（SGD）在模型变得巨大时变得不稳定且混乱。这就像试图用微小的舵来驾驶一艘巨轮；船只会失控旋转。然而，自适应方法（Adam）保持了稳定。他们为 Adam 找到了一种特定的配方，使得设置能够从小型模型完美转移到大型模型，即使面对这种棘手的激活函数也是如此。

4. “比例”规则

作者们并没有给出模糊的建议，而是推导出了一份精确的配方。他们发现，如果你同时扩大模型、数据量和批量大小（即模型一次看到的示例数量）（保持它们的比例不变），训练动态就会“坍缩”成单一、可预测的模式。

这就像变焦镜头。如果你放大照片，像素会变大，但图像看起来是一样的。作者证明，如果你使用他们的特定公式同时扩展模型和数据，那么无论是观察微型模型还是巨型模型，训练过程的“图像”看起来都完全一样。

“配方”总结

这篇论文提供了一张指令表（就像烹饪食谱），说明了如何根据模型的大小调整“配料”（学习率和初始化尺度）：

如果你将输入大小加倍： 按特定因子调整初始权重尺度（例如除以大小的平方根）。
如果你将隐藏层宽度加倍： 根据你使用的是 SGD 还是 Adam，以不同的方式调整学习率。
关键步骤： 始终对数据进行“中心化”（去除平均值），以防止模型倾覆。

核心结论

作者们成功破解了稠密联想记忆中超参数迁移的代码。在此之前，扩展这些特定类型的 AI 模型是一场赌博。现在，他们拥有了数学保证：如果你遵循他们的扩展规则并使用“中心化”技巧，你就可以训练一个小型模型，找到完美的设置，然后自信地将这些相同的设置应用于大型模型，而无需从头开始重新调整一切。他们通过在从简单数学问题到识别手写数字（MNIST）等各种实验上验证了这一点，表明该理论在实践中是成立的。

技术摘要：稠密联想记忆的超参数迁移

问题陈述

现代深度学习严重依赖超参数（HP）迁移，即在小型模型和数据集上确定最优设置（例如初始化尺度、学习率），然后将其迁移到更大规模，以避免代价高昂的调优。虽然针对前馈网络的超参数迁移理论框架已经存在（例如基于 $\mu$ P 启发式方法），但尚未针对**稠密联想记忆（DenseAMs）**进行开发。

由于以下三个特定的架构特征，DenseAMs 给现有的迁移方法带来了独特的挑战：

权重共享：能量函数要求权重在层间及操作内部共享，这与标准前馈网络不同。
残差动力学：描述能量下降的动力学方程原生地包含了残差连接。
陡峭激活函数：为了实现卓越的信息存储缩放定律，DenseAMs 利用快速峰值的激活函数（例如高幂次 ReLU、softmax），这些函数在标准前馈架构中很少见。

这些因素创造了一个复杂的景观，使得标准的量纲分析无法预测超参数应如何随模型规模（ $N, K$ ）、数据集规模（ $P$ ）和批量大小（ $B$ ）进行缩放。

方法论

作者通过推导比例缩放机制下的超参数缩放明确规则，开启了针对 DenseAMs 的 $\mu$ P 型超参数迁移研究，该机制定义为：
$N \to \infty, \quad K = \kappa N, \quad P = \rho N, \quad B = \beta P$
其中 $\kappa, \rho, \beta$ 为固定常数。

模型定义

本研究专注于在能量景观上执行单步梯度下降的浅层 DenseAM 更新规则：
$f(x) = s_2 W^\top \sigma_C [s_1 W g(x) + b] + c$
其中 $W \in \mathbb{R}^{K \times N}$ 为绑定权重， $g$ 为固定非线性函数， $\sigma_C$ 为可能经过中心化的激活函数。训练目标为去噪损失：
$L(W) = \frac{1}{2B} \sum_{\mu=1}^B \| f_W(x_\mu + \epsilon_\mu) - x_\mu \|^2$

关键技术修改

作者指出，由于激活函数 Gram 矩阵中存在“均值诱导的尖峰”，标准参数化方法对于具有非线性激活函数的 DenseAMs 会失效。为解决这一问题，他们引入了中心化：

中心化算子：将投影矩阵 $C = I_K - \frac{1}{K}\mathbf{1}_K\mathbf{1}_K^\top$ 应用于预激活和后激活。
必要性：对于具有非零均值的非线性激活函数（ReLU、Softmax），若不进行中心化，会导致激活 Gram 矩阵（ $S^\top S$ ）中出现秩一尖峰，其缩放方式与体块特征值不同。这种不匹配会导致数值不稳定并阻碍超参数迁移。中心化消除了该尖峰，确保所有内部统计量一致缩放。

推导方法

作者通过执行量纲分析以满足三个期望条件，从而调整 $\mu$ P 启发式方法：

稳定性：预激活（ $Z$ ）和输出（ $F$ ）的初始化统计量（均值/方差）在 $N, K \to \infty$ 时必须保持为 $O(1)$ 。
最大化： $T$ 步后的参数更新（ $\Delta Z, \Delta F$ ）必须保持为 $O(1)$ 。
平衡：由绑定权重 $W$ 的两次出现所导致的各项更新贡献必须在量级上保持平衡。

通过分析 MSE 损失的梯度以及 SGD 和 Adam 优化器产生的更新结果，作者推导出了初始化尺度（ $s_1, s_2$ ）和学习率（ $\eta_W, \eta_b, \eta_c$ ）的具体缩放定律。

主要贡献与结果

1. 明确的缩放规则

论文提供了针对不同激活函数和优化器的缩放规则表（表 1）。主要发现包括：

线性激活函数：在比例机制下， $s_1 \sim N^{-1/2}$ ， $s_2 \sim K^{-1/2}$ ，且 $\eta_W \sim K$ （针对 SGD）。
ReLU 类激活函数：中心化至关重要。若无中心化，由于不稳定性，超参数迁移将失败。若进行中心化，线性规则对 SGD 和 Adam 均适用。Adam 即使在处理高幂次 ReLU（ $p=10$ ）时仍保持稳定，而 SGD 在大学习率下会变得不稳定。
Softmax 激活函数：
- SGD 不稳定性：由于“行放大反馈”，SGD 在大规模下会出现数值不稳定，即具有较大 softmax 权重的行会接收到不成比例的巨大更新，导致局部化和发散。论文未提供适用于 Softmax 的稳定 SGD 规则。
- Adam 成功：Adam 具有尺度不变性，对于中心化的 Softmax DenseAMs 表现出成功的超参数迁移，其中 $s_1 \sim N^{-1/2}$ ， $s_2 \sim K^{1/2}$ ，且 $\eta_W \sim 1$ 。

2. 实证验证

作者在多种设置下验证了这些理论发现：

比例缩放：在各项同性高斯数据和 MNIST（通过 plaquette 下采样）上的实验表明，当使用推导出的规则时，训练动态（损失曲线、内部特征协方差）在不同规模下发生坍缩。
各向异性数据：尽管理论推导假设输入为各向同性，但这些规则在针对各向异性和真实数据（MNIST）时表现惊人地好。
中心化与非中心化：实证结果（图 7、8、10、11、13）清楚地表明，非中心化模型会发散或无法迁移超参数，而中心化模型则表现出一致的动态和成功的迁移。

3. 动力学坍缩

除了简单的损失迁移外，论文还证明，所提出的参数化导致了训练动力学的坍缩。当应用缩放定律时，内部统计量（如权重更新的均方根和特征协方差）在不同模型规模（ $N, K$ ）下保持恒定。

意义与主张

论文声称是首个开启稠密联想记忆超参数迁移研究的工作。其意义在于：

填补空白：将超参数迁移理论从标准前馈网络扩展到具有绑定权重和陡峭激活函数的基于能量的模型。
实用价值：提供了可操作的、理论基础的 DenseAMs 缩放规则，使从业者能够在无需昂贵的大规模超参数调优的情况下训练大规模模型（例如 Energy Transformers、NRGPT）。
架构洞察：确定了中心化是带有非线性激活函数的 DenseAMs 稳定性的基本要求，这是此前在超参数迁移背景下未被解决的细微差别。

作者在范围上保持谦逊，指出其分析在推导时假设数据为各向同性（尽管在其他方面具有实证鲁棒性），并且关于非线性 DenseAMs 在无限规模下训练动态的完整解析描述仍是未来工作的主题。他们并未声称解决了所有现代架构的超参数迁移问题，而是专门针对 DenseAM 家族。