🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

本文介绍了 LionVote，这是一种利用梯度稳定性与动量诊断来进行逐层学习率自适应的机制，通过解决 Transformer 架构中固有的跨层学习率差异，在 ViT-Tiny/CIFAR-100 上实现了相对于标准 Lion 和 AdamW 在统计学意义上显著的准确率提升。

原作者： Kris Atallah (New York University, New York, USA)

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Kris Atallah (New York University, New York, USA)

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个巨大的数字大脑来识别猫、狗和汽车。这个大脑由许多不同的层组成，就像一座多层的建筑。通常，当我们教这个大脑时，我们会给每一层分配完全相同的“学习时间”（学习率）和相同的速度。这就像一位老师告诉数学课、美术课和体育课都要以完全一样的节奏进行，而不论他们正在做什么。

但如果数学生需要冲刺，而美术生需要漫步呢？

这就是 LionVote 所解决的问题。它是一种训练特定类型数字大脑（称为“Lion”）的新方法。研究人员发现，如果你对大脑的每个部分都一视同仁，有些部分会变得不堪重负，而有些部分则会感到无聊。

重大发现：大脑的“有效规模”失衡了

作者测量了 Lion 大脑的学习情况，并发现了一些令人惊讶的事实。在一项特定的测试中（使用名为 ViT-Tiny 的模型和 CIFAR-100 数据集），大脑处理注意力机制和复杂思考的部分（MLP 参数）的“有效规模”高出了 2.6 到 2.8 倍。对于负责保持组织有序的部分（归一化层），则高出了约 2 倍。

可以这样理解：大脑的注意力部分正试图从消防水龙头的喷射中饮水，而组织部分却是在用花园里的软管饮水。注意力部分和 MLP 部分的有效规模实际上比归一化部分高出 32%，尽管“老师”（全局学习率）将水龙头调到了相同的设置。这种不匹配使得大脑难以高效学习。

解决方案：为每一层建立投票系统

为了解决这个问题，研究人员发明了 LionVote。与其让一个老师向整栋建筑大声喊叫指令，不如给大脑的每一层都配备一个微小的、持久的“层计数器”。

投票机制如下运作：

复合水平（The Compound Level）： 每一层都有一个从零开始的得分（一个整数）。这个得分充当音量旋钮，调高或调低学习率。
两项投票： 每隔几个 epoch（训练周期），该层会通过两个特定的测试来检查自身的健康状况：
- 投票 1（方向检查）： 该层是在朝着稳定的方向移动，还是在前后摇摆？如果梯度（学习方向）是稳定的，它就会获得“赞成票”。如果波动剧烈，它就会获得“反对票”。
- 投票 2（动量健康度）： 该层的动量（速度和惯性）是否相对于其当前的进度过强？如果它正处于失控状态，它就会获得“反对票”。
决胜局（Tiebreaker）： 有时两项投票会产生分歧（一个说“快一点”，另一个说“慢一点”）。在这种情况下，系统会查看 验证损失（validation loss）（即大脑在练习测试中的表现得分）。如果练习测试的得分提高了，则投赞成票继续前进；如果得分下降了，则投反对票减速。

基于这些投票，每一层的“音量旋钮”（复合水平）会随之调高或调低。如果一层很稳定，它可能会获得提升；如果一层很混乱，它可能会被要求“暂停”。

结果：微小但真实的胜利

当他们在 ViT-Tiny 模型上进行测试时：

LionVote 达到了 69.71% 的准确率。
标准的 Lion 优化器达到了 68.95%。
流行的 AdamW 优化器达到了 68.75%。

LionVote 与标准 Lion 之间的差异在统计学上是显著的（这意味着这很可能是一个真实的改进，而非偶然），其发生概率小于 2%。在 ViT-Tiny/CIFAR-100 测试中，LionVote 也击败了 AdamW，但在 ViT-Tiny/CIFAR-10 测试中，LionVote 与 AdamW 持平。

这并不意味着什么

了解这种方法不是做什么的非常重要，因为论文对此表述得非常明确：

它不是解决所有问题的万灵药。 在更简单的、均匀的网络（如 WideResNet）上，使用手动调整学习率（使用带有余弦退火的 SGD）的传统方法仍然更胜一筹。LionVote 在那里没有帮助；事实上，在某些测试中，它甚至让情况变得稍微变差了。
它不是针对所有任务的永久性修复。 其益处很大程度上取决于层与层之间的差异程度。架构越“异质”（不同），LionVote 的帮助就越大。在均匀的 WideResNet 上，各层过于相似，导致投票系统找不到太多可以修复的地方。
它不是所有优化器的“设置好就不用管”的方案。 “动量健康度”投票的具体规则是专门为 Lion 优化器推导出来的。如果你尝试将这些完全相同的规则用于像 Adam 这样的其他优化器，它们可能不会奏效，因为其背后的动量数学逻辑是不同的。

核心启示

论文指出，逐层适配（per-layer adaptation） 是一个强大的工具，但前提是其大脑架构足够复杂，以至于拥有不同的需求。LionVote 证明了，通过让每一层根据自己的需求投票决定学习速度，我们可以在不需要手动猜测完美设置的情况下，榨取出一丁点额外的性能（在此特定测试中约为 0.7 个百分点）。

这就像意识到，在一所繁忙的学校里，数学老师、美术老师和体育老师不应该都以同样的音量大声喊叫指令。有时，数学课需要耳语，而体育课需要扩音器。LionVote 就是那个让每个班级都能决定自身音量的系统。

技术摘要：LionVote：针对 Lion 的逐层学习率自适应机制

问题陈述

深度神经网络并非同质整体；不同类型的层（例如，注意力层、MLP、归一化层）表现出截然不同的优化特性。标准的优化器（如 Lion）对所有参数应用统一的全局学习率（LR），这可能导致校准失衡。具体而言，Lion 优化器的基于符号（sign-based）的更新规则丢弃了梯度幅度，使得方向不稳定的层无法通过更大的更新进行补偿。这使得 Lion 与 Adam 等二阶矩方法相比，对逐层学习率校准失衡更为敏感。

先前的研究表明，逐层自适应预处理可以恢复自适应方法的优势，但现有方法要么是无状态的（例如 LARS、LAMB），要么是在没有层级历史的情况下进行逐坐标自适应，或者依赖于硬编码的层分配（例如 Muon）。目前缺乏一种能够结合有状态层级自适应与数据驱动速率调整的方法，且该方法不需要手动调节发散幅度。

方法论：LionVote

LionVote 是一种专为 Lion 优化器设计的逐层学习率机制。它为每个参数张量引入了一个持久的整数“复合等级”（compound level, $s_i$ ），该等级以指数方式调节基础学习率。该系统在不修改 Lion 核心更新规则的前提下运行，并增加了一个每 $c$ 个 epoch 执行一次的投票机制。

核心组件

复合等级 ( $s_i$ )：
每个参数 $i$ 维护一个等级 $s_i \in \{-L, \dots, +L\}$ （默认 $L=4$ ）。有效学习率为：
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
其中 $\text{lr}$ 是全局基础速率， $\beta_1$ 是 Lion 的动量插值系数。在 $\beta_1=0.9$ 时， $s_i$ 的单位步长对应 $\times 1.57$ 的乘数。
投票诊断：
每 $c$ 个 epoch，两个诊断指标会对每个层的速率进行增加、减少或保持的投票：
- 投票 1（梯度方向稳定性）： 计算当前 epoch 平均梯度与前一 epoch 平均梯度之间的余弦相似度。
  - 阈值：如果对齐度 $> 0.5$ （稳定），则为 $+1$ ；如果 $< 0$ （反向），则为 $-1 $；否则为$ 0$。
  - 推导：$0.5 $的阈值对应于在坐标各向同性假设下，坐标符号对达成$ 2/3$ 超多数一致（基于 Sheppard 公式）。
- 投票 2（动量健康度）： 计算动量 EMA 范数与梯度范数的比例 ( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ )。
  - 阈值：如果 $r > e$ ，则为 $-1 $；如果$ r < 1/e $，则为$ +1 $；否则为$ 0$。
  - 推导：源自 $\beta_2$ -EMA 的内在时间常数（ $\beta_2^\tau = e^{-1}$ ）。
决胜机制（验证集损失）：
如果两个投票发生冲突或两者均未表态，则根据验证集损失的相对变化 ( $\delta$ ) 进行全局决胜。
- 阈值： $\pm 1\%$ ，该值经过选择以匹配典型验证集规模下交叉熵损失估计的噪声水平。
- 注：在 ViT-Tiny/CIFAR-100 上，该决胜机制是主要的信号路径，在约 $59\%$ 的决策中生效。
更新规则：
通过非对称规则更新复合等级 $s_i$ ： $+1$ 投票将负等级重置为 0 并增加正等级；$-1 $投票将正等级重置为 0 并减少负等级。$ 0$ 投票则使等级向零衰减。

核心贡献

一种针对 Lion 的有状态逐层机制： 本文提出了一种投票系统，其阈值是基于几何恒等式和 EMA 时间常数推导出的，而非人工调优。这种通过数学结构（几何恒等式、EMA 时间常数）推导投票阈值的方法论，可作为其他优化器设计逐层机制的蓝图。
量化 Lion 的校准失衡： 通过复合等级的轨迹，作者证明了在 ViT-Tiny/CIFAR-100 上，Lion 的有效规模系统性地过高：
- 对于 Attention 和 MLP 参数，其规模高出 $2.6\times$ – $2.8\times$ 。
- 对于 Normalization 层，其规模高出约 $2\times$ 。
- Normalization 层接收到的有效规模比 Attention 层高出 $32\%$ 。这种差异无法通过单一的全局速率缩减来解决。
架构与任务依赖性： 研究表明，逐层自适应的价值取决于架构异质性和特定任务。
- ViT-Tiny： 在 CIFAR-100 上表现出显著增益（ $69.7\%$ 对比 Lion 的 $69.0\%$ ），这归功于层类型之间巨大的差异。
- WideResNet： 在均匀的 CNN 架构上，经过调优的带余弦退火的 SGD 仍占据主导地位，LionVote 未能提供一致的优势。
- 任务敏感性： 在 ViT-Tiny 上，LionVote 提升了 CIFAR-100 的性能，但显著降低了 CIFAR-10 的性能（$-0.88$ 个百分点），这表明仅靠架构异质性是不够的；任务层面的因素同样决定了自适应的效用。

实验结果

实验在 WideResNet 和 ViT-Tiny 上针对 CIFAR-10 和 CIFAR-100 进行，使用了 8 个随机种子。

ViT-Tiny / CIFAR-100： LionVote（周期为 8）实现了 69.71% 的 Top-1 准确率，优于 Lion（68.95%, $p < 0.02$ ）和 AdamW（68.75%）。它达到 68% 准确率阈值的时间比 Lion 快了约 80 个 epoch。
ViT-Tiny / CIFAR-10： LionVote（周期为 8）达到 91.52%，在统计学上显著低于标准 Lion（92.40%, $p < 0.001$ ）。
WideResNet： 带余弦退火的调优 SGD 占据主导地位（例如，WRN-28-10/CIFAR-10 为 96.08%）。在这些均匀的 CNN 上，LionVote 并没有持续超越 Lion 或 SGD。
消融实验：
- 决胜机制（Tiebreaker） 对于获取 CIFAR-100 上的增益至关重要；移除该机制会导致性能跌至 Lion 之下。
- 投票 1（梯度稳定性） 是实现逐层差异化的主要驱动力。
- 投票 2（动量健康度） 在该工作负载下很少触发，仅作为一种休眠的诊断工具。
- 一种对称更新规则变体实现了研究中的最高单项准确率（ViT/CIFAR-100 为 70.54%），但方差更高。

意义与主张

本文声称 LionVote 为基于符号的优化器提供了一种原则性的、无需调优的逐层自适应机制。其意义体现在三个方面：

方法论的可复用性： 从数学结构（几何恒等式、EMA 时间常数）中推导投票阈值的方法，为设计其他优化器的逐层机制提供了蓝图，而无需依赖元学习或大量的超参数调优。
对 Lion 的诊断： 它量化了 Lion 在不同层类型间有效的规模校准失衡，表明未来对 Lion 的研究应考虑即使不使用完整的投票机制，也应进行层类型感知的缩放。
上下文价值： 它确立了逐层自适应并非万能药。其价值取决于架构异质性（如 ViTs 与均匀 CNNs 的对比）和任务难度。论文谦虚地总结道，虽然该机制在复杂任务（CIFAR-100）下的异构架构（如 ViTs）上表现良好，但在面对均匀 CNN 或 Lion 已接近性能天花板的简单任务时，它并未提供一致的优势。

作者指出了局限性，包括对用于决胜机制的验证集损失的依赖（理想情况下应使用留出集）、与标准 Lion 相比较高的跨种子方差，以及研究范围局限于 CIFAR 数据集和特定的模型规模。他们也对推广到其他优化器以及自适应周期的可能性留下了开放性问题。