🤖 machine learning

HORST: Composing Optimizer Geometries for Sparse Transformer Training

本文介绍了 HORST，一种模块化优化器，它通过双曲镜像映射将非交换算子步骤进行组合，从而融合自适应方法的稳定性与 $L_1$ 稀疏性偏差，在视觉和语言任务的稀疏 Transformer 训练中显著优于 AdamW。

原作者： Tom Jacobs, Rohan Jain, Rebekka Burkholz

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Tom Jacobs, Rohan Jain, Rebekka Burkholz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《HORST：为稀疏 Transformer 训练组合优化器几何结构》的解释，已转化为通俗易懂的语言并辅以生动的类比。

核心难题：笨重的“AI"

想象你建造了一个巨大且极其聪明的机器人（一个Transformer）。它能写故事、翻译语言并识别图像。然而，这个机器人过于沉重和庞大，以至于运行它需要一个巨大的仓库（巨大的内存）和一个庞大的发电厂（巨大的计算成本）。

为了让这个机器人变得实用，我们需要剔除赘肉。我们要移除不必要的肌肉和齿轮（权重），使其变得轻便且快速。这被称为稀疏化。

问题在于，当我们尝试修剪这种特定类型的机器人时，它往往会分崩离析，失去其智能。为什么？因为用来教导机器人的“训练师”（即优化器）无意中教导它变得过于平衡。

两位训练师：“均衡者”与“选择者”

论文指出，训练这些机器人的方式产生了一种隐藏偏差。这就像两位不同的教练在教导一名运动员：

“均衡者”教练（标准优化器，如 AdamW）：
- 工作原理： 这位教练认为，为了保持稳定和安全，每块肌肉的大小应该大致相同。如果某块肌肉变得太大，教练就会把它缩小；如果另一块变得太小，教练就会把它增大。
- 结果： 机器人最终拥有一个每一部分都略微活跃的身体。它非常稳定，但很沉重。没有“零”肌肉。你无法轻易切除任何部分，因为每部分都在做一点点工作。
- 论文术语： 这是一种 $L_\infty$ 偏差（万物均衡）。
“选择者”教练（镜像下降/稀疏性偏差）：
- 工作原理： 这位教练信奉专业化。他们希望机器人挑选出几块超级强壮的肌肉，并将其余部分完全关闭。他们迫使机器人将所有能量集中在极少的部分上。
- 结果： 机器人变得非常轻便且稀疏。然而，如果你仅使用这位教练，机器人可能会在训练过程中变得不稳定或崩溃，因为它过于激进。
- 论文术语： 这是一种 $L_1$ 偏差（质量集中）。

冲突所在： 标准的 AI 训练使用“均衡者”，因为它很稳定。但为了让 AI 变小（稀疏），我们需要“选择者”。你不能简单地更换教练：“选择者”对于复杂的机器人来说风险太大，而“均衡者”则不允许你剔除赘肉。

解决方案：“组合式”教练（HORST）

作者 Tom Jacobs 及其团队意识到，你不必只选择一位教练。你可以创建一个混合训练方案，同时使用两者，但遵循非常特定的顺序。

他们将这种新方法称为HORST（Robust Sparse Training 的双曲算子）。

类比：雕塑家与凿子
想象你正在从一块巨大的大理石块（神经网络）中雕刻一尊雕像。

步骤 1（均衡者/Adam）： 首先，你使用一把宽而平的工具来磨平粗糙的边缘，并确保雕像直立而不摇晃。这保持了结构的稳定性。
步骤 2（选择者/双曲镜像）： 紧接着在打磨之后，你使用一把锋利、精确的凿子来凿去多余的石头，迫使形状变得纤细且稀疏。

关键秘诀： 顺序至关重要！

如果你先凿刻再打磨，打磨工具会填补你刚刚凿出的孔洞。稀疏性就会消失。
如果你先打磨再凿刻，凿子就能在稳定的形状上发挥作用，成功去除多余的重量。

论文从数学上证明，这种特定的顺序（稳定步骤 $\rightarrow$ 稀疏步骤）允许机器人在变得极其轻便的同时保持稳定性。

他们的发现（结果）

团队在两种类型的机器人上测试了这种新的“组合式教练”（HORST）：

视觉 Transformer： 观察图片的机器人（如识别猫或汽车）。
语言 Transformer： 理解文本的机器人（如撰写本摘要的机器人）。

结果：

当他们尝试削减机器人 80% 到 90% 的权重（使其非常稀疏）时，标准教练（AdamW）导致机器人表现极差。它忘记了如何看或说话。
HORST 教练则让机器人在削减了大部分权重后，性能仍几乎与完整、沉重的版本相当。
简单来说：HORST 找到了一种方法，使机器人变得微小而不破坏其大脑。

总结

这篇论文解决了一个谜题：“我们如何在使 AI 模型变小的同时不让它们变笨？”

旧方法： 使用稳定的训练师，但它不允许你让模型变小。
新方法（HORST）： 按正确的顺序结合稳定训练师与稀疏性训练师。
结果： 你获得了一个轻量级、高效的 AI，即使移除了其 90% 的部件，它仍能完美工作。

作者并没有发明一种新的剪除权重的方法（如剪枝）；他们发明了一种新的训练模型的方法，使得权重自然地想要被剪除，而模型在此过程中不会分崩离析。

技术摘要：HORST：为稀疏 Transformer 训练组合优化器几何结构

问题陈述

对 Transformer 模型进行稀疏化仍然是一个根本性挑战。虽然网络稀疏化（移除冗余权重）为实现模型压缩和高效推理提供了一条有前景的途径，但它始终导致 Transformer 性能显著下降，尤其是在压缩价值最高的极高稀疏度水平下。相比之下，卷积网络的稀疏化效果更为有效。

作者认为，这种差异源于训练过程中所用优化器的隐式偏差。标准 Transformer 依赖于如 AdamW 之类的自适应优化器，这些优化器表现出 $L_\infty$ 隐式偏差。这种偏差通过均衡参数间的权重幅值来偏好稳定性，这是一种与稀疏性所需的 $L_1$ 偏差根本对立的几何结构；后者需要将权重质量集中在少量参数上，同时驱动其余参数归零。相反，标准梯度下降（用于 CNN）诱导 $L_2$ 偏差，而坐标下降（一种基于 $L_1$ 的最速下降法）在理论上最理想于稀疏性，但对于大型深度网络而言计算上不可行。

现有通过镜像下降（例如使用双曲熵）诱导稀疏性的尝试，在 Transformer 设置中往往失败，因为它们直接替换了梯度，从而丧失了自适应方法所提供的稳定性。核心问题在于一种几何张力：自适应优化器的稳定性（ $L_\infty$ ）与稀疏性要求（ $L_1$ ）之间存在冲突。

方法论

本文提出了HORST（用于鲁棒稀疏训练的双曲算子），这是一种模块化优化器，通过将优化步骤组合为非对易函数算子来解决这一张力。

1. 算子组合框架

作者将优化更新视为作用于参数向量和梯度的算子。他们识别出两类不同的算子：

最速下降算子：有界且尺度不变（例如 Sign Descent，它近似 Adam）。这些算子提供稳定性，但诱导 $L_\infty$ 偏差。
镜像下降算子：线性但通常无界。特定的镜像映射，如双曲熵镜像映射，诱导促进稀疏性的 $L_1$ 偏差。

2. 非对易性与操作顺序

一个关键的理论见解是，这些算子类是非对易的。

先应用镜像步再应用最速步（ $S \circ M$ ）会导致最速算子占主导地位，从而有效抵消稀疏性偏差。
先应用最速步再应用镜像步（ $M \circ S$ ）允许镜像映射作用于基于符号的更新，从而在继承最速下降稳定性的同时成功诱导 $L_1$ 稀疏性偏差。

3. HORST 算法

HORST 在离散且实用的场景中实现了组合 $M_R \circ S$ ：

稳定更新：首先执行标准的自适应更新（AdamW），提供必要的稳定性和 $L_\infty$ 型正则化。
稀疏性诱导：随后应用源自双曲熵镜像映射的指数更新。这一步有效地重新参数化权重以偏好稀疏性。
解耦正则化：该算法结合了解耦权重衰减和一个额外的正则化项（ $\beta$ ），以进一步控制稀疏性偏差。

更新规则定义如下：
$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$
$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$
其中， $\alpha$ 控制稀疏性偏差的相对强度。设置 $\alpha=0$ 可恢复标准 AdamW。

主要贡献

几何二分法：本文形式化了最速下降（有界、稳定、 $L_\infty$ 偏差）与镜像下降（线性、无界、 $L_1$ 偏差）之间的结构二分法，阐明了为何单独使用任一种都不足以实现鲁棒的稀疏 Transformer 训练。
算子组合：它引入了优化器算子的组合作为设计原则，证明了组合顺序至关重要。特定的顺序（ $M \circ S$ ）使得系统能够从自适应方法继承稳定性，同时用促进稀疏性的 $L_1$ 偏差覆盖其隐式偏差。
理论保证：作者证明（定理 4.7），将关于 $L_p$ 范数（ $p \ge 2$ ）的最速下降与双曲熵镜像映射组合，会导致迭代点在方向上收敛于 $L_1$ 最小化问题的解，从而有效地覆盖基础优化器的 $L_\infty$ 偏差。
HORST 优化器：他们提出了 HORST，这是一种模块化优化器，可与标准自适应方法（如 AdamW）无缝集成，无需额外的梯度评估，仅需每参数的指数更新。

实验结果

作者在视觉和语言任务上使用 AC/DC（交替压缩/解压缩）稀疏化流水线评估了 HORST。

视觉 Transformer（DeiT）：在 ImageNet 上，HORST-AdamW 在所有稀疏度水平（70%、80%、90%）下始终优于 AdamW 基线。在极高稀疏度（80–90%）下，AdamW 性能急剧下降，而 HORST 的增益最为显著。例如，在 DeiT-base 的 90% 稀疏度下，HORST 实现了 76.83% 的准确率，而 AdamW 仅为 68.86%。
语言模型（GPT-2 Small）：在 SlimPajama-6B 上进行一次性层级非结构化幅度剪枝时，使用 HORST-AdamW 训练的模型在剪枝后表现出显著低于 AdamW 和 HAM 优化器的验证困惑度。随着稀疏度水平提高，差距进一步扩大。
与 HAM 的比较：在 DeiT-small 的 90% 稀疏度下，HORST 大幅优于 HAM（一种先前的交替优化器）（70.5% 对比 60.06%）。作者将此归因于 HORST 将指数更新与 AdamW 更新本身进行组合，而 HAM 则是应用基于梯度的指数步。
权重分布：可视化证实，HORST 诱导的权重分布尖锐地集中在零附近（表明 $L_1$ 偏差），而 AdamW 则保持更宽、接近高斯分布的轮廓。

意义与主张

本文主张，优化器的隐式偏差是稀疏 Transformer 训练的主要瓶颈。通过将优化步骤视为可组合算子，作者证明了可以将自适应方法的稳定性与其几何偏差解耦。

HORST 的意义在于其能够：

实现 Transformer 的高稀疏度训练，而无需伴随此类压缩通常带来的严重性能下降。
提供一个原则性的、模块化的框架，用于设计能够同时满足冲突几何要求（稳定性与稀疏性）的优化器。
提供一种实用解决方案，计算开销极小（无需额外梯度评估），并能集成到现有的稀疏训练流水线中。

作者总结道，尽管最速下降的 $L_\infty$ 极限及其与镜像更新的相互作用仍是一个开放的理论问题，但所提出的框架成功弥合了自适应训练稳定性与稀疏解几何结构之间的差距。