🤖 machine learning

FOAM: Frequency and Operator Error-Based Adaptive Damping Method for Reducing Staleness-Oriented Error for Shampoo

本文介绍了 FOAM，这是一种自适应阻尼方法，它根据面向陈旧性的误差动态调整阻尼因子和特征分解频率，旨在缓解由 Shampoo 优化器中陈旧预条件器更新导致的数值不稳定性和性能退化问题，从而在保持稳健收敛的同时减少实际训练时间。

原作者： Kyunghun Nam, Sumyeong Ahn

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Kyunghun Nam, Sumyeong Ahn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文“FOAM”进行的解释。

大局观： “陈旧地图”问题

想象你正在尝试穿越一片巨大的、雾气缭绕的山脉（这就是训练大型 AI 模型）。为了快速到达山谷，你需要一张显示地形陡峭程度的地图，这样你才知道每一步该怎么走。

Shampoo 算法是一个非常聪明的导航员。它不仅仅观察脚下的地面；它还会计算整个山脉形状的复杂 3D 地图（使用所谓的“矩阵求逆”），从而采取最有效的步伐。这使得它在寻找山谷的过程中速度极快。

然而，这里有一个问题： 计算这种完美的 3D 地图就像雇佣一支测量队去攀登每一座高峰并测量每一个角度。这需要耗费大量的时间和精力（计算能力）。如果你每走一步都这样做，你的旅程会变得异常缓慢。

旧的解决方法（Stale Shampoo/陈旧 Shampoo）： 为了节省时间，从业者决定不再那么频繁地更新地图。他们会计算一次完美的地图，然后接下来的 30 或 50 步都沿用这张“陈旧”的地图。

优点： 它更快，因为你不需要不断地雇佣测量队。
缺点： 山脉在你在行走时也在发生变化。地图变得“陈旧”了。最终，地图会变得完全错误，导致你可能掉下悬崖（数值不稳定性）或者在原地打转（收敛缓慢）。

论文的发现： “减震器”

本文的作者意识到，问题不仅仅在于地图变旧了，更在于使用旧地图会产生一种特定的误差，从而导致 AI 不稳定。

他们发现了一个解决方案：阻尼（Damping）。
把阻尼想象成汽车上的减震器。

如果你在颠簸的路面上驾驶（使用陈旧的地图），没有减震器的车会剧烈颠簸并损坏。
减震器（阻尼）可以平滑行驶过程，让你即使在颠簸的路面上也能继续驾驶。

核心洞察： 你可以使用陈旧的地图，前提是 你要正确调整减震器。但棘手的地方在于：

如果减震器太弱，车会失控（不稳定）。
如果减震器太强，车移动起来会变得非常缓慢且僵硬，导致你永远无法到达目的地（丧失学习效率）。

解决方案：FOAM（智能定速巡航）

论文提出了一种名为 FOAM（基于频率和算子误差的自适应阻尼方法）的新方法。

FOAM 不再使用固定的计划（比如“每 30 步更新一次地图”）或固定的减震器设置，而是像一个智能定速巡航系统一样，不断监测路况。

它是如何工作的，分为简单的三个步骤：

传感器（误差代理）： FOAM 有一个廉价且快速的传感器，用于检查地图已经变得多么“陈旧”。它不需要雇佣完整的测量队（这很昂贵）来检查，它只需观察一些线索来估算误差。
调节器（自适应阻尼）：
- 如果传感器说：“嘿，地图变得非常陈旧且危险了！”，FOAM 会自动收紧减震器（增加阻尼）以保持车辆稳定。
- 如果传感器说：“路况依然平顺”，FOAM 则会放松减震器（减少阻尼），让车跑得更快、学得更快。
触发器（智能刷新）：
- 如果路面变得过于颠簸，以至于减震器也无法承受了，FOAM 知道是时候重新雇佣测量队了。它只在绝对必要时才会触发完整的地图更新（特征分解）。

为什么这很重要

论文表明，FOAM 在两个主要方面优于旧的“Stale Shampoo”方法：

它更快： 因为它只在传感器提示真正需要时才更新昂贵的地图，所以它节省了大量的实际运行时间（Wall-clock time）。在针对图像（ViT）和语音（Conformer）模型的测试中，它显著缩短了训练模型所需的时间。
它更安全： 通过不断调整阻尼，它即使在使用旧地图时，也能防止 AI 坠入数值不稳定的深渊。

总结类比

旧方法： 你开着一辆 GPS 失灵的车。你每 30 分钟检查一次地图。有时你会因为地图太旧而开下悬崖；有时你会因为害怕移动而开得极慢。
FOAM 方法： 你拥有一辆带有智能悬挂系统和仪表盘警告灯的车。
- 仪表盘会即时检查路况。
- 如果路面颠簸，悬挂系统会自动变硬以确保安全。
- 如果路面平顺，悬挂系统就会变软，让你开得更快。
- 你只有在仪表盘灯变红时，才会停下来获取新地图。

结果： 你能用更少的燃料（计算资源），更快且更安全地到达目的地（最优 AI 模型）。

技术摘要：FOAM —— 用于减少 Shampoo 算法中陈旧性导向误差的方法

1. 问题陈述

Shampoo 优化器因其能够通过 Kronecker 分解二阶矩统计量来捕捉层内参数相关性，在大型规模优化基准测试中表现出卓越的性能。然而，其在实际应用中受到一个显著计算瓶颈的阻碍：计算 Kronecker 因子的 $p$ 次方根的成本极高，这需要昂贵的特征值分解（EVD）。

为了缓解这一问题，从业者通常采用陈旧型 Shampoo（stale Shampoo），即这些昂贵的操作并非每轮迭代都执行，而是在固定的、不频繁的间隔内进行。虽然这提高了计算效率，但也引入了陈旧性（staleness）——即预处理器更新的延迟。本文指出，陈旧性不仅是一个收敛速度问题，更是一个根本性的稳定性威胁。具体而言，由陈旧性引起的误差会降低数值鲁棒性，并可能导致灾难性的训练发散。现有的关于选择刷新频率的启发式策略缺乏理论依据，且往往无法在计算节省与数值稳定性需求之间取得平衡。

2. 方法论：FOAM

作者提出了 FOAM（基于频率与算子误差的自适应阻尼方法），这是一种旨在通过基于陈旧性导向误差的近似值，动态控制阻尼因子（ $\epsilon$ ）和特征值分解频率，从而稳定训练的自适应算法。

理论基础

本研究建立了陈旧性、收敛性与稳定性之间的理论联系：

算子间隙（Operator Gap）： 陈旧性在理想的新鲜预处理器与其陈旧对应物之间创造了差异（算子间隙）。研究表明，该间隙与阻尼因子 $\epsilon$ 成反比，并与刷新周期 $f$ 成正比。
遗憾界限（Regret Bound）： 对折扣遗憾（discounted regret）的理论分析揭示了一种权衡：虽然增加 $\epsilon$ 可以抑制由陈旧性引起的失稳，但过大的 $\epsilon$ 会掩盖有用的预处理信息，从而降低学习效率。
阻尼作为稳定器： 阻尼是关键的数值稳定器。论文证明，必须精确校准 $\epsilon$ ，以抵消逆根映射（inverse-root map）的敏感性，因为当 $\epsilon \to 0$ 时，该映射会变得极其敏感。

算法机制

FOAM 通过一个反馈控制循环运行，在避免不必要的 EVD 的同时保持稳定性。Kronecker 因子的更新涉及三个阶段：

感知（误差代理）： 为了避免通过计算新鲜的 EVD 来评估真实的算子间隙，FOм 使用了一个计算开销极低的误差代理（ $h_t$ ）。该代理利用陈旧的特征空间和当前的统计漂移来估计相对逆根算子间隙。它是基于矩阵扰动理论推导出来的，专门针对低谱方向的敏感性，而这些方向最容易被逆根映射放大。
自适应（动态阻尼）： 基于代理值 $h_t$ $h_{t}$ ，FOAM 动态调整阻尼因子 $\epsilon_t$ $ϵ_{t}$ 。
- 如果估计误差超过阈值 $\tau$ ，则通过乘性方式增加 $\epsilon_t$ ，以抑制算子间隙并恢复稳定性。
- 如果误差较低，则将 $\epsilon_t$ 放宽至基准值 $\epsilon_0$ ，以保留预处理强度。
频率控制（触发刷新）： 系统强制执行一个最大阻尼限制（ $\epsilon_{\max}$ ）。只要所需的阻尼保持在该限制之下，FOAM 就会重用旧的统计量。然而，如果误差增长到使得所需的阻尼会超过 $\epsilon_{\max}$ ，FOAM 就会触发一次完整的 EVD 刷新，将 $\epsilon$ 重置为 $\epsilon_0$ ，并更新预处理器。这确保了只有在仅靠阻尼不足以维持稳定性时，才会进行昂贵的更新。

3. 核心贡献

理论洞察： 本文首次从理论上证明了阻尼作为一种数值稳定器，专门用于抵消优化过程中陈旧性带来的固有负面影响。研究表明，陈旧性同时阻碍了收敛速度并降低了数值鲁棒性。
自适应算法 (FOAM)： 作者提出了一种通过动态调节阻尼因子来增强数值稳定性的算法。与静态启发式方法不同，FOAM 会随着陈旧性的增加而自适应地增加阻尼，但会对这些数值进行精确调制，以避免过度阻尼带来的副作用（即预处理信息的丢失）。
误差代理构建： 本工作引入了一个源自矩阵扰动理论的可处理误差代理，该代理可以在不需要完整特征值分解的情况下，估计相对逆根算子间隙，从而实现实时的稳定性监测。

4. 实验结果

该框架在涵盖三种模态的大规模基准测试中得到了验证：

视觉： 使用 Vision Transformer (ViT-small) 进行 ImageNet-1K 分类。
语音： 使用 Conformer 架构在 LibriSpeech 上进行自动语音识别 (ASR)。
语言： 使用 GPT-2 在 Wikitext-103-v1 上进行语言建模。

主要发现：

墙钟时间效率： 与标准陈旧型 Shampoo 相比，FOAM 始终实现了显著的墙钟时间加速。在 ViT 实验中，EVD 调用频率降低了约 80–90%（左因子的调用频率降至约 10%，右因子降至约 5%），同时保持或提高了收敛性。
收敛质量： 与陈旧型基准方法相比，FOAM 能在更短的时间内实现更低的训练损失和更高的验证准确率（或更低的词错率）。
鲁棒性： 性能增益在广泛的超参数设置（刷新频率 $f$ 、阈值 $\tau$ 和阻尼边界）下保持一致，证明了该方法并不依赖于单一的调优配置。
消融实验： 实验证实，自适应阻尼与选择性 EVD 刷新之间的协同作用至关重要。仅使用自适应阻尼而不进行刷新会导致墙钟时间过长；而如果不使用自适应阻尼而单纯增加刷新间隔，则会导致训练损失显著上升，这是由于未受控的谱漂移造成的。

5. 重要性与主张

本文声称，FOAM 弥合了 Shampoo 类方法卓越的优化轨迹与大规模深度学习所需的实际效率之间的鸿型。通过利用误差驱动的反馈控制器将谱感知与昂贵的刷新操作解耦，FOAM 解决了预处理优化的计算瓶颈。

作者强调，他们的方法：

提高资源效率： 通过加速收敛并减少昂贵 EVD 操作的频率，该方法有助于降低大规模模型训练过程中的能源消耗和碳足迹。
增强训练可靠性： 通过提供一个管理曲率陈旧性的理论基础，该方法通过自适应阻尼减轻了在资源密集型训练过程中发生灾难性发散的风险，使复杂的优化技术变得更加易用且稳定。

研究结论认为，FOAM 在显著降低与 Shampoo 中矩阵求逆相关的计算开销的同时，成功保持了稳健的收敛性和数值稳定性，为扩展二阶类优化方法提供了一个切实可行的解决方案。