🤖 machine learning

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO 是一种可扩展的优化器，它通过对动量更新进行谱正交化，并利用一种基于紧凑随机投影的记忆来解决梯度冲突，从而在不存储过去数据的情况下，减轻短期和长期遗忘，进而提升各种训练场景下的收敛性与知识保留能力。

原作者： Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“过度拥挤的房间”

想象你正在学习一项新技能，比如杂耍。你有一个教练（AI 优化器）在指导你的手部动作。

在标准的 AI 训练中，教练会把大部分注意力放在最简单、最常见的动作上。如果你在练习 100 个红球和仅 1 个蓝球的杂耍，教练会花 99% 的时间来纠正你处理红球的技术。蓝球会被忽视。

论文指出，这不仅仅是在一个接一个学习新任务（持续学习）时才会出现的问题。它在标准训练的每一个步骤中都会发生。“响亮”的指令（常见数据）淹没了“安静”但有用的指令（稀有数据）。随着时间的推移，AI 会忘记如何处理那些稀有的东西，因为它从未被重新审视过。这就是所谓的遗忘（Forgetting）。

解决方案：FOGO（聪明的教练）

作者引入了 FOGO，一种为 AI 设计的新型“教练”，旨在解决这个问题。它不仅告诉 AI 该做什么，还会记住 AI 曾经做过什么，并保护这些记忆。

FOGO 的工作原理是一个由三部分组成的系统：

1. “均衡器”（谱正交化 - Spectral Orthogonalization）

想象一个音乐混音器，低音（常见数据）太响了，以至于盖过了小提琴（稀有数据）的声音。

FOGO 的做法： 它充当了一个智能均衡器。它压低了响亮的低音音量，让小提琴的声音也能被听到。它确保即使是那些稀有、安静的学习方向，也有公平的机会影响 AI 的大脑，而不是被主导趋势所碾压。

2. “随身笔记本”（紧凑码本记忆 - Compact Codebook Memory）

通常，为了记住过去，AI 需要存储大量的旧数据（就像一座巨大的旧资料库）。这既慢又昂贵。

FOGO 的做法： FOGO 并不存储整个资料库，而是保留了一个小巧的随身笔记本。
- 它使用了一种叫做**随机投影（Random Projection）**的技巧。想象一下将一个复杂的 3D 雕塑投射到 2D 墙上的影子。你会丢失一些细节，但你会保留其形状和各部分之间的距离。
- FOGO 将 AI 的学习方向投射到这个微小的 2D 影子空间中。它将重要过去方向的“精髓”记录为简单的点（质心）在这个笔记本中。
- 因为它只是一个由点组成的笔记本，所以几乎不占空间（仅为兆字节级而非吉字节级），而且读取速度非常快。

3. “交通警察”（冲突解决 - Conflict Resolution）

每当 AI 尝试学习新事物时，FOGO 都会检查它的随身笔记本。

检查过程： “嘿，如果你这样移动你的手（新指令），你会破坏处理蓝球的记忆（旧指令）吗？”
修复方式：
- 短期： 如果新的动作与主导趋势过于相似，FOGO 会轻轻地将其推开，以免稀有事物在“此时此刻”被忽视。
- 长期： 如果新的动作威胁要抹除之前任务中的关键记忆，FOGO 就会扮演交通警察的角色。它会拦截该动作，或者重新引导它，使其从旧记忆的“旁边”滑过，而不是撞上去。

在现实中是如何运作的（根据论文所述）

作者在四种不同的场景下测试了 FOGO，它始终优于标准教练（Adam 和 Muon）：

不公平的课堂（类别不平衡学习）： 当 AI 在某些类别很稀少（例如仅占 10% 数据）的数据集上进行训练时，标准 AI 会忘记这些稀有类别。FOGO 对它们的记忆能力更强，在不损害常见类别准确率的情况下，提高了对稀有项目的准确率。
变幻莫测的世界（持续视觉学习）： 当 AI 必须一个接一个地学习识别不同风格的对象（例如照片、卡通、素描）时，Fող 在学习新风格时不会忘记旧风格。它比其他方法能更好地保持知识完整性，且无需存储旧图片。
会说话的机器人（LLaVA-7B 微调）： 当对大型多模态模型（能够看图并说话的模型）进行微调时，FOGO 帮助机器人记住如何回答不同类型的问题（计数、推理、位置），而不会失去执行之前任务的能力。
语言学习者（GPT-2 预训练）： 即使只是在学习预测句子中的下一个词（标准训练），FOGO 的学习速度也更快，且达到的误差率比标准方法更低。

总结

论文声称，遗忘是一个普遍存在的问题，而不仅仅是“持续学习”中的问题。只要“响亮”的数据淹没了“安静”的数据，遗忘就会发生。

FOGO 通过以下方式解决这一问题：

确保“安静的声音”能被听到（正交化）。
保留一个高效、微小的关键记忆（随机投影码本）。
在每一步进行检查，确保新学习不会抹除旧学习（冲突解决）。

其结果是：AI 学习得更快、记得更多，而且不需要一个装满旧数据的庞大硬盘来完成这一切。

技术摘要：FOGO（遗忘感知正交化优化器）

1. 问题陈述

本文认为，遗忘（forgetting） 不仅仅是持续学习（CL）中特有的失败模式，而是标准随机训练中内在的一种基本优化现象。作者指出，在标准训练期间，占主导地位的微批次梯度会抑制稀有但有用的更新方向，导致每一步都发生短期遗忘。当这些被抑制的方向不再被重新访问时，损失会不断累积，形成长期遗忘，即经典的持续学习失败模式。

现有的解决方案通常将标准训练与任务序列化持续学习视为两个独立的问题。梯度干扰方法（如 OGD、GEM）试图解决冲突，但通常依赖于存储原始数据或全秩梯度基，这无法扩展到数十亿参数的模型。相反，矩阵感知优化器（如 Muon）通过正交化改善条件数，但缺乏显式地随时间保留历史更新方向的机制。

2. 方法论：FOGO

作者引入了 FOGO，这是一种可扩展的优化器，旨在持续检测并解决标准学习和持续学习范式中的梯度干扰。FOGO 的运行不依赖于存储原始数据，而是依靠一个紧凑的、投影后的梯度方向记忆。

核心机制

谱正交化（Spectral Orthogonalization）：
FOGO 对动量更新进行正交化处理，以防止占主导地位的奇异方向垄断优化轨迹。通过平滑奇异谱（使用 Newton–Schulz 迭代），它确保了较弱但连贯的更新方向能够保持可见并对更新做出贡献，而不是被高能模态覆盖。
双流动量（Dual-Stream Momentum）：
为了同时捕捉稳定趋势和新兴方向，FOGO 维护两个动量状态：
- 慢流（ $B^{(s)}$ ）： 捕捉持久的趋势。
- 快流（ $B^{(f)}$ ）： 追踪近期的变化。
  这两者通过球面插值（SLERP）进行融合，以平衡塑性（plasticity）与稳定性（stability）。
通过随机投影实现的紧凑方向记忆：
FOGO 并不直接存储高维梯度，而是使用固定的 Rademacher 随机投影矩阵 $\Pi$ ，将高维更新投影到低维空间（ $d \ll |\theta|$ ）。
- 理论基础： 利用 Johnson–Lindenstrauss 引理，该投影能以高概率保持梯度向量之间的成对距离，从而维持梯度分布的几何结构。
- 码本（Codebook）： 投影后的更新通过指数移动平均（EMA）统计量被总结为球面码本（质心）。该码本充当了代表性过去方向的记忆。
冲突解决：
在每一步中，FOGO 将当前的正交化更新与码本进行比较，以解决冲突：
- 短期过滤： 识别并抑制那些与存储方向反向对齐（冲突）或与主导局部方向过度对齐（存在坍缩风险）的成分。这是通过在投影空间中进行轻量级的正交修正实现的。
- 长期保护： 在任务完成后，重要的质心会被赋予重要性权重并被冻结。在后续任务期间，更新被约束为与这些冻结方向保持近乎正交，从而防止对敏感的历史任务知识发生灾难性遗忘。
近端提升（Proximal Lifting）：
由于随机投影 $\Pi$ 是不可逆的，投影空间中修正后的更新通过一个近端最小二乘步骤被提升回原始高维参数空间。这确保了修正既符合投影约束，又能最大限度地减少原始空间中的失真。

3. 主要贡献

统一的遗忘视角： 本文将遗忘重新定义为一个通用的优化问题，即由标准学习和持续学习中的梯度干扰引起的，而非一个独立的持续学习问题。
可扩展的优化器级记忆： FOGO 引入了一种完全在低维投影空间中运行的记忆机制。这使得追踪梯度几何结构和解决冲突变得可行，而无需存储原始数据或执行昂贵的全秩分解，使其能够扩展到大型模型（如 LLaVA-7B、GPT-2）。
双机制设计： 通过结合谱正交化（以暴露稀有方向）和方向记忆（以保留这些方向），FOGO 同时解决了短期抑制和长期遗忘累积的问题。
理论保证： 本文提供了理论分析（定理 1，推论 2 & 3），证明了在标准动量下子空间外方向是如何被抑制的，以及 FOGO 的记忆保护如何在保留已学习方向的同时，让未受约束的子空间保持自由进行适配。

4. 实验结果

FOGO 在四种不同的设置下进行了评估，一致优于 Adam 和 Muon（以及其他 CL 基准，如 UPGD、CBP、FIRE）：

类别不平衡分类（CIFAR-10）： 在包含 5 个稀有类别（占比 10% 数据）的设置中，相比 Adam 和 Muon，FOGO 将稀有类准确率提高了约 2–3%，并将稀有类遗忘降低了约 6%。消融研究证实，短期过滤是这一改进的主要驱动力。
持续视觉学习：
- 领域内连续学习 (Domain-IL, PACS)： 在不使用重放（replay）的情况下，FOG0 实现了最低的平均遗忘（AF），比 Muon 高出 2.67 个百分点。在使用重放（ER）时，其性能进一步提升。
- 类内连续学习 (Class-IL, CIFAR-10)： FOGO 取得了比 Adam、Muon 和 UPGD 更高的准确率和更低的遗忘率。
持续微调（LLaVA-7B）： 在持续视觉问答（VisualQA）基准测试（10 个推理任务）中，FOGO 比 AdamW 和 Muon 提高了约 2 个百分点的平均性能，并将总遗忘量降低了约 10 个百分点。分析表明，FOGO 诱导了更平衡的专家特征方差，缓解了专家坍缩。
语言预训练（GPT-2）： 在 OpenWebText 上的标准无监督预训练中，FOGO 的收敛速度比 Adam 和 Muon 更快，特别是在早期阶段（前 30K 步），这表明即使在非持续学习设置中也具有收益。

5. 意义与主张

本文声称遗忘是一个通用的优化问题，可以通过优化器层面来解决。通过利用谱正交化和紧凑的、无需数据的方向记忆来解决梯度干扰，FOGO 为在标准学习和持续学习场景中保留知识提供了一条切实可行的路径。

作者强调，其方法不需要存储原始数据或之前的模型快照，因此适用于内存受限的大规模模型。虽然由于双流正交化和投影操作，FOGO 相比 Adam 引入了适度的计算开销，但论文认为鉴于其在收敛性、性能和知识保留方面的持续增益，这种开销是可以接受的。这项工作表明，未来解决遗忘问题的方案应当将优化策略与架构及数据策略相结合，而 FOGO 则解决了优化这一维度。