🤖 machine learning

Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning

本文引入了“gate-zero growth”（零门控增长），这是一种通过利用零初始化门控来诱导函数雅可比矩阵中的秩分离，从而实现近乎零遗忘和受控函数漂移的安全容量扩张的函数保持型持续学习框架。

原作者： Dante Lok

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Dante Lok

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位名厨，多年来一直致力于钻研一道完美的食谱。你完全知道如何让它尝起来恰到好处。现在，想象有人请你为一千人准备一场盛大的宴会，但你手里只有准备小规模晚餐的食材。显而易见的解决方案是买一个更大的厨房并雇佣更多的厨师，但问题在于：如果你只是把新来的厨师扔进厨房开始烹饪，原本的食谱可能会被毁掉。新的厨师可能会不小心改变了旧菜肴中的香料，或者新的锅具可能会与旧的锅具产生冲突，突然间，你那著名的佳肴尝起来就像泥土一样难吃。这就是人工智能中“持续学习”（Continents Learning）的日常挣扎。AI 模型就像那些名厨；它们通过数据学习，但当我们试图教它们新事物或让它们变得更大时，它们往往会遭受“灾难性遗忘”（catastrophic forgetting），即忘记了以前所知道的一切。科学家们一直在寻找一种方法，在不破坏已有工作部分的情况下，让这些 AI 大脑成长，希望以此构建更聪明的系统，而不必丢弃旧有的知识并从头开始。

这篇论文介绍了一个巧妙的新技巧，叫做“零门控增长”（Gate-Zero Growth），用以解决这种厨房灾难。把 AI 模型想象成一个多层的蛋糕。通常，如果你想让蛋糕长高，你只需在上面堆叠更多的层。但如果你只是砰地一声放上一层新蛋糕，它可能会压扁下面的蛋糕，或者改变整个蛋糕的味道。作者提出了一种不同的方法：他们添加新层，但通过一个特殊的“门”将它们连接起来，这个门在初始状态下是完全关闭的（设置为零）。因为门是关闭的，新层对蛋糕来说是不可见的；它们根本不会触及味道或质地。蛋糕尝起来和以前完全一样，尽管它现在变得更大了。这被称为“功能保持型”（function-preserving）增长，因为原始的功能（味道）被完美地保留了下来。

研究人员通过将一个中等规模的 AI 模型（约 3 亿参数）成长为一个巨大的模型（约 8.57 亿参数）来测试这个想法。他们使用这些“零门控”添加了新层，并尝试教这个巨大的模型一项新的语言任务。结果令人印象深刻：当他们使用这种特殊的“零门控”方法时，模型几乎完美地记住了旧知识，几乎没有发生遗忘。事实上，旧知识保持得如此完整，以至于模型在旧任务上的表现几乎没有任何变化。

然而，论文也警告我们如果不使用这个技巧会发生什么。他们测试了一种“天真”的方法，即在没有零门控的情况下直接堆叠新层（他们称之为“Gstack”）。这就像是添加了一层立即开始挤压旧蛋糕的蛋糕层。结果是一场灾难：模型几乎完全遗忘了旧知识，而且新蛋糕的味道也变得极差。这证明了仅仅增加部件是不够的；你需要正确的“门控”机制来保护旧的部分。

论文还发现了一些关于如何训练这些新的、巨大的模型的有趣现象。他们发现了两种主要的运行训练方式。第一种是“隔离”（Isolation），即完全冻结模型的旧部分，只让新部分进行学习。这是最稳妥的做法，保证了旧的食谱完全保持不变。第二种是“无冻结”（Freeze-Nothing），即让整个模型一起学习。令人惊讶的是，第二种方法实际上让模型在处理新任务时表现得更好，而且它并没有破坏旧的任务——它只是稍微改变了风味，而这种改变实际上是一种提升，而不是错误。

作者解释说，这是因为 AI 背后的数学逻辑中存在一种隐藏的几何结构。当门控为零时，模型的各个新部分在数学上是“平坦”的，不会干扰旧的部分。这就像是在房子里增加一个新房间，而这个房间目前是封闭的；你可以随心所欲地建造新房间，在决定打开门之前，它都不会改变旧房间的布局。论文表明，“零门控”这一想法不仅仅是一个一次性的技巧；它也是其他几种流行的 AI 技术背后的相同底层原理，使其成为安全扩展 AI 大脑的一项基本规则。

简而言之，这篇论文告诉我们，如果我们想要构建更大、更聪明的 AI 模型，同时又不丢失它们已经掌握的知识，我们不应该只是把新部件直接堆在旧部件之上。相反，我们应该通过一个“零门控”将它们添加上去，在它们准备就绪之前让它们保持在一定距离之外。这使得 AI 能够像树木长出新枝一样生长，而不会摇动根部，确保过去的智慧得以保留，同时构建未来。

技术摘要：Gate-Zero Growth（零门控增长）

问题陈述

增加语言模型能力的主流范式是从头开始训练更大的模型。模型增长（Model growth）——即通过添加参数来扩展现有的已训练模型——提供了一个极具吸引力的替代方案，前提是扩展后的模型可以在不发生**灾难性遗忘（catastrophic forgetting）**的情况下，保留较小模型所习得的知识。

虽然存在**函数保持（Function-Preserving, FP）**增长方法（例如 Net2Net, bert2BERT），但这些方法通常仅在构造上满足增长瞬间的保持。由这些初始化的参数空间所形成的几何结构，以及为什么某些持续学习（Continual Learning, CL）策略（如冻结旧参数）在增长后的模型上成功或失败，目前仍不明确。现有文献通常是从操作层面解释 CL 行为，而非通过增长算子的底层几何结构进行解释。

方法论：Gate-Zero Growth

作者提出了 Gate-Zero Growth，这是一个用于 CL 中 FP 深度扩展的几何框架。其核心机制是插入新的残差块，其中贡献由一个标量 $\alpha_\ell$ 进行门控，该标量初始化为零（ $\alpha_0 = 0$ ）。

理论框架

论文建立在**遍历性条件（transversality condition）**下，证明 Gate-Zero Growth 会在函数雅可比矩阵（functional Jacobian）和费舍尔信息矩阵（Fisher Information Matrix）中诱导特定的几何结构：

秩分离（Rank Separation）： 在增长点（ $\alpha=0$ ）处，函数雅可比矩阵 $J(\theta')$ 进行清晰分解。 $K$ 个新权重方向是完全平坦的（对输出的梯度贡献为零），而新的门控方向提供了唯一的的一阶函数变化来源。
雅可比分解（Jacobian Decomposition）： 增长后的雅可比矩阵秩满足 $rank(J(\theta')) = r + rank((I - P_{old})J_\alpha)$ ，其中 $r$ 是原雅可比矩阵的秩。在遍历性条件下，新的门控方向与旧参数空间线性无关。
稀疏费舍尔结构（Sparse Fisher Structure）： 经验费舍尔信息矩阵呈现出稀疏的分块结构。具体而言，新的权重块以及所有涉及新权重的交叉项恒等于零。这意味着二阶方法（如 EWC）在增长点处不会对新权重的移动施加惩罚。
受控偏离（Controlled Departure）： 随着门控在 CL 过程中开启（即 $\alpha$ 远离 0），对 FP 轨迹的偏离是有界的。函数漂移为 $O(\|\alpha\|^2)$ ，雅可比泄漏为 $O(\|\alpha\|_\infty)$ 。

统一性

作者认为这种几何分析统一了看似截然不同的方法：

LoRA（具有 $B=0$ 初始化）
ReZero（残差缩放）
零初始化适配器（Zero-init Adapters）
Gate-Zero Growth

它们都具有共同的结构属性：通过一个经由零初始化门控的加法分支来添加参数。相反，非 FP 方法如 Gstack（通过不进行零初始化的块复制）无法保持雅可比结构，从而导致即时的函数漂移。

核心贡献

Gate-Zero Growth 算子： 一种用于持续学习的特定 FP 算子，通过零初始化门控添加残差块。它实现了增长时的精确函数保持，并在大规模场景下（300M $\to$ 857M）实现了近乎零的遗忘（ $\Delta A < 0.1$ ）。
几何框架： 一个统一的理论体系，证明了零初始化会诱导秩分离、稀疏费舍尔块和精确的坐标投影隔离。该框架适用于 LoRA、ReZero 和零初始化适配器，将 Gate-Zero Growth 确立为这种共享局部几何的典型实例。
预测性结构验证： 论文提供了三个经实验验证的可证伪预测：
- 坐标冻结仅在 FP 增长下是精确保持的（Gstack + Isolation 在结构上是未定义的）。
- LoRA-CL 不存在独立的“隔离（Isolation）”行，因为其冻结基座的构造在结构上已经是 Isolation。
- 在 Isolation 协议下，每个测试的零初始化 FP 算子的 $\Delta A < 0.1$ 。

实验结果

该框架在从 WikiText-103（任务 A）到 BookCorpus（任务 B）适配的 300M $\to$ 857M Transformer 上进行了评估。

增长时的函数保持

Gate-FP： 精确的函数保持（对于稠密模型是位等价，对于 MoE 是在数值容差范围内）。 $\Delta PPL_A = 0.00$ 。
Gstack（负对照组）： 在任何 CL 训练开始前即出现性能退化（ $\Delta PPL_A = +46.11$ ）。

持续学习性能

在 Isolation 协议（冻结所有旧参数）下：

Gate-FP + Isolation： 实现了 $\Delta A = +0.04$ （近乎零遗忘），同时将任务 B 的困惑度（Perplexity）从 560.75 降低至 28.41。
Gstack + Isolation： 结构性失效。由于 Gstack 在增长时没有保持函数，因此冻结旧参数并不能保持函数。该方法遭受了灾难性遗忘（ $\Delta A > +1000$ ）。
与从头训练（Scratch）对比： 一个在两个数据集上从头训练的 857M 模型最终状态为 $PPL_A=43.23$ ，但其最佳验证检查点为 $17.40$。作者指出，Gate-FP + Isolation 不一定优于经过适当停止的从头训练模型，但提供了一种结构性的保持保证。

MoE 验证

在混合专家模型（MoE）设置下（706M $\to$ 2.5B），Gate-FP + Isolation 实现了 $\Delta A = +0.20$ ，证实了该保持机制可以跨架构迁移。然而，**塑性（Plasticity）**低于稠密模型（任务 B PPL 仅改善了 12 倍，而稠密模型为 20 倍），这归因于 克隆块冗余（clone-block redundancy），即新专家未能与冻结的源专家充分区分。

消融研究

冻结策略： 保持功能的“绑定约束”是冻结旧权重，而非仅仅是旧门控。“不冻结任何内容（Freeze Nothing）”（允许旧权重更新）实际上产生了更好的联合性能（ $\Delta A = -1.98$ ，表明对任务 A 有提升，尽管从技术上讲这是一种对原始函数的漂移），但以牺牲精确保持为代价。
增长时机： 保持特性对基座模型的成熟度具有鲁棒性（在训练的 25%、50%、75% 或 100% 时进行增长）。
门控初始化： 以较小的非零门控（ $\alpha_0 = 0.1$ ）开始可以实现更快的梯度流，但会导致一个非 FP 的起点；CL 训练可以恢复部分性能，但会失去精确保持。

意义与主张

论文声称 Gate-Zero Growth 提供了第一个统一的几何解释，解释了为什么“冻结旧参数”在函数保持增长中有效。它认为 Isolation 的成功不仅是一个启发式方法，而是由零初始化诱导的秩分离和精确坐标正交性所导致的后果。

典型实例： 作者将 Gate-Zero Growth 确立为共享局部几何的典型实例，该几何结构控制着 CL 中安全的容量激活，并将 LoRA、ReZero 和适配器统一在一个理论框架之下。
两个操作点： 框架推荐了两个不同的操作点：
1. Isolation（隔离）： 用于精确保持（ $\Delta A \approx 0$ ），适用于需要对旧数据进行位等价行为的监管或 A/B 测试场景。
2. Freeze-Nothing（不冻结任何内容）： 用于联合前沿优化（在两个任务上达到最佳性能），接受对原始函数的受控偏离。

作者明确指出了局限性：几何估计器（Hessian、梯度协方差）是粗略的局部诊断工具，且 MoE 的塑性差距仍是一个开放问题，需要进一步研究 MoE 特有的算子。本文并不声称解决了所有的 CL 问题，而是专门针对增长算子的结构几何学进行探讨。