🤖 machine learning

Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

该论文介绍了 FORA，一种函数空间保护方法，它通过将更新投影到基于激活而非基于权重的子空间，而非权重导向的子空间，从而在微调过程中保持模型能力，进而更忠实地隔离并保护负责现有技能的特定方向。

原作者： Rui Zhou, Tianci Xie

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Rui Zhou, Tianci Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《Fora: From Weight-Space to Function-Space Protection》（Fora：从权重空间到函数空间的保护）的通俗化解释，采用了简单易懂的语言和日常类比。

核心问题：如何在学习新技能的同时不忘记旧技能

想象你有一位才华横溢的学生（AI 模型），他已经是翻译语言方面的专家了。现在你想教他一项新技能：解数学题。

传统训练方法存在的问题是：当你强迫学生学习数学时，他们往往会开始忘记如何翻译。这就像是在钢琴上弹奏一首新歌，但你的手指却总是不自觉地滑向你以前最爱的那首老歌的琴键。

科学家们曾尝试通过在学生的脑中设置“护栏”来解决这个问题。以往的大多数方法试图保护大脑的物理结构（权重矩阵）。他们说：“不要触碰大脑中最庞大、最强壮的连接。”

本文的洞察：
作者认为，保护“最强的连接”并不是正确的策略。

类比： 想象学生的脑海是一个巨大的图书馆。那些“最强的连接”就是书架上最受欢迎的书。但学生在进行翻译时，可能会使用图书馆中一个特定的、安静的角落（一种特定的激活模式）。如果你只保护那些热门书籍，你可能会无意中挡住了那个进行翻译工作的安静角落，或者更糟的是，你可能让这个安静的角落完全暴露在数学课的干扰之下。

该论文声称：不要保护家具（权重）；要保护活动（函数）。

解决方案：“Fora”（函数空间正交残差适配）

作者创建了一种名为 Fora 的新方法。其工作原理分为三个简单的步骤：

1. 绘制“翻译区”地图（校准阶段）

在教授数学之前，研究人员会让学生进行一些翻译任务，但不进行评分（不需要标签）。他们观察在进行翻译时，大脑的哪些部分会亮起。

类比： 他们在学生身上放了一个摄像头，并在地板上画出一张发光的地图，显示学生在说法语时具体踩在了哪些地方。这就是**“函数子空间”**。

2. 构建“禁区”（投影器）

他们不是去保护沉重的家具（权重），而是在地板上那张发光的地图周围建立了一道力场。

类比： 他们告诉数学老师：“你可以在房间里的任何地方教数学，但是你不能踩在那个发光的法语区域。如果你试图在那个特定的地板砖上写数学题，你的笔会被弹开。”
这就是右侧投影器 ( $P_Q$ )。它阻止了新的数学课程覆盖掉学生用于翻译的特定模式。

3. “特殊通道”（谱通道）

研究人员意识到，如果完全冻结翻译区域，学生将无法获得任何进步。因此，他们在力场中增加了一个细小的、狭窄的隧道。

类比： 想象有一个加固的小型玻璃管穿过“禁区”。学生可以通过这个管子对翻译技能进行微小且谨慎的调整，但他们无法通过砸碎整面墙来为数学腾出空间。
这就是谱通道 (Spectral Channel)。它允许保留一点点“塑性”（灵活性），这样学生就不会变成机器人，同时又能保持主体结构的稳固。

为什么这种方法更好？

论文将其与其它方法（如保护“重型家具”的“权重空间投影法”）进行了对比测试。

旧方法（权重空间）： “不要动那些大部头的书。”
- 结果： 学生仍然忘记了如何翻译，因为翻译并不是发生在“大部头书籍”区域，而是发生在那个安静的角落。
新方法 (Fora)： “不要踩在发光的法语地图上。”
- 结果： 学生完美地学会了数学，同时几乎完全保留了原有的翻译能力。

用通俗语言总结结果

研究人员在 Qwen3-1.7B 模型上测试了三种场景：

在保持翻译能力的同时学习逻辑 (COGS)： 新方法几乎完美地保留了翻译能力，而其他方法则让翻译能力下降。
在保持翻译能力的同时学习数学 (GSM8K)： 同样，新方法保住了翻译技能，而其他方法让其发生了偏移。
在保持数学能力的同时学习翻译： 他们反转了实验。他们教授翻译，但试图保留数学能力。新方法比旧方法更好地保存了数学技能。

核心启示

论文的结论是：要保护 AI 中的一项技能，你不应该关注权重在哪里很重（静态结构）。相反，你应该关注AI 在执行该技能时实际在哪里激活（动态函数）。

通过在活动而非硬件周围建立屏蔽层，你可以教给 AI 新事物，而不会抹除它已有的知识。

简而言之：不要保护图书馆的书架；要保护读者寻找心仪书籍时所走的特定路径。

技术摘要：Fora：从权重空间到函数空间的容量保持微调保护

1. 问题陈述

大语言模型（LLM）的全参数微调虽然为适应新任务提供了极高的表达能力，但也带来了一个显著的隐患：不受约束的梯度可能会覆盖模型已具备能力的函数路径。现有的缓解策略——从正则化（如 EWC、L2-SP）到蒸馏和梯度投影——都是通过**代理（proxies）**来保护能力。这些代理包括参数距离、重要性惩罚、输出匹配或权重矩阵的主奇异方向（来自 SVD 的 $V_1$ ）。

本文认为，这些代理未能回答一个核心问题：哪种激活方向才是该被保留能力实际依赖的？ 预训练权重矩阵（ $W_0$ ）的主奇异向量总结了权重较大的位置（这是对所有已学习能力的聚合），但这可能与特定能力的特定激活模式并不对齐（例如，翻译任务可能依赖于中等的奇异分量或对角线方向）。因此，保护 $V_1$ 往往会约束一个与能力不匹配的子空间，导致保护效果不佳。

2. 方法论：Fora（函数空间正交残差自适应）

所提出的方法 Fora 将能力保护重新定义为函数空间保护。Fora 不再保护权重矩阵的几何结构，而是保护由该能力诱导的激活子空间。

核心机制：

函数空间投影 ( $P_Q$ )：
- 利用来自被保留能力的无标签校准输入（ $D_{pres}$ ），该方法收集每一层的输入激活。
- 计算这些激活的协方差，并提取前 $k$ 个特征向量（ $Q$ ），代表该能力函数特征的主方向。
- 构建一个右投影器： $P_Q = I - QQ^\top$ 。该投影器阻断了更新过程对能力函数方向的“读取”（作用）。
权重空间投影 ( $P_U$ )：
- 通过预训练权重 $W_0 = U\Sigma V^\top$ 的 SVD 分解，构造左投影器 $P_U = I - U_1U_1^\top$ ，以阻断对原始权重主输出方向的“写入”。
更新规则：
全秩更新 $\Delta W$ 被分解为两个互补通道：
$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{高容量，函数受保护}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{受控谱通道}}$
- 高容量分支 ( $P_U M P_Q$ )： 一个稠密矩阵 $M$ ，它保留了除能力输入方向（ $P_Q$ ）和权重主输出方向（ $P_U$ ）之外的所有方向的充分表达能力。
- 谱通道 ( $U_2 D_\delta V_2^\top$ )： 一个源自 $W_0$ 残差奇异值的窄带宽、低自由度通道。至关重要的是，这是唯一允许响应受保护子空间（ $\text{span}(Q)$ ）输入的组件。这提供了有界的塑性，允许进行校准后的调整，而不至于完全冻结能力。
低秩扩展：
该方法通过将稠密矩阵 $M$ 替换为低秩乘积 $\frac{\alpha}{r} BA$ ，将其扩展到参数高效微调（PEFT）领域，得到 Fora-LR。

3. 主要贡献

重新定义保护： 本文提出，通过保护由能力诱导的激活子空间（ $Q$ ），而非权重矩阵的奇异几何结构（ $V_1$ ），可以更好地实现能力保持。
结构化设计 (Fora)： 它引入了一种结构化约束的全秩更新，将保护与塑性分离。高容量分支在结构上被禁止读取能力敏感的方向，而专门的谱通道则为这些特定方向提供受控的自适应。
机制见解： 通过受控消融实验，本文证明了性能提升专门来自于投影源（能力派生 vs. 权重派生），而不仅仅是投影这一行为本身。
实证验证： 该方法在 Qwen3-1.7B 上针对三种设置进行了实例化，展示了其在权重空间投影和标准正则化之上的一致优越性。

4. 实验结果

实验在 Qwen3-1.7B 上通过三种不同的设置进行：

Trans $\to$ COGS： 在学习组合语义解析的同时保留翻译能力。
Trans $\to$ GSM8K： 在学习小学数学题的同时保留翻译能力。
Math $\to$ Trans： 在学习翻译的同时保留数学推理能力。

关键发现：

卓越的保留能力： Fora 在保留原始能力方面始终优于权重空间投影（ $P_V$ $P_{V}$ ）、正则化（EWC、L2-SP）和蒸馏（LwF）。
- 示例： 在 Trans $\to$ COGS 中，Fora 维持翻译困惑度（PPL）为 4.39（接近 4.35 的基线），而权重空间投影使其退化至 4.86（比未受保护的全参数微调更差）。
- 示例： 在 Math $\to$ Trans 中，Fora 使 GSM8K 准确率仅下降了 0.86 个百分点，相比之下，全参数微调下降了 2.27 个百分点。
新任务性能： Fora 在新任务上也取得了具有竞争力的或更优的表现。在 Trans $\to$ GSM8K 设置中，Fora 在所有方法中实现了最高的 GSM8K 精确匹配度（46.87%）。
消融洞察：
- 投影源： 将右投影器从 $P_V$ （权重派生）更换为 $P_Q$ （函数派生）是提升保留能力的决定性因素。
- 谱通道： 添加谱通道（ $\delta$ ）在不损害保留能力的前提下，为新任务性能带来了小幅但一致的提升（例如，+0.21 GSM8K EM），验证了“有界塑性”设计的有效性。
低秩泛化： Fora-LR 变体表明，该保护机制可以迁移到参数高效设置中，在保留指标上优于权重空间 LoRA 变体（OPLoRA）。

5. 意义与主张

本文主张，激活派生的函数子空间比权重派生的奇异方向是更忠实的保护目标。通过将保护目标从权重矩阵的几何形状转向能力的实际激活足迹，Fora 避免了现有权重空间投影方法中存在的失配问题。

作者强调，这是一个结构性的解决方案：保护是由参数化（ $P_U M P_Q$ ）保证的，而不是依赖于优化轨迹或特定的梯度状态。虽然该方法需要无标签的校准数据，但它不需要在训练期间存储任务数据或标签，这使其区别于基于回放（replay-based）的方法。本文得出结论，函数空间保护提供了一种平衡塑性与稳定性的原则性方法，在实现强大保留能力的同时，最大限度地减少了对新任务学习的权衡。