🤖 machine learning

Recoverable but Not Stationary:Local Linear Structures in Weights and Activations

本文表明，尽管神经网络权重和激活中的线性结构并非全局、静态的任务方向，但它们展现出强烈的局部低秩几何特性，这种特性演化迅速却又具有足够的持久性，从而能够通过 LoRA、随机搜索和激活转向等方法实现有效的控制。

原作者： Irina Piontkovskaia, Sergey Nikolenko

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Irina Piontkovskaia, Sergey Nikolenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一座巨大的、极其复杂的图书馆（一个训练好的 AI 模型），它知道如何讲笑话、解数学题以及写诗。长期以来，研究人员一直认为，如果你想教这个图书馆一个新技巧或者纠正一个坏习惯，你只需要找到图书馆里的一条特定的走廊并沿着它走下去。他们认为这条走廊是一条永久的、固定的道路，无论你何时造访，它都会通向同一个目的地。

这篇论文说：“并不完全是这样。”

以下是作者通过简单的类比所发现的实际情况：

1. “移动目标”问题

旧观点认为，每一项任务（比如“写一个笑话”）都存在于一张静态地图上。如果你想找回遗忘的技能，你只需要找到那张特定的地图，然后沿着直线走即可。

作者发现，这张地图并不是静态的，它是漂移的。

类比： 想象你正试图走向朋友家。你开始走路，但你所在的街道实际上是一个正在横向移动的传送带。如果你根据出发时房子所在的位置尝试走直线，你就会错过它。
发现： 修复被遗忘任务的“方向”不是一条固定的线。它是一个短促的、移动的路径。恢复一项技能的最佳方式是跟随恢复旅程本身的最初几步，而不是根据模型昨天的状态去猜测一个静态方向。

2. “大海捞针”的迷思

曾有一种理论认为，在巨大的 AI（拥有数十亿个参数）中寻找有用的变化，就像在规模如山的大海里寻找一根针。你会认为随机猜测永远不会奏效。

作者说：随机猜测实际上效果出奇地好，但前提是你必须遵守特定的规则。

类比： 想象你正在对着一面巨大的墙投掷飞镖。你想击中一个微小的、隐形的靶心。
- 如果你只投掷一枚飞镖，你很可能会错过。
- 但如果你投掷 1,000 枚飞镖，并保留其中离中心最近的那一枚，你几乎肯定能击中靶心。
- 关键在于： 你必须温柔地投掷。如果你投掷得太用力（变化太大），你会撞到墙面的曲率并向错误的方向弹开。如果你投掷得太轻，它们就无法移动。在力量的“金发姑娘区”（适中区间）内，随机猜测每次都能找到正确的路径。
发现： 你不需要知道地图。如果你进行微小的、随机的变化并挑选最好的那一个，你就可以在不从头开始重新训练模型的情况下改进模型。

3. “影子”的联系

这篇论文还将两个通常看起来无关的东西联系了起来：改变大脑（权重）和改变思想（激活）。

类比： 想象 AI 的“大脑”是一台带有齿轮（权重）的机器。当你调整一个齿轮时，它会在墙上投射出一个“影子”（激活）。
发现： 作者发现，如果你通过微调齿轮来解决问题，它在墙上投射出的影子几乎与研究人员通常需要手动设计的“转向向量”一模一样。
结果： 你可以通过微调齿轮来修理机器，而这种微调会自动创造出一个用于控制思想的“方向盘”。你不需要单独制造方向盘；齿轮的微调会为你自动生成它。

4. 这对“编辑”AI 意味着什么

这篇论文挑战了 AI 行为被固定在某个固定位置的观点。

旧观点： “任务 A 住在 1 号房间。任务 B 住在 2 号房间。它们是分离的。”
新观点： “任务 A 和任务 B 就像一场舞蹈。随着音乐的播放，舞步也在变化。要修复一个错误，你不需要回到歌曲的开头；你要跟随接下来的几步节奏。”

总结“规则”

论文最后为任何想要微调 AI 的人总结了三个主要结论：

不要寻找固定的地图： 修复问题的方向会随着你的修复过程而移动。请跟随即时的路径，而不是静态的计划。
随机搜索是有效的（只要你足够小心）： 你可以通过尝试随机的小幅微调来找到好的变化，只要保持微调足够小，处于数学原理起作用的“线性”区域内即可。
齿轮与影子相匹配： 如果你修复了内部的齿轮，外部的思想自然会与修复后的状态保持一致。

这篇论文并未声称：

它并未声称这是对标准训练（梯度下降）的完美替代。
它并未声称这在每一个单一任务或每一个模型规模上都能完美运作（它在较小的模型或特定的“适配器”上表现最好）。
它并没有提供一种从头开始训练模型的新方法，而是一种在模型训练完成后对其进行理解和微调的方法。

简而言之：AI 的行为不是固定的地标，而是流动的潮流。要航行其中，你需要跟随潮流，而不是依赖地图。

技术摘要：可恢复但非平稳：权重与激活中的局部线性结构

1. 问题陈述

近期用于编辑和适配预训练模型的方法——如任务向量（task vectors）、LoRA、激活转向（activation steering）以及权重周围的随机搜索——都依赖于一个共同的几何假设：即学习到的行为对应于权重空间或激活空间中固定的、低维的线性方向。主流假设认为，在某个检查点处存在一个“任务平面”作为静态子空间，沿着该平面移动可以实现特定任务行为的添加或移除，而无需重新训练。

然而，目前尚不清楚这些线性结构是真正的全局且静态的，还是局部且演化的。此外，在高维空间（例如 $10^9$ 个参数）中进行随机搜索的有效性是违反直觉的；如果有效的方向是高维空间中稀有的“大海捞针”，那么理论上随机采样应该会失败。本文研究了这些线性结构的真实本质：其维度、平稳性，以及权重扰动与激活转向之间的关系。

2. 研究方法

作者采用了一种“遗忘后的恢复”（recovery after forgetting）实验循环来生成一个基准真值适配向量（ $\Delta_{GD}$ ），并以此衡量候选子空间。该循环包含三个阶段：

多任务训练： 在混合任务上训练模型以达到检查点 $\theta_{mt}$ 。
遗忘： 继续在单一任务上训练，直到其他任务的性能发生退化，达到 $\theta_{forg}$ 。
恢复： 在原始混合任务上进行短暂重训，以恢复丢失的任务，达到 $\theta_{rec}$ 。

位移 $\Delta_{GD} = \theta_{rec} - \theta_{forg}$ 即为目标适配。作者通过测量候选子空间捕捉了多少 $\Delta_{GD}$ 以及在这些子空间内进行随机搜索，来评估候选子空间。

实验规模

合成 Transformer： 一个受控的 4 层、128 维因果 Transformer，用于执行数字序列任务（复制、反转、排序、取模加法）。
LoRA 适配器： 使用秩亏损（rank-deficient）适配器在 DistilGPT-2 和 GPT-2 主干网络上进行微调。
大语言模型 (LLMs)： 在 Qwen2.5 (0.5B, 3B, 7B) 和 OLMo-7B 上进行的实验。

理论框架

论文开发了一个理论框架来解释随机搜索的有效性和子空间选择：

Best-of-N 定理： 证明了在局部线性机制下，各向同性的高斯随机搜索能够捕捉到有用的信号，且其方差与环境维度 $D$ 无关。期望增益随 $\sqrt{\log N}$ 缩放（其中 $N$ 是搜索预算），但不随 $D$ 缩放。
信号密度 vs. 质量： 一个命题表明，对于固定的步长，一个较小且对齐良好的子空间比仅包含目标方向但较大的子空间具有更高的搜索信号，这是由于信号密度的稀释（ $\|P_U a\|/\sqrt{r}$ ）。
Krylov 恢复： 一个引理表明，恢复位移位于由 Hessian 矩阵和初始梯度生成的 Krylov 子空间中，而非一个固定方向。这意味着相关的子空间会随着轨迹的展开而演化。
前推恒等式 (Pushforward Identity)： 建立了权重扰动 ( $\delta\theta$ ) 与激活偏移 ( $\Delta h$ ) 之间的理论联系，通过雅可比矩阵 $D_\theta h$ ，表明有用的权重移动在激活空间中具有可以作为转向向量的“影子”。

3. 核心贡献与结果

A. 线性结构是局部且移动的，而非静态的

核心发现是“任务平面”假设是不正确的。

静态平面失效： 在遗忘后的检查点（局部任务平面）或遗忘前（干扰前平面）测量的子空间仅能捕捉到极小部分的恢复位移（例如在 LoRA 实验中分别仅为 ~15% 和 <2%）。
轨迹对齐： 恢复方向最好由**轨迹前缀（trajectory prefix）**捕捉——即由恢复路径前几步构成的基。在 LoRA 实验中，前 10 步恢复捕捉了约 77% 的总位移 $\Delta_{GD}$ ，前 20 步捕捉了约 90%。
漂移： 局部任务子空间的方向在恢复过程中发生了显著漂移（主角度重叠从 1.0 在 100 步内降至 ~0.12–0.17），证实了相关的几何结构是一个移动的束（bundle），而非一个固定的平面。

B. 随机搜索的有效性与维度无关性

论文为为什么随机搜索在高维空间有效提供了理论依据：

维度无关性： 各向同性高斯扰动在有用方向上的投影，其方差与总参数量无关。
尺度窗口： 随机搜索仅在损失函数景观呈现局部线性的特定扰动尺度内有效（例如 Qwen2.5-0.5B 上的 $\sigma \approx 10^{-4}$ ）。在此范围之外，曲率占据主导，随机移动会变得具有破坏性。
搜索质量： 在轨迹前缀子空间内进行的随机搜索明显优于在静态任务平面或各向同性空间内进行的搜索，这证实了理论预测：信号的“密度”比子空间的“质量”更重要。

C. 权重扰动与激活转向之间的联系

作者验证了权重编辑与激活转向之间的联系：

梯度步作为转向向量： 在 Qwen2.5-0.5B 上，单个梯度步产生的权重扰动，其在前向推至激活空间后的效果，与对比激活添加（CAA）转向向量在对齐度上高度一致（余弦相似度 $\approx 0.58$ ），尤其是在后期解码器层（19–20 层）。
可重用性： 将这种由梯度诱导的激活偏移注入干净的模型中，可以提高在留出数据集上的准确率（最高提升 +10 个百分点），其效果与从标记对比对中提取的转向向量相当。
随机搜索桥梁： 选定的随机权重扰动（Best-of-N）也可以转化为转向向量以提升性能，尽管其效果更具噪声性且依赖于具体任务。

D. 大规模下的低秩几何

合成/LoRA： 在任务梯度中观察到了清晰的低秩结构（有效秩为 2–8）。
LLMs： 在十亿级参数规模下，低秩主张仅得到部分证实。虽然某些设置（如 Qwen-3B MLP）显示的秩与噪声有别，但其他设置（如 Qwen-7B）显示的有效秩与采样噪声无法区分，这表明在大规模下进行朴素的秩估计非常困难。

4. 意义与主张

本文声称提供了一种对训练网络适配过程的修正后的几何理解：

驳斥静态任务向量： 有效的线性结构不是全局、固定的任务方向，而是演化的局部几何结构（类 Krylov 轨迹束），这些结构在参数空间和激活空间中部分持久存在。
统一方法论： 本研究在单一的微分几何视角下统一了梯度更新、随机参数搜索和激活转向。它指出，成功的参数扰动会诱导出可重用的激活空间方向，并且随机搜索之所以有效，是因为它能高效地在这些局部线性机制内进行采样。
实践意义：
- 多任务训练： 顺序特化是脆弱的，因为局部任务平面会发生漂移；同时进行的调度方案则更为鲁棒。
- 搜索策略： 若要寻找有用的方向，应在适配路径的早期轨迹内进行搜索，而非在静态任务子空间内。
- 转向： 激活转向向量可以从权重扰动（甚至是单个梯度步）中推导出来，从而弥合了权重空间编辑与激活空间控制之间的鸿沟。

作者保持了谦逊的态度，指出虽然在受控设置下随机搜索可以超越梯度下降完成特定目标任务，但它并不稳定，不能替代梯度下降。研究结果被视为对局部线性结构进行更深入分析的起点，并承认在证据规模（在合成和小型 LoRA 模型上表现最强）以及在十亿级参数模型中低秩发现的局部性方面存在局限性。