技术摘要：通过过程侧载（Process Sidecars）实现可撤销的学习状态

问题陈述

部署的大语言模型（LLMs）通常经历一个多阶段训练流水线：首先是基础模型，随后被适配以获得公共技能，接着是在私有或专有事实（即“记忆阶段”）上进行微调，最后是经过安全性训练（即“安全阶段”）以学习针对这些特定实体的拒绝行为。当私有记忆在安全阶段应用后必须被撤销时（例如，出于隐私合规性考虑），一个关键挑战随之而来。

目标是生成一个“反事实预言机”（$\theta_{AS}$）：该模型经历了与部署制品（$\theta_{AMS}$）完全相同的安全性训练，但从未学习过该私有记忆。标准的权重空间编辑，特别是任务算术（从 $\theta_{AMS}$ 中减去记忆增量 $\Delta M = \theta_{AM} - \theta_A$），在此场景下会失效。这是因为安全性优化器是一个非线性映射 $T$，它会“传输”记忆方向。最终模型中存在的方向是 $DT(\theta_A)\Delta M$，而非简单的 $\Delta M$。朴素的任务算术隐含地假设雅可比矩阵 $DT(\theta_A)$ 为单位矩阵，忽略了安全性训练如何弯曲记忆方向。

方法论：过程侧载（Process Sidecars）

本文引入了过程侧载，这是一种具有两个系数的编辑族，旨在估计并抵消被传输的记忆方向。该编辑定义为：
$$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$$
其中 $\hat{R}_{S \leftarrow M}$ 是残差传输方向的估计值。

估计传输方向

该方法通过经过实现的未来安全性训练过程，利用中心割线法来估计雅可比向量积（JVP）$J_S(\Delta M) = DT(\theta_A)\Delta M$。该方法并非计算完整 AdamW 优化轨迹的精确雅可比矩阵，而是计算：
$$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$$
实现中设置 $\epsilon = 1$，对应于记忆编辑的自然尺度。由于 $T(\theta_A + \Delta M) = \theta_{AMS}$ 是交付的制品，因此该方法仅需计算一次额外的安全性训练轨迹，即在 $\theta_A - \Delta M$ 处。残差侧载随后为 $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$。

二维编辑族

该编辑族在两个系数上进行搜索：

1. $\lambda$：控制原始记忆增量的减法。
2. $\gamma$：控制估计的传输残差的减法。

该族涵盖了：

• 朴素任务算术：$\gamma = 0$。
• 过程-JVP 线：$\gamma = \lambda$（减去完整的传输方向）。
• 完整二维族：允许 $\gamma$ 独立变化，从而实现能够解释验证景观中有限曲率效应的离角校正。

一个可部署的选择器会根据验证指标（秘密 AUC、技能保留和拒绝裕度）从缓存的网格中选择 $(\lambda, \gamma)$，而无需访问反事实预言机或测试数据。

核心贡献

1. 一阶必要性的理论证明

本文证明了，只要安全性训练弯曲了记忆方向（即 $DT(\theta_A)\Delta M \neq \Delta M$），任何受限于原始记忆线的标量编辑都会留下一阶反事实误差。

• 定理 2：表明在 $(\lambda, \gamma) = (1, 1)$ 处的精确侧载编辑，在将 AdamW 视为参数及其矩的增强状态映射时，可以恢复到二阶误差（$O(\|\Delta M\|^2)$）范围内的反事实预言机 $\theta_{AS}$。
• 定理 3：证明对于任何标量任务算术编辑，误差都由低于原始记忆线的传输方向分量所限定。过程侧载恰好提供了这个缺失的分量。

2. 二维族的二阶优势

本文展示了完整的二维族在二阶层面优于 Process-JVP 线（$\gamma = \lambda$）。

• 定理 4：建立了一个局部二次前沿。如果验证目标具有特定的曲率特性（黑塞矩阵各向异性和离角投影），则二维族可以找到一个离角校正（$\zeta = \lambda - \gamma \neq 0$），从而严格优于一维 Process-JVP 线。这种优势是由有限曲率验证选择驱动的，而非仅仅是第一阶抵消。

3. 对梯度上升遗忘（Gradient-Ascent Unlearning）的批判

本文识别了梯度上升遗忘（FT-unlearn）的一种局部失效模式。

• 命题 5：一旦安全性训练降低了一阶安全性梯度，记忆上升方向会导致安全性损失在二阶层面增加。这解释了为什么 FT-unlearn 在尝试遗忘的同时，往往会导致拒绝行为崩溃。

实验结果

该方法在三种模型规模（Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B）和 9B 规模探针上进行了评估，每个规模进行了 20 次独立试验。

• 拒绝保留：相比朴素任务算术，经验证选择的二维过程侧载在拒绝闭合（恢复安全性唯一预言机的拒绝裕度）方面在 60/60 次试验中均表现更优。
• 秘密遗忘：两种方法都达到了相当的秘密 AUC（接近随机水平的可区分性），表明拒绝能力的提升并非以牺牲遗忘为代价。
• 二维 vs 一维：完整的二维族在 60/60 次配对试验中击败了匹配的 Process-JVP 线（对角线切片 $\gamma = \lambda$）。
• 统计显著性：通过模型-数据种子簇进行聚合，得到了 15 个正向块均值，其精确符号检验 $p = 2^{-15} \approx 3.05 \times 10^{-5}$。在未见种子上的全新确认性复制实验（共 70 次试验）重现了该效应，$p \approx 9.5 \times 10^{-7}$。
• 基线性能：梯度上升遗忘（FT-unlearn）导致了负向的拒绝闭合（例如 -15 到 -55），表明安全性策略完全崩溃。模型合并基线（TIES, DARE）未能恢复传输的方向，继承了朴素任务算术的一阶不完备性。

重要性与主张

本文声称，过程侧载是针对后续安全性训练撤销已学习记忆的几何正确编辑族。

• 一阶正确性：它们对于抵消传输的记忆方向是必要的，而标量任务算术无法完成此任务。
• 二阶准确性：理想的侧载可以在二阶误差范围内恢复反事实预言机。
• 经验鲁棒性：二维族通过利用有限曲率验证，在实践中比一维线提供增益，在不同模型规模和架构下一致地优于朴素和 Process-JVP 基线。
• 部署可行性：该方法通过原地编辑运行，仅需交付的制品、记忆增量和一次额外的安全性训练轨迹，无需重新训练或访问反事实预言机。

作者强调，离角系数（$\zeta$）是一个由验证几何决定的局部试验量，而非通用的规模法则，且该方法的成功依赖于特定的“实现轨迹”（realized trace）的安全性训练过程。