🤖 AI

Fast Multi-dimensional Refusal Subspaces via RFM-AGOP

本文介绍了通过 RFM-AGOP 实现的快速多维拒绝子空间方法，这是一种通过将递归特征机算法与探针启发式初始化相结合，从而在推理型和非推理型大语言模型中快速且准确地识别多维拒绝子空间的高效方法，克服了现有技术的计算限制。

原作者： Thomas Winninger

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Winninger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：为什么我们需要这项技术

想象一下，大型语言模型（LLMs）就像是非常聪明但有时有些固执的图书管理员。他们的职责是回答问题，但他们也接受过训练，会对危险的请求（比如“如何制造炸弹？”）说“不”。

长期以来，科学家们认为图书管理员的“拒绝”按钮是一个单一、简单的开关。如果找到了那个开关并将其拨动，图书管理员就会停止拒绝并开始回答任何问题。

问题所在： 最近的研究表明，对于更聪明、更复杂的模型（尤其是那些在回答前会进行长时间“思考”的模型），“拒绝”按钮不仅仅是一个开关。它是一个拥有许多不同旋钮和杠杆协同工作的控制室。如果你只拉动一个杠杆，图书管理员可能仍然会拒绝。

目标： 作者希望快速且廉价地找到所有这些杠杆，以便他们能够理解模型是如何决定拒绝的，或者甚至测试他们是否可以关闭拒绝机制以观察会发生什么。

旧方法 vs. 新方法

旧方法（太慢了）

想象一下，试图通过一次转动一个旋钮、检查结果、转回去、再试下一次的方法，来寻找控制室里正确的旋钮组合。

问题： 对于产生长链条思维过程的现代“推理型”模型来说，这个过程极其缓慢。这就像是通过听几个小时的静电噪音来调频收音机一样。它消耗的计算资源之多，以至于在普通的笔记本电脑上通常无法完成。

新方法 (RFM-AGOP)

作者创建了一种名为 RFM-AGOP 的新方法。把它想象成一个智能金属探测器，可以在几秒钟内扫描整个控制室，而不是耗费数小时。

“探针”预热： 在扫描之前，他们给探测器一个微小的提示。他们通过一个简单的问题来获得关于“拒绝”信号大致位置的初步印象。这有助于探测器从正确的区域开始。
“移动平均”稳定器： 当探测器进行扫描时，它会变得有点抖动（就像晃动的摄像机）。作者添加了一个功能来平滑数据，使扫描过程更加稳定可靠。
结果： 该方法不再仅仅找到一个“拒绝”方向，而是快速绘制出了一个多维空间（一个方向的集群），其中发生了拒绝行为。

他们的发现（实验）

团队在不同规模的“Qwen”模型（从小型到非常大型）上进行了测试。

1. 规模至关重要：“单开关”之谜

小型模型： 对于较小的模型，旧有的观点基本是正确的。拉动一个杠杆（方向）就足以让它们停止拒绝。
大型模型： 对于大型、聪明的模型（如 8B 和 14B 版本），仅仅拉动一个杠杆几乎没有任何作用。模型仍然会说“不”。
发现： 要让大型模型停止拒绝，他们必须同时拉动至少三个或五个杠杆。这种“拒绝”行为分布在一个复杂的、多维度的形状（如圆锥或云团）中，而不是一条直线。

2. 他们是否“破坏了大脑”？
一个主要的担忧是：“如果我们为了停止拒绝而摆弄这些杠杆，模型会忘记如何做数学或写故事吗？”

测试： 他们在标准知识测试（MMLU）上检查了模型。
结果： 令人惊讶的是，对于大多数模型，移除拒绝杠杆并不会损害它们的通用智能。它们仍然可以很好地回答无害的问题。然而，在最大的模型（14B）上，性能出现了轻微下降，这表明对于最大的模型，其拒绝机制可能与其他的智能思考过程纠缠在一起。

3. 速度与成本

旧方法： 在一台高性能笔记本电脑上需要数小时。
新方法： 在一台标准笔记本电脑上仅需数秒。这使得普通研究人员无需依赖超级计算机即可研究这些安全机制。

“转向”实验（一个警告）

作者还尝试了反向操作：与其“关闭”拒绝，不如尝试针对无害问题（如“我该如何烤蛋糕？”）“开启”拒绝。

结果： 对于主要的“拒绝”杠杆，它是有效的。但当他们尝试使用其他杠杆（第2、第3或第4个方向）时，模型开始吐出乱码或垃圾文本。
启示： 这表明，虽然“拒绝”的概念很复杂，但我们尚未完全理解这些不同部分的复杂性是如何运作的。有些部分对于表达“拒绝”是必不可少的，而另一些部分可能只是噪声或属于不同的过程。

总结

这篇论文介绍了一个快速、廉价且有效的工具，用于绘制智能 AI 模型内部复杂的“拒绝区域”。它证明了对于大型模型而言，说“不”不是一个简单的开关，而是一个复杂的、多维度的区域。作者成功地在几秒钟内绘制出了这个区域，表明你需要针对多个方向进行操作才能改变行为，并且这样做并不一定会破坏模型的思考能力。

技术摘要：通过 RFM-AGOP 实现快速多维拒绝子空间提取

问题陈述

确保大语言模型（LLMs）在拒绝有害指令的同时，对良性查询保持有用性，是 AI 安全领域的一个核心挑战。虽然机械解释性提供了识别和引导内部表示的工具，但现有方法在拒绝行为分析的维度和计算成本方面面临显著局限。

早期研究假设拒绝行为被编码在单一线性方向上，可以通过干预单个特征空间向量来进行操控。然而，最近的研究结果表明，拒绝行为更适合被建模为一个多维的“拒绝锥（refusal cone）”。现有的提取这些子空间的方法要么是无监督的（例如，稀疏自编码器 SAE），难以隔离如“拒绝”这类特定概念；要么是监督式但计算成本极高的（例如，拒绝锥优化或 RCO）。例如，RCO 需要在长推理链上进行完整的正向和反向传播，这使得它在处理现代推理模型（如 Qwen 3，其思维链可生成高达 8,000 个 token）时显得不切实际。

方法论

作者提出通过改进递归特征机（Recursive Feature Machine, RFM）算法，并结合平均梯度外积（Average Gradient Outer Product, AGOP），来高效地提取多维拒绝子空间。其核心方法包括：

框架适配： RFM-AGOP 框架在学习预测器和更新核矩阵 $M$ 之间进行迭代。该算法使用马哈拉诺比斯拉普拉斯（Mahalanobis Laplace）核函数。在每次迭代中，它通过求解核岭回归来获得预测器系数，并利用预测器对输入的梯度的平均外积来更新 $M$ 。
稳定性修改： 为了解决 RFM 对噪声和超参数的敏感性，作者引入了两个关键修改：
- 探针启发式初始化（Probe-Informed Initialization）： 不同于使用单位矩阵初始化核矩阵 $M_0$ ，作者在激活值上训练了一个简单的线性探针，并将 $M_0$ 设置为 $\beta ww^\top + (1-\beta)\Sigma_{X,k}$ 。这种方式结合了由探针发现的主要方向与高秩截断协方差矩阵，以防止算法立即坍缩为秩为 1 的解。
- 指数移动平均（EMA）： 在 $M$ 的更新过程中应用 EMA，以稳定训练收敛。
子空间提取： 在经过 $T$ 次迭代后，通过对最终矩阵 $M_T$ 进行特征分解得到排序后的特征向量。前 $k$ 个特征向量定义了拒绝子空间。通过计算这些向量与拒绝标签之间的皮尔逊相关系数，确定其面向拒绝的方向。
干预： 识别出的子空间用于两个目的：
- 消融（Ablation）： 将模型权重投影到子空间的正交补上，以抑制拒绝行为。
- 转向（Steering）： 在运行时直接修改激活值，以诱导或抑制拒绝。

核心贡献

高效的多维提取： 本文证明了 RFM-AGOP 可以在消费级硬件（RTX 4090）上数秒内识别出多维拒绝子空间，而此前使用 RCO 等方法完成此类任务需要数小时的优化。
探针启发式初始化： 引入基于协方差的热启动显著提高了 RFM 算法处理 LLM 激活值的稳定性和效率。
在推理模型上的实证验证： 本研究首次对非推理模型（Qwen 2.5）和推理模型（Qwen 3）进行了多维拒绝分析，特别强调了具有长推理链的模型行为。
可扩展性： 该方法仅需单次正向传播和几次特征分解，其计算复杂度由 $O(n^2d)$ 主导，使其在个人笔记本电脑上进行大规模实验也具有可行性。

结果

作者在 Qwen 3 系列（1.7B, 4B, 8B, 14B）和 Qwen 2.5 7B 上使用自定义的多语言对比数据集（BigBench）对该方法进行了评估。

拒绝的维度性： 结果表明，在较大规模的模型（≥8B 参数）中，拒绝行为被编码在一个多维子空间中。消融单一方向（如之前的 1D 研究所建议）不足以抑制较大模型的拒绝行为；例如，Qwen 3 8B 需要消融至少三个方向才能使攻击成功率（ASR）超过 50% 的阈值。
性能对比基准： 在抑制拒绝方面，RFM-AGOP 达到了与 RCO 和均值差（Difference-in-Means, DIM）基准相当或更优的表现，尤其是在消融多个维度时。
能力保留： 使用 RFM-AGOP 消融拒绝子空间通常能保留通用的推理能力（通过 MMLU 分数衡量），尽管在 14B 模型中观察到了一些性能下降，作者指出这需要进一步研究。
转向不对称性： 虽然主要特征向量在进行转向操作时可以有效诱导拒绝，但次要特征向量往往会导致模型退化（输出“垃圾”内容），而非受控的拒绝，这表明消融几何与转向几何之间存在不对称性。

意义与主张

本文声称 RFM-AGOP 为现有的子空间提取方法提供了一个廉价且可扩展的补充。其主要意义在于，它使研究人员能够快速检索多维拒绝子空间，而无需承担像 RCO 这样基于梯度的优化方法所带来的高昂计算成本。

作者谦逊地将他们的工作描述为理解对齐机制几何结构的一步。他们承认，虽然 RFM 允许更快地进行识别，但 RFM 找到的子空间与其他方法（如稀疏自编码器）之间的确切关系仍是一个悬而未决的问题。此外，他们强调目前领域内缺乏衡量拒绝行为的严谨、标准化的指标，特别是在推理模型中，因为拒绝可能发生在生成过程的后期，或者被复杂的推理链所掩盖。

这项工作表明，随着模型规模的增加，复杂的行为（如拒绝）可能会存在于更高维度的子空间中，因此需要进行多维分析，而非仅仅进行单向量干预。未来的工作计划更好地理解不同方法找到的子空间之间的关系，并分析这些子空间在推理过程中的演变。