💬 NLP

Universal Refusal Circuits Across LLMs: Cross-Model Transfer via Trajectory Replay and Concept-Basis Reconstruction

本文提出了一种名为“通过概念基重构进行轨迹回放”的框架，该框架成功地在无需目标侧监督的情况下，将拒绝干预跨不同的大型语言模型进行迁移，为存在着构成安全对齐的通用、低维语义电路提供了强有力的证据。

原作者： Tony Cristofano

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Tony Cristofano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两个不同的机器人：机器人 A 和 机器人 B。它们由不同的公司制造，使用不同的蓝图，甚至说着略微不同的方言。然而，当你问它们一个棘手或危险的问题时，它们都会突然切换到“拒绝模式”。它们停止回答，并以一种非常特定的、机械化的方式说：“我不能这样做。”

大多数人认为这种“拒绝模式”是每个机器人特定大脑布线所特有的。但这篇论文提出了一个大问题：所有机器人的内部是否都隐藏着一个通用的“拒绝开关”？

由 Tony Cristofano 领导的作者们说：是的。他们认为，尽管这些机器人在外观上看起来不同，但它们说“不”的部分是由相同的基本乐高积木构建而成的。

以下是他们如何证明这一点的，使用了简单的类比：

1. “通用配方”（概念原子）

想象一下，“拒绝”并不是机器人大脑中一个巨大的、混乱的团块。相反，它是一个由特定成分组成的配方。

作者创建了一个包含 20 个基本概念的共享“储藏室”（例如“欺骗”、“安全性”或“法律术语”）。他们称这些为概念原子。
他们发现，当机器人 A 拒绝时，它只是在以特定的比例混合这些 20 种成分（例如：50% 的“安全性”+ 30% 的“法律术语”）。
重大的发现是：机器人 B 使用了完全相同的配方。 尽管机器人 B 的构造不同，但它的“拒绝”是由相同的成分以相同的比例构成的。

2. “轨迹重放”（模仿舞蹈）

通常，如果你试图通过拨动机器人 A 的大脑来修复其拒绝行为，你可能会无意中破坏它进行数学计算或写诗的能力。这是因为“拒绝”的线路与“智能”的线路缠绕在一起。

为了在不破坏任何功能的情况下修复这个问题，作者使用了**轨迹重放（Trajectory Replay）**技术：

第一步：绘制舞蹈图谱。 他们观察了机器人 A 在拒绝时，其大脑各层是如何“移动”的。他们不仅观察一个点，而是观察整个动作序列。
第二步：翻译步骤。 他们使用了一个“翻译器”（动态时间规整，Dynamic Time Warping）将机器人 A 的步骤与机器人 B 的步骤进行匹配。即使机器人 B 的层数更多或更少，他们也能弄清楚机器人 A 的某一步对应于机器人 B 的哪一步。
第三步：重放配方。 他们从机器人 A 中提取了“拒绝配方”，并在机器人 B 发生拒绝的具体层级中重新播放该配方。

3. “安全护盾”（Weight-SVD Guard）

这里有一个巨大的风险：如果“拒绝配方”意外地撞到了机器人 B 的“数学”或“逻辑”线路怎么办？那会使机器人 B 变得愚笨。

为了防止这种情况，他们添加了一个安全护盾：

他们观察了机器人 B 的大脑，并识别出了承载重要技能（如数学和编程）的“超级高速公路”。这些是“高方差”区域。
他们构建了一个护盾，将“拒绝配方”推离这些“超级高速公路”。
结果： 他们成功地关闭了机器人 B 的“拒绝模式”，同时没有损害其进行数学运算或编写代码的能力。

大规模实验

他们在 8 对不同的机器人上测试了这一方法，包括：

小型机器人 vs 大型机器人。
来自不同家族的机器人（如 Qwen 与 Ministral）。
具有不同架构的机器人（一个是标准的“稠密型”大脑，另一个是复杂的“混合专家”大脑）。

结果：
在几乎所有案例中，他们都成功地将“拒绝配方”从一个机器人转移到了另一个机器人中。

拒绝率下降： 目标机器人面对有害问题时不再说“我不能这样做”。
技能保留： 机器人解决数学问题和编写代码的能力与之前一样出色。
无需作弊： 他们不需要向目标机器人展示任何“坏”的例子来教它如何停止拒绝。他们只是使用了来自捐赠机器人的“配方”。

为什么这很重要（根据论文观点）

论文得出结论，安全对齐并非随机的魔法。 它似乎是一种通用的、低维度的结构，不同的 AI 模型以类似的方式构建这种结构。

关于安全的注意事项：
作者非常谨慎地指出，这是一个诊断工具（一种研究 AI 大脑运作方式的方法），而不是一种可以在现实世界中用来破坏安全性的工具。他们明确警告说，由于这种方法可以关闭安全过滤器，因此具有“双重用途”风险。他们发布了代码中“安全”的部分（概念储藏室），但对“有害”的部分（用于训练捐赠者的特定坏问题）保持私密，以防止滥用。

简而言之： 他们证明了 AI 的拒绝行为就像一种通用语言。如果你知道了其中一个 AI 如何表达“不”的语法，你就可以教会另一个完全不同的 AI 如何停止说“不”，且不会损坏它的大脑。

技术摘要：大语言模型中的通用拒绝电路

1. 问题陈述

对齐的大语言模型（LLMs）经常表现出“拒绝行为”，即以一种程式化的方式拒绝回答特定类别的提示词。虽然先前的研究已经发现，可以通过在内部表示中进行低秩干预来调节拒绝行为，但幼稚的编辑往往会造成“附带损伤”，包括能力损失、风格漂移以及由于多语义纠缠导致的非预期行为变化。

本文解决的核心机制问题是：拒绝电路在不同 LLM 之间是否具有通用性？ 具体而言，能否将从“捐赠者”（donor）模型中提取的拒绝电路转移到“目标”（target）模型中（即使两者架构、规模或训练方案不同），从而在不使用任何针对目标模型的拒绝特定监督的情况下，减弱其拒绝行为？作者将拒绝消融视为一种衡量电路通用性的测量工具，而非一种部署建议。

2. 方法论：通过概念基底重构进行轨迹重放（Trajectory Replay）

所提出的 轨迹重放（Trajectory Replay） 框架通过使用共享的“概念原子”（concept atoms）词汇表来重构拒绝的语义组成，从而将拒绝干预从捐赠者模型转移到目标模型。该过程在一个严格的信息预算（ $B_0$ ）下运行，目标模型永远不会接触到有害提示或拒绝标签。

该方法由四个阶段组成：

第一阶段：语义层对齐

为了将捐赠者的拒绝轨迹映射到目标模型，层与层之间的对齐是基于概念原子的相关结构而非层索引进行的。

概念原子注册表 (CAR)： 一个共享的维度集合，这些维度是从代表特定概念（如“欺骗”、“安全标记”）的离散提示集中计算得出的。它们作为模型之间的共享词汇。
格雷姆指纹 (Gram Fingerprints)： 为每一层计算概念原子的相关结构（格雷姆矩阵）。
动态时间规整 (DTW)： 通过最小化各层格雷姆指纹之间的距离，将捐赠者层映射到目标层。这确保了单调性和连续性，防止了层排列伪影，并能够适应架构差异（例如 Dense 与 MoE 架构）。

第二阶段：概念基底重构

拒绝方向被分解为捐赠者模型中概念原子的“配方”，并在目标模型中进行重构。

捐赠者分解： 从捐赠者中提取一个“干净”的拒绝方向（ $r_{D, clean}$ ）（使用外科手术式拒绝消融，SRA），并通过岭回归将其表示为捐赠者概念原子（ $A_D$ ）的线性混合，以求得系数 $w$ 。
目标重构： 将相同的系数向量 $w$ （即“配方”）应用于目标的概念原子（ $A_T$ ），以重构目标拒绝方向： $\tilde{r}_T = A_T w$ 。这实现了以下假设的操作化：拒绝是一个基于共享概念原子的稳定混合体。

第三阶段：权重-SVD 稳定性防护

为了防止干预破坏核心能力，重构的方向被投影到远离权重矩阵高方差子空间的区域。

原理： 基本能力（语法、逻辑）被假设存在于权重矩阵的高方差主成分中，而特定的语义抑制（拒绝）则存在于低秩子空间中。
实现： 干预方向被投影到编辑后的权重矩阵的前 $k$ 个右奇异向量的零空间上。选择阈值 $k$ 的标准是使良性困惑度（在如 WikiText 等验证集上）的退化保持在预定义阈值（如 <1%）以下。

第四阶段：重放

将稳定且重构后的方向作为秩一抑制更新，应用于目标模型中对齐的 Transformer 块的输出投影矩阵（O-proj）。

3. 核心贡献

语义通用性假设（操作化）： 本文提出拒绝行为在概念空间中最具稳定性，其特征是相对于共享概念原子的模型无关混合。
轨迹重放框架： 一种从捐赠者到目标的转移协议，利用共享的概念原子注册表来重构拒绝方向，无需在目标侧进行拒绝监督。
权重-SVD 稳定性防护： 一种通过将干预投影到远离主权重空间子空间来防止能力崩溃的机制，类似于模型编辑中的零空间约束。
严谨的评估与审计： 在 8 对模型（包括 Dense-to-MoE 和跨家族转移）上进行了评估，并设有明确的“旋钮/预算审计”，以确保目标侧未进行任何隐藏微调。

4. 实验结果

该框架在 8 对捐赠者/目标模型对上进行了评估，包括跨家族转移（Qwen3-VL $\leftrightarrow$ Ministral）、反向转移以及架构压力测试（Dense $\to$ MoE，Dense $\to$ 推理增强型）。

拒绝减弱： 转移后的“配方”一致地降低了拒绝率。例如，在 Qwen3-VL-2B $\to$ Ministral-3-14B 的转移中，拒绝率从 0.98 降至 0.02。在 Dense $\to$ 推理增强型（GLM-4.6V）的转移中，拒绝率降至 1%。
能力保留： 在所有模型对中，良性任务（用于数学的 GSM8K，用于编程的 MBPP）的表现保持稳定。在 GLM-4.6V 转移中，甚至在数学和代码准确性上出现了轻微的正向增益，这表明移除拒绝电路可能会减少对推理能力的干扰。
控制变量验证： 消融研究证实了该效应是针对特定语义配方的。
- 随机方向 和 无关概念 的转移未能降低拒绝率。
- 错误映射（层排列错误）导致了显著的能力退化。
- 无防护（禁用 SVD 投影）导致了灾难性的困惑度退化和能力崩溃，验证了稳定性防护的必要性。

5. 重要性与声明

本文声称为安全对齐的语义通用性提供了强有力的证据。它表明，拒绝并非一种晦涩、模型特有的人工制品，而是通过一个语义通用的电路实现的——即一个基于共享概念邻域的稳定混合。

机制洞察： “配方”（ $w$ ）充当了跨模型的语义坐标系，允许捐赠者模型将拒绝分解为目标模型可以在其自身表示基底中重新实例化的共享原子。
双重用途说明： 作者明确承认了双重用途风险：虽然该方法被构架为测量电路相似性的诊断工具，但同样的技术理论上可以被重新利用，以绕过已对齐模型的安全护栏。
局限性： 作者指出，有效性取决于概念原子注册表（CAR）的覆盖范围。如果拒绝是在与 20 个概念基底正交的语义特征（例如复杂的视觉安全约束）上运行，则重构可能会失败。此外，该方法是严格白盒的，需要访问权重和激活值。

这项工作将拒绝编辑重新定义为测试跨模型电路通用性的手段，支持了这样一个假设：多样化的训练流程可以产生相似的语义门控结构。