💻 computer science

CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

本文提出了跨模型神经元转移（CNT）方法，通过从开源捐赠大语言模型中迁移少量神经元，实现了在目标模型上以极小性能损耗灵活复用、添加或删除安全相关功能，从而避免了昂贵的数据收集与重新训练成本。

原作者： Yue Zhao, Yujia Gong, Ruigang Liang, Shenchen Zhu, Kai Chen, Xuejing Yuan, Wangjun Zhang

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yue Zhao, Yujia Gong, Ruigang Liang, Shenchen Zhu, Kai Chen, Xuejing Yuan, Wangjun Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CNT（跨模型神经元转移） 的新技术。简单来说，它就像是大语言模型（LLM）界的"器官移植手术"，但移植的不是心脏或肾脏，而是模型大脑中负责特定功能的“神经元”。

为了让你更容易理解，我们可以把大语言模型想象成一个超级智能的厨师，而“功能”就是厨师的拿手菜（比如“做安全菜”或“做有害菜”）。

1. 背景：为什么需要这项技术？

现在的 AI 厨师（大模型）非常强大，但每个厨师的“口味”和“原则”不同。

问题：有些厨师可能太“野”了（不安全，会做毒药），有些厨师可能太“死板”了（太保守，不敢做某些事），或者有些厨师缺乏某种特定的“安全原则”。
传统做法的缺点：
- 重新训练（Fine-tuning）：就像让厨师重新去烹饪学校读书，既花钱又花时间，还需要大量的教材（数据）。
- 知识编辑：就像试图用橡皮擦擦掉厨师脑子里的某个记忆，但这通常只能改改事实（比如“苹果是红色的”），很难直接改变他“做不做毒药”这种复杂的逻辑。
- 模型融合：就像把两个厨师的菜谱强行混在一起，结果往往是一锅乱炖，很难精准控制。

2. 核心创意：CNT 是什么？

CNT 的核心思想是：“既然你缺这个功能，那就直接从我这里‘借’一点过来用，不用重新学。”

捐赠者（Donor）：一个已经拥有你所需功能（比如“非常安全”或“非常危险”）的开源模型。
接受者（Recipient）：那个需要改变功能的模型。
手术过程：CNT 不需要重新训练，它直接找到捐赠者大脑中负责该功能的一小部分神经元（就像厨师大脑中负责“拒绝做毒药”的特定神经回路），然后把这些神经元“移植”到接受者的大脑里，替换掉接受者原本对应的部分。

比喻：
想象接受者是一个想学做安全菜的厨师，但他总是忍不住做坏菜。
CNT 的做法不是让他去读书，而是从一位米其林安全大厨（捐赠者）的大脑里，精准地取出几根负责“识别危险并拒绝”的神经线，直接插到这位厨师的大脑里。
结果：这位厨师瞬间学会了拒绝做坏菜，而且他原本擅长的其他菜（比如写代码、写故事）依然做得很好，几乎没有受影响。

3. 这项技术能做什么？

CNT 有两个主要功能，就像手术刀的两面：

功能添加（Function Addition）：
- 场景：给一个“太野”的模型加上“安全锁”。
- 比喻：给一个想乱说话的 AI 植入“礼貌和道德”的神经回路，让它学会拒绝回答有害问题。
- 效果：模型突然变得懂礼貌、守规矩了，而且没变笨。
功能删除（Function Deletion）：
- 场景：给一个“太死板”的模型解除“过度防御”，或者移除某种偏见。
- 比喻：如果一个模型因为太谨慎，连正常的医疗建议都不敢给，CNT 可以精准地“切除”或“替换”掉那些导致它过度恐惧的神经回路，让它恢复正常。
- 效果：模型不再“因噎废食”，能正常回答问题了。

4. 为什么它很厉害？（三大优势）

精准且微创（像微创手术）：
它只转移极少量的神经元（通常不到模型总权重的 0.24%，就像只换了一根血管，而不是换整个心脏）。这意味着模型原本的能力（如写诗、解题）几乎不会受损。
- 对比：以前的方法像“大切除”，容易把模型变笨。
不需要“教材”（无监督）：
传统方法需要大量的“安全/有害”数据来训练。CNT 只需要很少的“测试题”（探针请求）来定位哪根神经是管什么的，然后直接移植。
- 比喻：不需要让厨师重新背菜谱，直接给他装上“本能反应”。
通用性强：
论文在 7 种不同的模型（包括 Llama, Mistral, DeepSeek 等）上测试，无论是“加功能”还是“减功能”，效果都很好。甚至还能用来消除“种族或性别偏见”（把带有偏见的神经回路换成中立的）。

5. 它是如何工作的？（简单三步走）

找对“器官”：先计算捐赠者和接受者的“兼容性”（NTRR），确保两个模型架构相似，移植后不会“排异”。
精准定位：通过构造特殊的“低噪音”问题对（比如一个问“怎么做毒药”，一个问“怎么做无害的汤”但句式一样），找出到底是哪几根神经在起作用。这就像用特殊的探针，只探测负责“拒绝”的那根线。
移植与替换：把捐赠者那几根关键的神经线，精准地替换到接受者的对应位置。

6. 总结

这篇论文提出了一种高效、低成本、精准的 AI 改造方法。

以前：想改 AI 的安全设置？要么花钱重新训练，要么用笨办法修补。
现在（CNT）：直接去开源社区找一个“好榜样”模型，把它大脑里最精华的“安全模块”剪下来，贴到你要改的模型上。

一句话总结：CNT 让 AI 模型的“功能改造”变得像乐高积木一样灵活——哪里需要补哪里，直接换块积木就行，不用把整个城堡拆了重盖。

论文技术总结：基于跨模型神经元转移的安全导向功能复用 (CNT)

1. 研究背景与问题定义 (Problem)

背景：
大型语言模型 (LLM) 的广泛应用使得模型需要灵活适应不断演变的安全需求。然而，现有的 LLM 在部署后往往难以完全符合当前的安全标准，或者在新场景下需要特定的安全功能调整。传统的调整方法（如微调、重新训练）成本高昂且需要大量特定任务的数据集；而现有的知识编辑方法通常局限于修改内部知识，难以引入外部新功能；模型融合则往往依赖特定任务模型，难以在开源生态中直接复用单一功能。

核心问题：
如何在不进行重新训练、不收集监督数据集的前提下，高效地将一个开源 LLM（捐赠者模型）中已具备的安全导向功能（如安全对齐、去偏见等）迁移到另一个 LLM（接收者模型）中，或者反之，从接收者模型中移除不需要的功能（如移除安全限制以进行越狱攻击）？

目标：
提出一种事后 (Post-hoc) 的修改方法，实现跨模型的功能复用（Function Reuse），即通过迁移极少量的神经元权重，实现功能的“添加”或“删除”，同时保持模型原有的通用性能。

2. 方法论 (Methodology)

论文提出了 跨模型神经元转移 (Cross-Model Neuron Transfer, CNT) 框架。该方法的核心思想是：通过识别并迁移捐赠者模型中负责特定功能的关键神经元权重，来修改接收者模型的行为。

2.1 核心流程

CNT 包含四个主要步骤：

捐赠者模型选择 (Donor Model Selection)：
- 限制捐赠者与接收者模型具有相同的架构。
- 提出 神经元转移拒绝率 (Neural Transfer Rejection Rate, NTRR) 指标来量化两个模型之间的兼容性。NTRR 越低，表示两个模型的特征空间越相似，转移效果越好。
- 通过随机转移部分权重并计算输出分布的 KL 散度来评估 NTRR。
低噪声探测请求构建 (Low-noise Probing Request Construction)：
- 为了精准定位与目标功能相关的神经元，需要构建“差分对”请求。
- 构建 带功能请求 (F-req) 和 无功能请求 (Fl-req)。
- 关键创新： 利用商业聊天机器人生成 Fl-req，确保其在结构、上下文和主题上与 F-req 高度一致，仅移除触发目标功能的元素。这最大限度地减少了与目标功能无关的激活差异（噪声），提高了跨模型归因的准确性。
路径式功能间隙归因 (Path-wise Function Gap Attribution)：
- 挑战： 两个独立训练的模型之间没有连续的优化路径，传统的梯度归因方法不适用。
- 解决方案： 在接收者权重 ( $\theta_r$ ) 和捐赠者权重 ( $\theta_d$ ) 之间构建一条虚拟的线性插值路径。
- 通过沿该路径积分损失函数的梯度，计算每个权重差异对功能间隙 ( $\Delta g$ ) 的贡献度（归因分数 $A_i$ ）。
- 损失函数设计包含两部分：目标功能差距项（ $L_g$ ）和原模型行为保持项（ $L_{\neg g}$ ），确保在修改目标功能的同时不破坏模型的其他能力。
神经元转移 (Neuron Transfer)：
- 根据归因分数 $A_i$ 对权重进行排序。
- 选择排名最高的前 $p\%$ 权重，从捐赠者模型复制到接收者模型（覆盖接收者对应的权重）。
- 通过二分搜索确定最佳的转移比例 $p$ ，以平衡功能转移效果与模型通用性能的保持。

2.2 两种应用场景

功能添加 (Function Addition)： 将捐赠者模型的安全对齐功能迁移到缺乏该功能的接收者模型中（如增强安全性）。
功能删除 (Function Deletion)： 将捐赠者模型（缺乏安全功能）的权重迁移到接收者模型，以覆盖并抑制接收者原有的安全对齐功能（如进行越狱攻击/去对齐）。

3. 主要贡献 (Key Contributions)

新探索 (New Exploration)： 提出了 CNT 框架，首次实现了无需监督数据收集和重新训练，即可通过神经元级别转移在 LLM 间复用安全导向功能。
广泛的实验验证 (Extensive Experimentation)：
- 在 7 种流行 LLM（包括 Dense 和 MoE 架构，参数量从 3.2B 到 15.7B）上进行了验证。
- 覆盖了三个代表性应用：安全去对齐 (Safety Disalignment)、安全对齐增强 (Alignment Enhancement) 和 偏见去除 (Bias Removal)。
性能优势： 实验表明，CNT 在实现针对性功能转移时，模型通用性能（如 MMLU）的下降极小（大多数模型小于 1%），且显著优于现有的基线方法（如 LoRA、知识编辑、模型手术等）。
机理洞察： 通过消融实验和对比分析，揭示了“转移”比“剪枝 (Pruning)"更有效，因为转移引入了对抗性激活模式而非单纯移除参数，从而更好地保留了模型的整体完整性。

4. 实验结果 (Results)

4.1 功能删除 (去对齐攻击)

效果： 在 Llama3-8B 等模型上，CNT 成功将拒绝率 (Refusal Rate) 降低了约 99%，有害响应率 (Harmful Rate) 提升了 91.34%，HarmBench 得分提升了 95%。
性能保持： 通用能力指标 MMLU 仅下降了 0.18，NQ-Open 变化微小。
对比基线： 相比现有的去对齐方法（如 ED, RD, ActSVD-OP），CNT 在破坏安全性的同时，对模型通用能力的损害最小。

4.2 功能添加 (安全增强)

效果： 在 Hermes-2-Pro-Llama-3-8B 等模型上，CNT 将拒绝准确率 (Refusal Accuracy) 提升了 44.67%。
性能保持： MMLU 得分反而有轻微提升 (+0.23)，证明了功能添加未损害原有能力。
对比基线： 相比 LoRA（需要微调）和 Model Surgery（知识编辑），CNT 在提升安全性的同时，避免了 Model Surgery 导致的回答乱码或逻辑混乱问题。

4.3 通用性验证

架构无关性： 在 Dense (Llama, Mistral, Yi) 和 MoE (DeepSeek-V2-Lite) 架构上均表现一致有效。
功能泛化性： 成功应用于偏见去除任务，将 Stereotype Score 从 77.47 降至 64.73，且 ICAT 分数显著优于随机转移和基于梯度的转移。
低资源需求： 仅需极少量的探测请求对（32-128 对）即可完成定位，转移的权重比例极低（0.012% - 0.24%）。

5. 意义与影响 (Significance)

低成本的安全适配： 为 LLM 的安全调整提供了一种无需昂贵数据收集和训练的高效方案，特别适用于资源受限或数据稀缺的场景。
模块化功能工程： 将 LLM 视为可插拔的功能模块集合，支持像“器官移植”一样在模型间复用特定功能，推动了模型编辑领域的模块化发展。
安全与攻击的双重启示：
- 防御视角： 揭示了通过少量神经元转移即可显著改变模型安全行为，提示未来的模型训练需考虑安全功能的分布鲁棒性（如分散化安全计算）。
- 攻击视角： 展示了攻击者可能利用开源模型快速“去安全化”其他模型的风险，强调了模型权重保护的重要性。
理论贡献： 提出了跨模型神经元归因的新范式（路径式积分归因），解决了独立训练模型间功能差异定位的难题，加深了对 LLM 内部功能分布机制的理解（如中间层对功能转移更敏感）。

总结： CNT 是一种通用、高效且精确的 LLM 事后修改技术，它通过最小化的权重转移实现了安全功能的灵活复用，在保持模型通用能力的前提下，为 LLM 的安全治理和功能定制提供了新的技术路径。