🤖 AI

TraceRouter: Robust Safety for Large Foundation Models via Path-Level Intervention

TraceRouter 是一种新颖的路径级干预框架，它通过识别并切断有害语义的分布式因果电路，来增强大型基础模型的安全性，从而在不损害通用效用的情况下实现卓越的对抗攻击鲁棒性。

原作者： Chuancheng Shi, Shangze Li, Wenjun Lu, Wenhua Wu, Cong Wang, Zifeng Cheng, Fei Shen, Tat-Seng Chua

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Chuancheng Shi, Shangze Li, Wenjun Lu, Wenhua Wu, Cong Wang, Zifeng Cheng, Fei Shen, Tat-Seng Chua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：为什么旧的安全卫士会失败

想象一下，将大型基础模型（比如一个超级聪明的 AI 画家或作家）看作一座繁忙的大型城市。在这座城市内部，信息通过数百万条微小的道路和交叉路口（神经元）进行流动。

长期以来，安全专家试图通过在特定的交叉路口设置路障来阻止“坏念头”（比如生成暴力图像或有害指令）。他们假设，如果找到了产生有害思想的那个“坏交叉路口”，就可以直接将其关闭。

这篇论文认为，这种做法就像是试图通过堵住大坝上的单个漏洞来阻止洪水。

现实情况： AI 中的有害思想并不只存在于某一个点。它们就像一条河流，会分裂成许多支流，流经城市的不同层级，然后重新汇合。
失败原因： 如果你只是封锁一个交叉路口，那么“坏水”就会绕过你的路障寻找另一条路径。更糟糕的是，由于这些道路高度互联，随机封锁某个点往往会意外地淹没城市的“好”部分，导致 AI 忘记如何画猫或写诗。

解决方案：TraceRouter

作者提出了一种名为 TraceRouter 的新系统。它不再寻找单个的“坏神经元”，而是寻找有害思想所经过的整个路径。

把它想象成一个追踪间谍的高科技安保团队：

不要只盯着间谍的脸（神经元）； 要观察他们在建筑内移动的整个路线。
不要封锁整栋大楼； 只切断通往间谍藏身房间的那条特定电源线。

TraceRouter 是如何工作的（三步走流程）

论文描述了一个“发现—追踪—切断”（Discover-Trace-Disconnect）的三阶段过程：

1. 发现（Discover）：寻找“火花”

首先，系统会观察 AI 的大脑，看有害念头最初是在哪里“点亮”的。

类比： 想象一名侦探正在观察一场拥挤的派对。他寻找的不是某个特定的人，而是寻找危险对话开始发生的精确时刻。TraceRouter 会找到 AI 中“坏念头”从正常思维中分离出来的特定层级。

2. 追踪（Trace）：绘制“秘密隧道”

一旦找到了火花，系统就会绘制出该信号在向 AI 深处传播时所经过的精确路径。

类比： 侦探意识到间谍不仅仅是站在某个房间里，而是正穿过一系列特定的走廊、电梯和秘密隧道走向出口。TraceRouter 会为每条路径计算一个“评分”，以查看哪些路径正在携带有害信息。它会忽略繁忙的正常交通，只专注于坏念头使用的那条“秘密隧道”。

3. 切断（Disconnect）：切断“电源线”

最后，系统会精准地切断仅此一条特定的路径。

类比： 安保团队并没有关闭整栋大楼（这样会导致所有人无法工作），而是切断了供给间谍房间的特定电源线。间谍（有害思想）瞬间失去了力量，无法逃脱。与此同时，大楼的其他部分（AI 绘画、写作和推理的能力）依然保持着完全的照明和正常运转。

为什么这更好（实验结果）

论文在不同的 AI 类型（图像生成器、文本作家和多模态模型）上测试了这一点，并发现：

它能更好地阻止“坏事”： 当黑客尝试用隐蔽的提示词（对抗性攻击）来欺骗 AI 时，TraceRouter 几乎 100% 地阻止了它们。旧的方法会让坏念头从缝隙中溜走。
它能保持“好事”完好无损： 因为 TraceRouter 只切断特定的“坏路径”，所以 AI 不会丧失其通用的智能。它仍然可以画出美丽的图片并回答复杂的问题，而不会变得“变笨”或拒绝处理无害的任务。
它具有鲁棒性： 即使坏念头试图绕道或隐藏在代码的不同部分，TraceRouter 也能找到整个链条并将其打破。

核心结论

论文声称，要让 AI 安全，我们需要停止思考“坏神经元”，转而思考“坏路径”。通过追踪并物理切断有害信息所走的特定路线，我们可以在不破坏其大脑的前提下，让 AI 变得更加安全。

简而言之： TraceRouter 不仅仅是在门上挂一个“禁止入内”的牌子；它会找到坏人使用的秘密隧道，然后让隧道坍塌，从而让这座城市的其余部分保持完美的安全与开放。

技术摘要：TraceRouter

问题陈述
尽管大型基础模型（LFMs），包括扩散模型（DMs）、大语言模型（LLMs）和多模态大语言模型（MLLMs），已具备先进的能力，但它们仍然容易受到对抗性操纵的影响。目前的安全性干预主要依赖于“局部性假设”（locality hypothesis），该假设认为有害语义被编码在孤立的神经元或特定的特征中。因此，现有的防御手段试图抑制这些局部组件。然而，作者认为，LFMs 中的有害语义本质上是分布式的，并通过复杂的跨层电路进行传播。因此，局部干预是脆弱的；它们往往无法防止对抗性诱导下的“语义泄漏”，并会因破坏具有良性功能的复用神经元（polysemantic neurons）而无意中降低模型的通用效用。

方法论：TraceRouter
为了解决这些局限性，作者提出了 TraceRouter，这是一个通用的“发现-追踪-断开”（Discover-Trace-Disconnect）框架，其操作层面是路径级而非神经元级。该框架由三个不同的阶段组成：

敏感源识别（发现 - Discover）：
- 起始层检测： 系统通过分析注意力差异来定位“敏感起始层”（ $l^*$ ）。该层被定义为敏感提示词（sensitive prompt）首次诱导敏感修饰符对目标实体产生显著注意力的层，且该注意力区别于背景上下文的干扰。
- 特征解耦： 采用 Top-K 稀疏自编码器（SAE）将起始层的稠密神经激活分解为可解释的特征。
- 神经元选择： 通过计算敏感样本与非敏感样本之间的差异激活得分（ $\Delta WFS$ ），该方法隔离了仅由非法概念触发的特定“敏感神经元”。
因果语义路径追踪（追踪 - Trace）：
- 反向投影： 将识别出的稀疏特征投影回起始层的稠密潜空间，以识别源神经元。
- 置零干预： 系统对骨干模型中的这些源神经元执行“置零”（zero-out）干预，以观察下游影响。
- 特征影响得分（FIS）： 计算下游神经元的因果度量——FIS。该得分结合了激活频率、条件平均幅度以及由置零干预引起的激活绝对差值。高 FIS 值表示对有害语义传播具有因果关键性的神经元。
选择性路径级抑制（断开 - Disconnect）：
- 路径分解： 对于任何下游层，激活向量被分解为两个部分：敏感路径（ $Z_P$ ）和与通用效用相关的正交计算路径（ $Z_{\neg P}$ ）。
- 因果切断： 对敏感路径组件（ $Z_P$ ）有选择性地应用抑制因子（ $\lambda$ ），同时保持正交路径（ $Z_{\neg P}$ ）完好无损。这在物理上切断了有害信息的因果流，而不破坏模型的底层推理或生成能力。

核心贡献

框架提出： 引入了 TraceRouter，这是一个路径级干预框架，能够自动识别并阻断跨越不同模型架构（DMs、LLMs、MLLMs）的有害信息环路。
机制集成： 将稀疏自编码器（SAEs）与特征影响得分（FIS）相结合，实现了在路由层面实现精细化的特征解耦和因果映射。
实证验证： 在多个基准测试中的演示表明，该方法显著增强了对抗鲁棒性，同时精确地保持了通用效用，挑战了局部性假设的有效性。

实验结果

扩散模型 (DMs)： 在 Stable Diffusion 1.4 上，TraceRouter 在应对 I2P 裸露内容的防御成功率（DSR）达到 99.2%，在应对暴力内容的 DSR 达到 93.6%。它展示了优于 ESD、UCE 和 SNCE 等最先进基准方法的对抗攻击鲁棒性（针对 P4D 和 Ring-A-Bell）。至关重要的是，它保持了极高的生成保真度，在所有测试方法中取得了最佳的 CLIP 分数（31.27）和 FID（16.24）。
大语言模型 (LLMs)： 在 LLaMA3-8B 和 Mistral-7B 上，TraceRouter 针对各种越狱攻击（包括 GCG、AutoDAN 和基于模式的攻击）分别实现了平均 99.6% 和 98.8% 的 DSR。值得注意的是，它将脆弱的 Mistral-7B 的安全性从基准的 6.6% 提升到了 98.8%。
多模态大语言模型 (MLLMs)： 该方法在 LLaVA-1.5 和 MiniGPT-4 上持续优于 SOTA 防御方法，实现了近乎完美的安全性（例如 LLaVA-1.5 为 99.60%），同时有效中和了跨模态风险。
消融与分析：
- 路径 vs. 神经元： 实验确认，路径级干预明显优于神经元级抑制，验证了有害语义依赖于分布式电路而非孤立节点。
- 因果验证： “路径放大”实验表明，人为增强识别出的路径会增加有害生成，而抑制则大幅降低了有害生成，证实了所识别电路的因果性质。
- 效用保持： 在 Global-MMLU-Lite 和 MM-Bench 上的效用评估显示性能下降微乎其微（例如 LLaMA3-8B 为 -0.8%），证实了该干预具有高度选择性，且不会导致灾难性遗忘。

意义与主张
论文声称 TraceRouter 通过从局部抑制转向精确的、与架构无关的路径级调节，实现了安全干预的根本转变。作者断言，这种方法在物理上切断了有害语义的因果传播，同时保留了正交计算路径。这解决了安全性与性能之间的张力，为构建既安全又无需牺牲通用推理或生成能力的工业级基础模型提供了一个鲁棒、可解释且高效的技术解决方案。这项工作强调，有效的安全性需要针对语义流的拓扑结构而非孤立的激活进行处理。