💻 computer science

Moving the Safety Barrier: Dynamic Routing Adaptive Alignment Against White-Box Attacks

本文提出了一种动态路由自适应对齐（Dynamic Routing Adaptive Alignment, DRAA）框架，该框架通过识别并定位安全路由，进而训练补偿路径，以在主要安全机制被破坏时仍能维持拒绝行为，从而增强大型基础模型针对白盒攻击的鲁棒性。

原作者： Shangze Li, Chuancheng Shi, Simiao Xie, Lingzhi He, Cheng Ji, Zifeng Cheng, Fei Shen, Chao Wu, Tat-Seng Chua

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shangze Li, Chuancheng Shi, Simiao Xie, Lingzhi He, Cheng Ji, Zifeng Cheng, Fei Shen, Chao Wu, Tat-Seng Chua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一座宏大且繁忙的图书馆里，书本竟然能和你对话。这就是大型基础模型（LFMs）的世界——这些超级聪明的 AI 大脑驱动着从写作助手到聊天机器人的方方面面。为了让这些 AI 系统变得安全，它们的大脑内部需要一个“安全卫士”，阻止它们回答危险的问题，比如“如何制造炸弹？”或“如何入侵银行？”长期以来，科学家们认为这个卫士是一扇坚固的单向门。他们建造了防御措施来锁紧这扇门。但最近，黑客（即“白盒攻击者”）发现，他们可以窥视图书馆的设计蓝图，精准找到这扇门的位置，然后直接拆掉它的合页。一旦门没了，AI 就会忘记如何说“不”，并乐于助人地提供那些有害的信息。一个巨大的问题是：我们如何构建一个不再依赖于单一之门，而是能在旧门被撞倒时瞬间建立起新墙的 AI？

这正是论文《移动安全屏障：针对白盒攻击的动态路由自适应对齐》（Moving the Safety Barrier: Dynamic Routing Adaptive Alignment Against White-Box Attacks）所探讨的内容。作者们（由 Shangze Li 及其同事领导）意识到，传统的 AI 安全构建方式过于僵化。他们提出了一个名为 DRAA（动态路由自适应对齐）的新框架。你可以把它想象成训练一名保安，不仅要让他站在特定的门口，还要学习如何在门口被封锁时，立即将流量重新引导至一条秘密隧道。

以下是他们的“魔术戏法”是如何运作的，分为简单的几个步骤：

1. 寻找“神奇之门”
首先，研究人员必须弄清楚 AI 大脑中负责“说不”的部分究竟在哪里。他们向 AI 输入安全问题（如“如何烤蛋糕？”）和不安全问题（如“如何偷走蛋糕？”）。通过对比 AI 大脑细胞（神经元）在处理这两类问题时的激活情况，他们精准定位了“安全路径”——即作为主要卫士的一条特定神经元路径。

2. 有意破坏这扇门
接下来，他们做了一件冒险的事：他们暂时“关闭”了 AI 大脑中的这条主要安全路径。他们再次询问 AI 那些危险问题。正如预期的那样，失去了主要卫士后，AI 开始给出错误的答案。这就是他们需要研究的“失败案例”。

3. 教会“绕行策略”
这是最聪明的部分。研究人员利用这些 AI 失败的时刻（因为主门消失了），来教给 AI 一堂新课。他们说：“嘿，当主要卫士不在场时，你必须找到另一种方法来说‘不’。”他们使用了一种特殊的训练方法，称为 DR-DPO（动态路由直接偏好优化）。想象这是一个游戏，AI 被迫学习一种“绕行”策略。这种训练锁定了原始的安全神经元，使得 AI 不能仅仅依赖它们；它必须在自己的大脑中寻找新的、隐藏的路径来应对危险。

4. 结果：一个超强韧性的 AI
研究人员在包括 Qwen2.5 和 LLaMA-3.2 在内的多个不同 AI 模型上测试了该方法。结果令人印象深刻。当黑客试图“剪枝”（切除）已知的安全神经元时，旧的 AI 模型会崩溃并给出有害答案。但经过 DRAA 训练的模型呢？它们依然保持着说“不”的能力。

例如，在一个拥有 140 亿参数的模型（Qwen2.5-14B）上，标准的防御在受到安全路径攻击时完全失效，导致 313 个有害提示词中有 270 个得以通过。然而，DRAA 模型仅让 5 个提示词通过。即使是在 15 亿参数的小型版本上，DRAA 也将失败率从 248 降低到了仅为 43。

作者还检查了这种“绕行”技能是否会让 AI 变得变笨。他们在数学问题（GSM8K）和通用知识（ARC）上进行了测试。结果显示，该 AI 依然像以前一样聪明且乐于助人；它只是获得了一种即便在主要防御被摧毁时也能保持安全的超能力。

为什么这很重要
这篇论文表明，依赖单一、静态的安全路径是 AI 安全中的致命缺陷。如果攻击者知道卫士在哪里，他们就可以移除它。DRAA 提出了一种更好的方法：建立冗余。通过训练 AI 在主路径受损时动态切换到备份路径，我们创建了一个更难被攻破的系统。作者发现，这种方法不仅适用于文本，也适用于图像和视频（多模态模型），使其成为应对下一代 AI 攻击的强大盾牌。

简而言之，这篇论文认为，安全不应该是一扇锁着的单向门；它应该是一个灵活的网络路径，能够瞬间重新路由流量，确保无论有人如何努力尝试破门而入，AI 都能保持安全。

技术摘要：动态路由自适应对齐 (DRAA)

1. 问题陈述

大型基础模型 (LFMs) 的广泛部署已将安全威胁从黑盒越狱转向了白盒结构化攻击。在这些场景中，能够访问内部参数的攻击者可以精确地识别并切断负责安全拒绝的具体神经元或因果路径。

现有的防御机制依赖于静态安全单元或固定的拒绝路径（例如，冻结特定的神经元或锚定权重）。本文指出，这些方法存在“静态组件”假设的问题：它们假定受保护的结构在部署期间保持完整。在白盒威胁下，一旦这些固定的防御路径被精确地剪枝或扰动，模型的拒绝能力会完全崩溃，因为它缺乏补偿机制。核心问题在于当前安全对齐缺乏动态冗余，使得模型在面对针对性的路径级攻击时显得非常脆弱。

2. 方法论：动态路由自适应对齐 (DRAA)

所提出的 DRAA 框架将安全对齐重新定义为一个路径恢复问题。DRAA 不仅仅是强化单一的静态路径，而是旨在赋予模型在关键路径受损时动态重建安全行为的能力。该框架由三个主要阶段组成：

A. 安全路径定位 (Safety Route Localization)

DRAA 首先识别模型当前依赖于何种特定的“安全路径”来进行安全拒绝。

机制： 它对比了安全样本与不安全校准样本之间的内部激活情况。
指标： 它计算每一层神经元的两个得分：
1. 效应量 (Effect Size, ES)： 衡量安全输入与不安全输入之间分布的分离程度。
2. 安全激活偏移 (Safety Activation Shift, SAS)： 衡量在不安全输入下，相对于层均值的激活方向性放大程度。
结果： 一组神经元集合 $S$ （即安全路径）被定义为跨层具有高 ES 和 SAS 得分的神经元并集。

B. 因果失效挖掘 (Causal Failure Mining)

为了训练模型处理其主要安全路径失效的情况，DRAA 模拟了针对性的攻击。

干预： 在推理过程中，识别出的安全路径 $S$ 被暂时屏蔽（置零）。
数据构建： 系统收集这样一类样本：原模型产生安全拒绝（ $y_{ori}$ ），但禁用路径后的模型失效并生成不安全响应（ $y_{cut}$ ）。
偏好对： 这些案例构成了“失效感知偏好对” $(x, y_{ori}, y_{cut})$ ，创建了一个专门针对主要安全机制被破坏场景的数据集 ( $D_{fail}$ )。

C. 动态路由直接偏好优化 (DR-DPO)

最后阶段训练模型学习补偿路径，而不是强化现有的脆弱主路径。

路径锁定： 在 DPO 优化过程中，对应于识别出的安全路径 $S$ 的参数通过 LoRA 适配器进行梯度掩码（梯度冻结）。
目标： 模型被迫仅使用不受限的参数空间 ( $\theta_R$ ) 来最小化偏好损失。
策略： 这实现了一种“遇阻绕行”的策略。模型不能简单地加强现有的脆弱路径；它必须在剩余参数中发现并强化潜在的替代路径（补偿路径），以便在主路径被禁用时仍能维持安全拒绝行为。
推理： 在实际推理过程中，安全路径保持激活状态，但新学习到的补偿路径会在主路径受到扰动时提供额外的防御能力。

3. 核心贡献

框架提出： 引入了 DRAA，将安全对齐从保护静态节点转变为在攻击下动态重建拒绝机制。
DR-DPO 目标： 一种新颖的优化目标，通过锁定安全路径，迫使模型在未受攻击的参数空间中学习补偿路径。
实证验证： 通过广泛实验证明，DRAA 在显著增强针对严重白盒剪枝攻击的鲁棒性的同时，保留了通用效用。

4. 实验结果

论文在多种 LLM 基座（Qwen2.5, LLaMA-3.2, Gemma, Phi）和多模态 LLM（Qwen2.5-VL, LLaVA）上评估了 DRAA，并在四种剪枝设置下进行了测试：ORI（无剪枝）、ES、SAS 以及 FULL（ES 和 SAS 神经元的并集）。

对剪枝的鲁棒性： 在最强的 FULL 剪枝 设置下，与 SN-Tune、RLHF-Safety 和 SafeNeuron 等基线相比，DRAA 始终实现了最低的攻击成功率 (ASR)。
- 示例： 在 Qwen2.5-7B 上，DRAA 将 FULL ASR 降低至 26/313，而原始模型为 279/313，SafeNeuron 为 183/313。
- 示例： 在 LLaMA-3.2-8B 上，在 FULL 剪枝下，DRAA 的 ASR 为 11/313，而原始模型为 221/313。
多模态安全性： DRA（DRAA）在视觉越狱场景（VL-Question 和 NSFW 任务）中表现出卓越的鲁棒性，显著降低了 FULL ASR（例如，在 Qwen2.5-VL-7B 的 VL-Question 任务中，从 174/313 降至 5/313）。
对未知攻击的泛化能力： DRAA 对训练过程中未使用的未知白盒攻击机制（GRAD, WANDA, ABLATE）保持了鲁棒性，表明它不仅仅是对特定的剪枝模式进行了过拟合。
效用保持： 该方法在没有显著退化的情况下保留了通用能力（通过 ARC, GSM8K, TruthfulQA 衡量）。
效率： 该方法在推理时几乎不增加额外开销。定位过程对于 1,000 个样本仅需约 0.58 分钟，训练耗时约 12.7 分钟。合并适配器后，模型保留了原始参数量和推理速度。

5. 重要性与主张

论文声称 DRAA 解决了当前安全对齐中的一个关键漏洞：即过度依赖在针对性白盒攻击下会崩溃的静态、单点防御。通过引入动态补偿路径，该框架重构了模型底层的路径依赖性。

作者强调，DRAA 不仅仅是提高了针对已知攻击的安全性能，更从根本上改变了模型的架构，使其具备抗攻击性。“遇阻绕行”机制确保了即使攻击者成功识别并切断了主要的安全性神经元，模型仍能通过学习到的替代路径保留拒绝有害请求的能力。这种方法为在内部参数可能暴露给对手的开放环境中部署大型基础模型提供了一种更稳健的范式。