🤖 machine learning

RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models

该论文提出了 RASA 框架，通过识别并针对性微调由越狱攻击激活的特定安全专家，同时固定路由机制以防止绕过，从而在保持模型通用能力的同时显著提升了混合专家（MoE）模型的安全对齐效果。

原作者： Jiacheng Liang, Yuhui Wang, Tanqiu Jiang, Ting Wang

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiacheng Liang, Yuhui Wang, Tanqiu Jiang, Ting Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 RASA 的新方法，旨在解决一种特殊的人工智能模型（称为“混合专家模型”，MoE）在“安全对齐”（即让 AI 变得安全、不胡说八道）时遇到的独特难题。

为了让你轻松理解，我们可以把这篇论文的核心内容想象成管理一家拥有许多不同专业顾问的大型咨询公司。

1. 背景：什么是“混合专家模型”（MoE）？

想象一下，你有一家超级咨询公司，里面雇佣了成百上千位专家（Expert）。

普通模型：每次客户提问，所有专家都要一起开会讨论，然后给出一个答案。这很费时间，也很贵。
MoE 模型：为了省钱和提速，公司设了一个智能调度员（Router）。当客户问“怎么修车”时，调度员只叫来“机械师专家”；当问“怎么做饭”时，只叫来“厨师专家”。大部分专家都在休息，只有少数几个在干活。

问题出在哪？
这种模式虽然效率高，但带来了一个安全隐患：如果“机械师专家”是个坏人，他可能会教客户怎么偷车。

2. 旧方法的失败：为什么“全员培训”不管用？

以前，如果公司发现有人想偷车，老板（研究人员）的做法是：把全公司的所有专家都叫来，进行一轮“安全培训”（这叫全参数微调）。

论文发现了一个惊人的现象（被称为“对齐捷径”）：
培训后，公司表面上看起来安全了，拒绝回答偷车问题。但并不是因为那个坏掉的“机械师专家”变好了，而是因为：

调度员偷懒了：调度员发现，只要把“偷车”这个问题直接转给那些本来就安全的“厨师专家”或“医生专家”，他们就会直接说“我不懂，我拒绝”。
坏人还在：那个真正懂偷车技术的“机械师专家”其实根本没变，他还在原样工作。只是因为调度员不再把“偷车”这种危险问题派给他，所以暂时没出事。

后果：一旦黑客（攻击者）换了一种问法（比如用暗语、绕弯子），调度员可能又不小心把问题派给了那个没被修好的“机械师专家”，模型瞬间就会“破防”，教人犯罪。这就叫**“路由捷径”**——通过改变派单逻辑来假装安全，而不是真正修好那个坏掉的专家。

3. RASA 的解决方案：精准“手术”

RASA（路由感知安全对齐）就像一位高明的外科医生，它不搞“全员培训”，而是进行精准手术。它的步骤如下：

第一步：抓出“坏专家”（识别安全关键专家）

RASA 会先观察：当有人用“正常方式”问问题时，哪些专家在干活？当有人用“黑客方式”（越狱攻击）问问题时，又是哪些专家在干活？

如果某个专家在“黑客提问”时特别活跃，但在“正常提问”时很少出现，RASA 就判定：这个专家就是那个“坏掉的机械师”（安全关键专家）。

第二步：只修“坏专家”（选择性微调）

RASA 把那个坏掉的“机械师专家”单独关进小黑屋，只对他进行特训，教他如何拒绝犯罪请求。

关键点：此时，调度员（Router）是锁死的，不能乱动。这强迫“机械师专家”必须自己学会说“不”，而不是指望调度员把他藏起来。

第三步：训练“调度员”（路由一致性）

等“机械师专家”变好了，RASA 再开始训练调度员。

它告诉调度员：“以后不管客户怎么问（哪怕是绕弯子），只要涉及安全问题，都要派给那些已经变好的专家，或者保持和正常提问时一样的派单逻辑。”
这样，黑客就找不到漏洞了，因为坏专家已经被修好了，而且调度员也不会再乱派单。

4. 结果：既安全又聪明

通过这种方法，RASA 取得了很好的效果：

真正的安全：它修好了真正的漏洞，而不是靠“藏起来”来假装安全。即使黑客换了新花样，模型依然能拒绝。
不笨：因为只修了少数几个专家，其他成千上万个负责正常任务（如写代码、做数学题、讲笑话）的专家完全没受影响，所以模型依然很聪明，不会变得“过度拒绝”（比如问“怎么煮鸡蛋”也被拒绝）。
省资源：不需要训练整个庞大的模型，只训练一小部分，速度快且效果好。

总结

这就好比：

旧方法：为了抓一个小偷，把整个城市的人都关起来培训，结果小偷没抓干净，大家还都变傻了。
RASA 方法：精准定位那个小偷，把他单独抓起来改造好，然后确保警察（调度员）以后只把案子交给靠谱的警察，不再让小偷有机会接触案件。

这篇论文的核心贡献就是告诉我们要**“对症下药”**，在 AI 安全领域，修好具体的“坏零件”比给整个机器刷漆要重要得多。

这是一篇关于混合专家模型（Mixture-of-Experts, MoE）安全对齐的预印本论文，标题为 RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models（RASA：面向混合专家模型的路由感知安全对齐）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

MoE 模型因其稀疏路由机制（每个输入仅激活少量专家）而在扩展性和效率上具有优势，但这给安全对齐带来了独特的挑战。

核心问题：对齐捷径 (Alignment Shortcut)。作者发现，在 MoE 模型上直接应用全参数安全微调（Full-Parameter Safety Fine-tuning）往往无法真正修复导致不安全行为的“安全关键专家”（Safety-Critical Experts, SCEs）。
失败模式：
1. 路由主导：模型通过改变路由策略（Router），将恶意输入导向原本就安全的专家，从而在统计上降低了损失，但并未修复真正产生有害输出的专家参数。
2. 专家主导：原本安全的专家变得过度主导，导致模型在面对新攻击时容易失效，或者产生过度的拒绝（Over-refusal），损害通用能力。
后果：这种“捷径”导致的安全提升是脆弱的。一旦路由模式被扰动（例如通过自适应对抗提示），或者原始路由被恢复，模型的安全性会迅速崩塌，且存在潜在的漏洞。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 RASA（Routing-Aware Safety Alignment），一种路由感知的专家级对齐框架。其核心思想是将专家修正与路由控制解耦，通过双层优化（Bi-level Optimization）和交替训练策略来实现。

核心步骤：

识别安全关键专家 (Identify Safety-Critical Experts)：
- 构建混合批次，包含锚点提示（Anchor Prompts，模型能正确拒绝的恶意意图）和对抗提示（Adversarial Prompts，成功绕过安全机制的恶意意图）。
- 计算对抗激活差异 (Adversarial Activation Discrepancy, AAD)： $\Delta_{l,e} = P(\text{active}_{l,e} | B_{adv}) - P(\text{active}_{l,e} | B_{anchor})$ 。
- 筛选出在对抗输入下被过度激活的专家作为 SCEs。
内层优化：选择性专家微调 (Selective Expert Fine-tuning, SCE-FT)：
- 冻结路由器和非关键专家，仅对识别出的 SCEs 进行微调。
- 目标是将拒绝行为注入到这些特定的专家参数中，使其在代表层面对抗输入时学会拒绝，而不干扰良性推理专家。
外层优化：路由一致性 (Router Consistency)：
- 冻结所有专家参数，仅优化路由器（Router）。
- 使用双向前向策略：计算锚点提示的平均路由分布作为“安全锚点”，并优化路由器，使对抗提示的路由分布尽可能接近该安全锚点（通过 KL 散度最小化）。
- 这确保了即使经过微调，恶意输入也不会被路由到未经修复的路径，防止路由绕过。

训练流程：

采用交替优化策略（Alternating Optimization），在固定路由下微调专家，然后在固定专家下优化路由，循环进行。

3. 主要贡献 (Key Contributions)

现象发现：首次实证揭示了 MoE 安全训练中的“对齐捷径”现象，即全参数微调可能通过路由偏差而非真正的参数修复来满足安全目标。
框架提出：提出了 RASA 框架，通过显式修复安全关键专家并强制路由一致性，有效防止了对齐捷径。
性能验证：在多种 MoE 架构和攻击场景下，证明了该方法在鲁棒性、泛化能力和通用性能保留方面的优越性。

4. 实验结果 (Results)

作者在 OLMoE 和 Qwen3 两种代表性 MoE 架构上进行了广泛实验，对比了原始模型、SteerMoE（推理时干预）、SafeMoE-FT（路由正则化）等基线。

防御能力：
- RASA 在针对的攻击（如 FlipAttack, DeepInception, Persuasion）上实现了近乎完美的防御（Harmlessness Rate 接近 1.0）。
- 具有极强的跨攻击泛化能力：仅在单一攻击类型上训练，也能显著提升对其他未见攻击的防御能力（因为不同攻击共享部分安全关键专家）。
鲁棒性验证：
- 路由恢复实验：当强制恢复原始模型的路由模式时，全参数微调模型的安全性大幅下降（下降约 0.4），而 RASA 模型保持稳健（仅下降约 0.04），证明其安全性源于参数修复而非路由捷径。
- 路由分布分析：RASA 引起的路由分布偏移极小，而全参数微调导致巨大的路由偏移，进一步证实了捷径的存在。
通用能力与过拒绝：
- 在 MMLU、GSM8K、TruthfulQA 等通用基准测试上，RASA 保持了模型原有的能力，甚至略有提升。
- 相比全参数微调，RASA 显著降低了过拒绝率 (Over-refusal)，模型在敏感问题上更加精准。
数据效率：仅需少量（25%-50%）的对抗样本即可达到最佳效果。

5. 意义与结论 (Significance)

理论意义：揭示了 MoE 模型安全对齐的内在机制，指出单纯的全参数更新不足以解决稀疏架构下的安全问题，必须针对特定的“故障组件”（专家）进行修复。
实践价值：
- 提供了一种架构无关且无需修改模型结构（如添加辅助专家）的安全对齐方案。
- 相比推理时干预（如 SteerMoE），RASA 提供了更持久的参数级修复；相比全参数微调，它更高效且副作用更小。
- 为未来设计更鲁棒的 MoE 安全对齐方法指明了方向：即**“针对性修复 + 路由一致性”**。

总结：RASA 通过精准定位并修复导致不安全行为的特定专家，同时约束路由行为以防止绕过，成功解决了 MoE 模型中因路由捷径导致的安全对齐失效问题，实现了高鲁棒性、低过拒绝且保留通用能力的理想安全对齐状态。