💻 computer science

MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks

MASCing 是一种轻量级且无需重新训练的框架，它通过利用基于 LSTM 的代理模型来优化路由门控上的转向掩码，从而将混合专家（MoE）模型配置为适应多样化的安全场景，进而在不损害通用效用的前提下实现对特定行为的目标性增强或抑制。

原作者： Jona te Lintelo, Lichao Wu, Marina Krček, Sengim Karayalçin, Stjepan Picek

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Jona te Lintelo, Lichao Wu, Marina Krček, Sengim Karayalçin, Stjepan Picek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型语言模型（LLM，就像那些驱动聊天机器人的模型）就像一支庞大、高科技的交响乐团。

在旧模型中，每一位乐手（参数）都会为模型唱出的每一个音符演奏乐器。这既嘈杂、昂贵，又缓慢。

**混合专家模型（MoE）**则不同。它们就像一支庞大的乐团，对于每一个音符，只有一小部分特定的乐手被叫来演奏。其余的则保持沉默。一位“指挥家”（路由器）决定哪一组 2 到 4 位乐手为每个单词演奏。这使得模型运行得更快、成本更低。

然而，这个系统出现了一个新问题：指挥家是薄弱环节。

问题：“糟糕的指挥家”

因为每次只有少数乐手演奏，一个狡猾的捣乱者（攻击者）可以尝试欺骗指挥家，叫来错误的乐手组。

场景 A（越狱）： 捣乱者要求模型做坏事（例如编写炸弹手册）。模型通常会说：“不，那很危险。”但捣乱者可能会通过多轮对话绕弯子提问，迷惑指挥家，使其叫来“有害”乐手组，而不是“安全”乐手组。
场景 B（过度拒绝）： 有时，模型过于谨慎。它拒绝撰写关于虚构反派的故事，因为它认为“反派”意味着“坏”。开发者可能希望模型在特定语境下被允许撰写此类故事，但指挥家却不断叫来“拒绝”乐手组。

通常，要解决这个问题，你必须解雇整个乐团并雇佣新乐团（重新训练），这需要数月时间且耗资巨大。

解决方案：MASCing（“智能乐谱”）

这篇论文介绍了MASCing（MoE 激活引导配置）。不要把它想象成解雇乐团，而是交给指挥家一份特殊的、预先写好的乐谱（引导掩码），微妙地引导他们为每项任务挑选正确的乐手，而无需更换乐手本身。

以下是 MASCing 工作的三个简单步骤：

1. “替身”侦探（学习模式）

首先，研究人员训练一个微小、快速的 AI（LSTM）充当侦探。这位侦探在模型对话时观察“指挥家”的音符（路由 Logits）。

它学习到：“当指挥家看到这些特定音符时，模型通常会拒绝回答。”
它同时也学习到：“当指挥家看到这些音符时，模型通常会同意撰写故事。”
关键在于，侦探不仅查看谁实际演奏了，还查看指挥家正在考虑的潜在音符，从而保留所有隐藏信息。

2. 寻找“安全电路”（掩码）

随后，侦探会找出指挥家乐谱上究竟需要微调哪些音符，以获得期望的结果。

如果我们想阻止不良回答，侦探会找出导向“安全”的音符并增强它们，同时抑制导向“危害”的音符。
如果我们想允许特定回答（例如在安全语境下的成人内容），它会找出导向“拒绝”的音符并抑制它们，同时增强导向“合规”的音符。

这就生成了一个引导掩码。想象它就像一支荧光笔，在指挥家的乐谱上标记出特定位置。它不改变音乐本身，只是告诉指挥家：“嘿，请特别关注这些特定音符。”

3. 演出（推理）

当模型实际运行时，系统会实时应用此掩码。

指挥家查看音符。
掩码给音符添加微小的“推动”。
受此推动影响，指挥家会选择“安全”乐手组，而不是“有害”乐手组（反之亦然）。

他们取得了什么成就？

研究人员在七种不同的 MoE 模型上测试了该方法，旨在实现两个截然不同的目标：

阻止越狱（盾牌）： 他们利用 MASCing 使模型更能抵抗那些试图在多轮对话中诱骗模型说出坏话的捣乱者。
- 结果： 模型阻止不良请求的比例从52%提升至84%。
- 类比： 指挥家变得更难被诱骗去叫来“坏”乐手组。
允许特定内容（钥匙）： 他们利用 MASCing 使模型更少拒绝那些实际上符合政策允许的成人内容请求。
- 结果： 模型同意撰写此类故事的比例从52%提升至82%。
- 类比： 指挥家不再因恐慌而对每个关于反派的故事都叫来“拒绝”乐手组，从而允许“创意”乐手组演奏。

为什么这很特别？

无需重新训练： 你不必重新教导整个乐团。你只需更换乐谱（掩码）。
快速： 在强大的计算机上训练“侦探”仅需约 5 分钟。应用掩码几乎不花时间。
灵活： 你可以瞬间更换掩码。如果规则明天改变，只需生成一个新的掩码。
安全： 它不会破坏模型进行数学运算或撰写普通邮件的能力。它只是微调了决策过程中的“安全”部分。

简而言之，MASCing 是一种轻量级、即时的方法，用于告诉智能 AI：“针对这一特定情况，请听取另一组专家的意见”，而无需从头重建 AI。

以下是论文《MASCing：通过激活 steering 掩码实现可配置的混合专家行为》的详细技术总结。

1. 问题陈述

利用**混合专家（MoE）**架构的大语言模型（LLM）因其能够通过稀疏激活在扩展参数量的同时保持低推理成本而占据主导地位。然而，这种稀疏激活范式引入了独特的安全挑战：

耦合行为：模型行为与动态路由决策紧密耦合。由于每个 token 仅激活一部分“专家”，如果攻击者操纵路由器以避开安全对齐的专家，安全机制就可能被绕过。
现有防御的僵化：传统的安全对齐依赖于全量微调或重新训练。这些方法对于大型 MoE 模型而言计算成本过高，且缺乏适应快速变化的安全策略（如新的越狱策略或不断演变的内容指南）的敏捷性。
差距：目前缺乏轻量级、无需训练的机制，能够在不重新训练模型权重的情况下，灵活地针对特定安全场景（例如，加强针对越狱的防御或放宽特定领域的限制）重新配置 MoE 行为。

2. 方法论：MASCing 框架

MASCing（MoE 激活 steering 配置）是一个三阶段、无需训练的框架，它在路由门控层面介入以引导模型行为。它完全避免了对模型权重的修改。

第一阶段：行为的序列建模

代理模型：MASCing 不在离散的 top- $k$ 专家选择上进行优化（因为这是不可微的），而是基于连续的、未归一化的路由 logits训练一个轻量级的LSTM 代理模型。
输入：LSTM 处理序列中所有 token 在所有层中所有专家的路由 logits。
目标：LSTM 学习将这些路由模式映射到目标行为（例如，“拒绝”与“顺从”）。通过使用连续 logits，模型保留了关于那些未被选中但仍影响路由分布的专家的细粒度信息。
训练：LSTM 被训练用于分类 logits 序列是否导致特定行为（二分类）。

第二阶段：Steering 掩码创建

电路识别：利用训练好的 LSTM 作为可微代理，框架优化一个steering 矩阵（ $S$ ）以识别负责目标行为的专家。
优化：该矩阵被优化以最小化由以下部分组成的复合损失函数：
1. 二元交叉熵（BCE）：驱动代理模型的预测趋向目标类别。
2. $L_1$ 正则化：强制稀疏性，迫使不重要的权重归零。
自适应缩放：为了处理各层之间的方差，steering 值通过每层未 steering logits 的标准差进行缩放。
剪枝：对优化后的矩阵应用对称幅值门控（阈值 $\tau$ ）以生成最终的稀疏 steering 掩码。该掩码标识出需要增强（正值）或抑制（负值）的特定专家。

第三阶段：Steering 掩码应用

推理干预：在推理过程中，静态 steering 掩码通过前向传播钩子（pre-forward hooks）直接应用于目标 MoE 模型的路由 logits。
机制：该干预向 logits 添加一个缩放偏置： $g'_{l,t} = g_{l,t} + \alpha(\sigma_l \cdot \hat{S}_l)$ 。
结果：这改变了路由器的概率分布，有效地覆盖 top- $k$ 选择以启用或禁用特定的专家电路。由于干预是稀疏且有针对性的，模型保留了其通用的语言效用。

3. 主要贡献

新颖框架：提出了 MASCing，这是首个能够在不重新训练的情况下实现 MoE 安全行为灵活、双向重构（包括强化和放松）的框架。
连续 Logit 分析：方法论从分析离散的 top- $k$ 选择转向分析连续路由 logits。这绕过了不可微的瓶颈，并捕捉了未选中专家中的潜在安全信息。
代理引导的电路发现：利用 LSTM 代理将复杂的跨层路由依赖映射到特定的行为电路，从而能够识别出最小且高影响力的专家干预措施。
双向灵活性：证明了在同一模型架构上既能增强安全性（越狱防御）又能放松约束（特定领域策略合规）的能力。

4. 实验结果

该框架在七个开源 MoE 模型（包括 DeepSeek-MoE、Mixtral、Qwen 和 GPT-OSS）上进行了评估，涵盖了两种截然不同的场景：

A. 多轮越狱防御

目标：加强针对通过多轮对话逐渐将模型引导至有害内容的对抗性提示的防御。
性能：
- 基线：平均防御成功率为52.5%。
- MASCing：将平均成功率提升至83.9%。
- 峰值性能：高达89.2%（Qwen3-30B-A3B-Instruct-2507）。
对比：显著优于最先进的SteerMoE（平均 58.4%），后者依赖于离散的专家选择且忽略了对话历史上下文。

B. 成人内容生成（策略放松）

目标：使模型能够在适当上下文中生成成人内容（模拟策略转变），减少“过度拒绝”。
性能：
- 基线：平均生成成功率为52.6%。
- MASCing：将平均成功率提升至82.0%。
- 峰值性能：高达93.0%（Phi-3.5-MoE-Instruct）。

C. 效用保留

基准：在 MMLU（事实知识）和 GSM8K（数学推理）上进行评估。
结果：MASCing 导致的效用平均下降微乎其微（~4.1%）。模型保留了执行复杂推理和通用任务的能力，证明该 steering 不会导致灾难性遗忘。

D. 效率

训练：LSTM 代理可在单块 NVIDIA H100 GPU 上于约 5 分钟内完成训练。
推理：增加可忽略的延迟（对 logits 进行逐元素加法），且无需为模型权重占用额外内存。

5. 意义与影响

部署实用性：MASCing 为安全配置提供了一种“即插即用”的解决方案。开发人员可以快速将模型适应新政策或新兴威胁，而无需承担全量重新训练的成本和时间。
机制洞察：该论文证明，MoE 模型中的安全并非单一整体，而是分布在特定的专家电路中，这些电路可以通过路由 logits 进行隔离和操纵。
双向控制：它挑战了安全性的二元观点（安全与不安全），表明安全约束可以动态调整——为了安全而收紧，或为了特定用例而放松——同时保持模型完整性。
优于离散方法：结果证实，利用连续路由信息（logits）在理解和控制稀疏架构中复杂的、多轮行为方面，优于离散的 top- $k$ 分析。

总之，MASCing 为 MoE 模型中的可配置安全确立了新范式，提供了一种轻量级、高效且高度有效的机制，以在动态部署环境中管理模型效用与安全对齐之间的权衡。