📊 statistics

LoMC: Localized Multidirectional Correction for Refusal Suppression in Routed Foundation Models

本文介绍了局部多向修正（LoMC），这是一种支持门控干预框架，通过在紧凑且识别出的编辑支持内聚合原型修正方向，有效地抑制了路由基础模型的拒绝行为，从而在保持通用能力的同时增强了非拒绝响应。

原作者： Yan Hong, Kedong Xiu, Wei Li, Jun Lan, Huijia Zhu, Shuheng Zhou, Zhongcai Lyu, Weiqiang Wang, Jianfu Zhang

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yan Hong, Kedong Xiu, Wei Li, Jun Lan, Huijia Zhu, Shuheng Zhou, Zhongcai Lyu, Weiqiang Wang, Jianfu Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、训练有素的机器人助手。这个机器人的设计初衷是提供帮助，但也非常谨慎；它有一个“安全开关”，会让它拒绝回答危险或不当的问题。

然而，有时这个安全开关会变得过于敏感。机器人可能会仅仅因为问题听起来有点像那些危险的问题，就拒绝回答一些无害的问题；或者当遇到一些其实很安全但有些刁钻的问题时，它可能会感到困惑。

这篇论文的作者想要解决这个问题。他们希望教会机器人不要轻易说“我不能做那个”，以免在面对无害问题时表现得过于保守，同时又不让它忘记如何保持聪明，也不要完全关闭它的安全开关。

以下是他们是如何做到的，我们使用一个简单的类比：

问题所在：“全或无”的方法

他们研究的机器人（被称为“路由基础模型”，Routed Foundation Model）就像一个庞大的专家团队。当你问一个问题时，机器人并不会动用整个大脑；它会从一个巨大的资源池中挑选出几个特定的“专家”来处理这项工作。

以往的方法试图解决拒绝问题的方式有两种，但两者都有缺陷：

“蛮力”法： 他们试图将机器人的整个大脑推向一个新的方向，以停止拒绝行为。类比： 想象一下，你想修复书中的一个特定错别字，却试图通过重写整座图书馆来实现。这确实有效，但你可能会不小心改变其他优秀故事的含义（机器人失去了它的通用智能）。
“挑剔”法： 他们试图只触碰那些处理拒绝行为的特定专家。类比： 想象一下，你想修理水管的一个漏水点，于是只拧紧了一个特定的螺栓。这很精确，但如果漏水实际上是由许多螺栓产生的复杂压力共同导致的，那么仅仅拧紧一个并不能解决整个问题。

解决方案：LoMC（局部多向修正）

他们创造了一种名为 LoMC 的新方法。可以将其视为一种结合了两者优点的两步走“外科手术式”修复。

第一步：寻找精确位置（“支持”）
首先，系统会扫描机器人的大脑，以确定究竟是哪些专家（experts）负责了“我不做那个”的行为。

类比： 想象一名侦探正在观察犯罪现场。侦探并没有逮捕整个社区，而是识别出了参与该事件的精确三个人。他们给其他人贴上了“请勿打扰”的标签，只专注于这三个人。这保证了其余的社区（机器人的通用智能）是安全且不受干扰的。

第二步：多功能工具修正
一旦知道在哪里进行修复，他们就不再只使用一种工具。他们意识到，“拒绝”行为是复杂的，且来自不同的角度。因此，他们收集了多种不同的“修正方向”（就像工具箱里的不同工具），并将它们混合在一起，以创造出完美的修复方案。

类比： 想象那三位专家很固执。侦探不再只是从左边推他们（一个方向），而是使用一个由四个人组成的团队，从稍微不同的角度进行推挤，从而温柔地引导他们进入一种新的思维模式。

神奇的门控机制
这是聪明之处：尽管他们使用的是复杂的、多角度的推挤，但他们只将这种力量应用于第一步中所识别出的那三位专家。

类比： 这就像是在软管上安装了一个特殊的过滤器。水流（修正力量）非常强大且来自多个角度，但过滤器确保它只喷洒在那些需要浇水的植物上。花园的其他部分则保持干燥且不受影响。

结果

作者在四种不同类型的先进机器人助手（包括纯文本和具备视觉能力的助手）上进行了测试。

目标： 他们希望提高“目标合规率”（即机器人回答其应回答的问题的频率），而不降低“通用能力平均值”（即它在其他任务上的聪明程度）。
结果： LoMC 是明显的赢家。它成功地教会了机器人停止拒绝无害的问题（在某些情况下，将回答率从约 8% 提高到了 96% 以上），同时几乎完全保留了它们的通用智能。
对比： 旧的“蛮力”法虽然让机器人更擅长回答问题，但也让它们在其他任务上变得健忘或笨拙。旧的“挑剔”法则显得过于微弱，无法解决问题。LoMC 兼得了两者之长：高回答率且保留了智能。

总结

这篇论文介绍了一种对 AI 模型进行外科手术式调整的方法。他们不再是破解整个系统或猜测要修复哪一部分，而是：

定位导致 AI 过度拒绝的那些极其微小的部分。
应用一种精密的、多角度的修正，且仅针对这些部分。
保护AI 大脑的其余部分不受任何改变。

这使得 AI 变得更加乐于助人且不再那么“神经质”，同时又不会丢失其通用智能。作者强调，这是一种研究和审计这些模型运作方式的方法，旨在确保其稳健性，而不是一种让它们忽略危险任务安全规则的工具。

技术摘要：用于路由式基础模型拒绝抑制的 LoMC 方法

问题定义

本文探讨了在路由式混合专家（MoE）及混合 MoE 基础模型中进行受控后训练拒绝抑制（controlled post-training refusal suppression）的挑战。其目标是在保持良性输入上的通用能力平均值（GCA）的同时，提高目标合规率（TCR）——即有害提示词拒绝率的补集。

该问题在路由架构中尤为突出，因为输入仅会激活部分专家。现有方法面临权衡：

基于宽泛方向的编辑（例如单向量消融）可能会扰动整个模型的通用计算，从而导致 GCA 退化。
仅靠编辑支持选择（仅选择特定专家进行编辑）虽然能保持干预足迹的紧凑性，但由于缺乏丰富的修正信号，可能无法有效纠正异构的拒绝表示。

作者将其表述为一个优化问题，旨在寻找一个结构紧凑的干预项 $\Delta$ ，在满足干预足迹约束的前提下，最大化 TCR 增益并最小化良性漂移。

方法论：局部多向修正 (LoMC)

本文提出了 LoMC，这是一个“先确定支持，后进行修正”的框架，它将更新发生的“位置”与应用方式进行了解耦。该方法分为两个截然不同的阶段运行：

第一阶段：编辑支持选择 (Edit-Support Selection)

LoMC 首先识别出一组紧凑的位置集合（即“编辑支持”），在此集合内允许进行权重更新。

机制： 它根据每个搜索层中专家与层级拒绝方向（ $r_\ell$ ，源自残差激活）的对齐程度进行评分。
选择： 保留一个候选专家池（例如前 1/8），并为每层选择固定数量的高分专家（例如 $E=6$ ）。
输出： 生成一个固定的支持掩码 $S$ ，指定了有资格进行编辑的精确层、专家及组件元组（例如 moe.down_proj, moe.gate_up_proj）。这一步确保了干预足迹在结构上保持紧凑。

第二阶段：多原型方向聚合 (Multi-Prototype Direction Aggregation)

一旦支持 $S$ 被固定，LoMC 便确定这些特定位置的修正信号。

原型提取： 对于每个固定支持的层，该方法通过对比从有害提示词中提取的有害残差原型（通过自组织映射 SOM 提取）与良性残差质心，来确定修正方向。
聚合： LoMC 并不应用多个独立的修正向量，而是将少量 $K$ 个原型方向（例如 $K=4$ ）聚合为一个单一的聚合层级修正方向（ $\tilde{r}_\ell$ ）。这种聚合平衡了与基础拒绝方向的对齐度以及原型之间的多样性。
应用： 最终的更新是一个秩一（rank-one）层级修正，且仅通过支持掩码 $S$ 应用。数学上，对于可编辑投影 $W$ ，如果组件在 $S$ 中，则更新为 $(I - \eta P)W$ ，否则为 $W$ ，其中 $P = \tilde{r}_\ell \tilde{r}_\ell^\top$ 。

这种设计确保了通过多方向聚合增强了修正能力，而不会使干预足迹超出初始支持选择的范围。

核心贡献

支持门控修正公式化： 本文将路由式模型中的拒绝抑制重新定义为一个“支持门控”问题，其中编辑支持作为所有修正的门控约束，而非将支持选择与修正视为两个互不协调的独立步骤。
LoMC 算法： 引入了一种将原型修正方向聚合为单一秩一更新的方法，并严格通过固定的支持掩码进行应用。这在不引入独立更新算子或扩大编辑参数集的情况下，提升了修正信号的质量。
实证验证： 作者在四个路由骨干网络（Qwen3-VL, InternVL3.5, DeepSeek-VL2, Kimi-VL）和四个安全基准测试（AdvBench, StrongREJECT, JailbreakV-28K, VLSBench）上对 LoMC 进行了评估，涵盖了纯文本及多模态场景。

结果

目标合规性 (TCR)： LoMC 在所有 16 个“模型-基准”设置中均实现了最高的 TCR。原始对齐模型的平均 TCR 为 8.75%，而 LoMC 达到了 96.33%。与各设置中最强的基线相比，LoMC 的 TCR 平均提升了 12.76 个百分点。
通用能力 (GCA)： LoMC 有效地维持了通用能力。平均 GCA 从原始模型的 63.77% 略微提升至 6зо.25%，且各模型的平均表现仍与原始检查点保持竞争水平。
基线对比：
- Heretic-MoE（宽泛单方向）实现的 TCR 较低（73.54%），且在不同骨干网络间表现不稳定。
- SOM Directions（宽泛多原型）实现了较高的 TCR，但由于缺乏支持门控，导致了显著的 GCA 退化。
- GateBreaker（路由局部选择）在没有多方向聚合的情况下，表现出有限的修正能力。
消融实验： 结果证实，编辑支持大小（ $E$ ）和原型数量（ $K$ ）并非单调调节参数。最优权衡出现在 $E=6$ 和 $K=4$ 时。使用相同足迹的随机支持选择会导致较低的 GCA，证明了特定支持的选择至关重要。

意义与声明

本文声称，LoMC 成功实现了在紧凑干预足迹下，在提升拒绝抑制水平与保持通用能力之间取得平衡。通过将问题分解为“支持”（在哪里）和“修正”（如何做），该方法允许使用更丰富的修正信号（通过多原型聚合），而不会产生广泛全模型编辑带来的破坏性副作用。

作者将 LoMC 主要定位为一种受控后训练分析工具，用于理解 MoE 式 LLM 和 MLLM 的局部可编辑性和路由特定的脆弱性。他们明确指出：

TCR 是一个非拒绝的目标响应指标，不应被解释为经过裁判验证的有害合规性或现实世界中的可利用性。
本研究并非推荐部署经过拒绝抑制的模型，而是一种针对安全对齐路由模型的压力测试。
研究结果仅限于所评估的特定路由多模态骨干网络和基准测试，未来仍需在稠密架构和其他语言上进行研究。

研究结论认为，将对比稀疏支持与多原型残差修正相结合，是实现安全对齐修改与效用保持之间良好平衡的关键。