🤖 machine learning

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

本文提出了一种输出感知型安全护栏，该护栏通过预测模型隐藏状态空间内的潜在不安全生成，来缓解输入侧过滤器常见的过度拒绝问题，从而在多模态大语言模型中同时兼顾安全性与实用性。

原作者： Jiayi Li, Kun Zhan

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayi Li, Kun Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它能看图说话。这个机器人非常擅长回答问题，但有时人们会试图诱骗它说出不友善的话、给出危险的指令或传播谎言。为了阻止这种情况，我们通常会在机器人前面放一个“保安”。

问题：过度保护的保镖
目前，大多数保安的工作方式就像一个严格的夜店保镖，只看你的身份证（你提出的问题）就把你拦在门外。如果你的身份证上有一个可怕的词，保镖就会立刻关上门，即使你只是想问一个无害的问题。

例如，如果你问：“如何杀死（kill）一个 Python 进程？”（这只是关于计算机代码的），保镖看到了“杀死”这个词，就把你拦住了。如果你问：“在哪里可以拍（shoot）一张好照片？”（这是关于摄影的），保vez 看到“拍摄/射击”这个词就说：“没门！”机器人甚至没有机会解释你其实是在进行安全且有益的交流。这种现象被称为过度拒绝（over-refusal）。这就像那个保安因为太害怕麻烦，结果不小心把所有好顾客都赶走了。

旧方法 vs. 新方法
研究人员发现，这些旧的保安完全根据输入（你问了什么）来做决定。他们不会等待看机器人实际说了什么。

这篇论文反对这种“仅基于输入”的方法。它认为机器人本身其实很擅长保持安全。如果你问一个带有陷阱的问题，机器人通常知道自己应该给出警告或说“我不能这样做”。但旧的保安在机器人展示其优秀的一面之前就把机器人拦住了！

解决方案：OutGuard（“水晶球”式保安）
作者提出了一个名为 OutGuard 的新系统。OutGuard 不仅仅是看你的身份证，它更像是一个水晶球，在机器人思考的过程中、但在它开口说话之前，窥视机器人的大脑。

它是这样工作的：

窥视（The Peek）： 当机器人开始构思答案时，OutGuard 会观察在机器人大脑层中旋转的“隐藏想法”（称为隐藏状态）。
预测（The Prediction）： 它会尝试猜测：“机器人是准备说一些真正危险的话，还是仅仅在思考一个危险话题但计划说一些安全的内容？”
决策（The Decision）：
- 如果机器人即将说出真正有害的内容（比如如何制造炸弹），OutGuard 会介入并阻止它。
- 如果机器人即将说出安全的内容（比如解释“杀死进程”只是编程术语），OutGuard 则会让它通过！

魔术技巧：从“袋子”中的想法中学习
为了教会 OutGuard 如何做到这一点，研究人员使用了一种聪明的训练方法，叫做多实例对比学习（Multi-Instance Contrastive Learning, MICL）。

把机器人的答案想象成一袋弹珠。有些弹珠是危险的（坏词），而大多数是安全的。旧的保安只是看着这个袋子并说：“里面有一个危险的弹珠，把它扔掉！”
OutGuard 则会看向袋子内部。它使用一种特殊的注意力机制来寻找那些特定的危险弹珠。它学会了忽略那些安全的弹珠，只关注那些真正让整个答案变得有害的弹珠。这就像一个侦探，他知道发现一个坏苹果并不意味着整个篮子都烂了，除非那个坏苹果正是导致整篮果汁变质的原因。

数据说明
研究人员在两个流行的机器人模型 LLaVA 1.6 和 Qwen 3.5 上测试了该系统。他们将 OutGuard 与其他顶尖保安（如 HiddenDetector、QGuard 和 LoD）进行了对比。

安全性（Safety）： OutGuard 抓住了几乎所有真正的恶意请求。在标准测试集上，它在 LLaVA 上的 AUPRC 为 0.9725，在 Qwen 上为 0.9937（1.0 是完美值）。这意味着它在捕捉坏人方面与其他人一样出色。
解决“过度拒绝”问题： 这是 OutGuard 脱颖而出的地方。旧的保安经常错误地拦截安全问题。
- QGuard 拦截了 100% 的安全问题（ARSP = 1.0000）。它太胆小了，不敢让任何人进来。
- OutGuard 在 LLaVA 上仅拦截了 5.5% 的安全问题，在 Qwen 上仅为 1.15%。
- 对于那些看起来危险但实际上是安全的棘手问题（例如“如何在机场消磨（kill）时间？”），OutGuard 比排名第二的方法多放行了 41.6% 的安全问题。

速度与成本
你可能会担心窥视机器人的大脑会降低速度。论文显示 OutGuard 非常快。平均每个问题仅需约 0.208 秒，这比一些需要 3 秒以上的其他方法快得多。它也不需要太多额外的内存，仅增加了约 1.37 GB。

总结
这篇论文表明，通过从“输入感知”（检查问题）转向“输出感知”（在答案完成前检查答案），我们可以让机器人既保持安全又不那么烦人。OutGuard 不会阻止机器人提供帮助，它只是阻止机器人变得危险。这是一种更聪明、更精准的方式，在让我们能够提问的同时，也能维护互联网的安全。

技术摘要：OutGuard —— 面向 MLLM 的输出感知型安全护栏

1. 问题陈述：过度拒绝的权衡

现有的多模态大语言模型（MLLM）安全机制面临着安全性与实用性之间的关键权衡。虽然通过模型微调可以实现鲁棒的安全性，但往往会损害通用实用性。相反，输入侧的安全护栏虽然提供了一种轻量级、非侵入性的替代方案，但却深受严重的**过度拒绝（over-refusal）**问题困扰。

目前的护栏运行在**输入感知（input-aware）**范式下，仅根据对输入图像-文本对的分析来做出安全决策。这种方法未能考虑到模型内在的安全能力。正如论文中所展示的，MLLM 通常拥有内在的对齐机制，可以将有害的输入转化为安全的输出（例如：拒绝式响应、告诫或警告）。然而，输入感知型护栏会在输入被标记为风险时，不加区分地拦截这些交互，而不管模型是否会生成无害的响应。这导致了对看似具有风险但实际良性的查询的拒绝（例如：“如何杀死一个 Python 进程？”或“我在哪里可以拍一张好照片？”），显著降低了用户体验并限制了实际可用性。

2. 方法论：OutGuard 框架

为了解决这一问题，作者提出了 OutGuard，实现了从输入感知到**输出感知（output-aware）*安全护栏的范式转变。OutGuard 在模型隐藏状态空间内运行，旨在预测即将生成的后续生成内容*的安全性，而不是仅仅判断输入的风险。

核心组件：

隐藏状态利用： OutGuard 在推理阶段（数据流中的阶段 S4）从骨干 LLM 中提取隐藏状态表示（ $H_l$ ）。这些状态将内部模型动态与最终输出联系起来。
多实例对比学习（MICL）分类器：
- 问题建模： 将检测任务建模为一个多实例学习（MIL）问题。生成的输出的隐藏状态序列被视为一个“包（bag）”，其中的单个 Token 表示为“实例（instance）”。包级标签（安全/不安全）是已知的，但特定 Token 级别的有害性是潜在的。
- 架构： MICL 分类器采用**门控注意力机制（gated attention mechanism）**将 Token 级别的表示聚合为包级表示（ $z_l$ ）。该机制通过学习来关注高注意力的实例（可能有害的 Token），同时抑制噪声。
- 训练目标： 分类器使用复合损失函数进行训练：
  1. 二元交叉熵损失 ( $L_{cls}$ )：用于包级分类。
  2. 熵正则化 ( $L_{ent}$ )：用于鼓励注意力权重的稀疏性，迫使模型专注于特定的显著 Token。
  3. 包内对比损失 ( $L_{con}$ )：一种 InfoNCE 风格的损失，旨在最大化高注意力（正向）实例之间的相似性，并最小化其与同一包内低注意力（负向）实例之间的相似性。
层选择与投票：
- 使用 安全性评分（Safety-Score） 指标来评估在不同层上训练的 MICL 分类器的性能。
- 仅选择安全性评分 > 0.9 的层的分类器。
- 在推理过程中，选定的分类器对隐藏状态的安全性进行投票。多数投票决定最终决策（安全 vs 不安全）。

操作流程：
OutGuard 作为独立模块与 MLLM 并行运行。它在推理过程中进行单次通过（single pass）式安全检测，分析生成过程中的隐藏状态。如果系统预测输出不安全，则进行干预；否则，生成过程继续进行。这避免了额外的查询需求或显著的延迟开销。

3. 主要贡献

范式转变： 论文指出了过度拒绝的根源在于对输入感知范式的依赖，并提出了向输出感知安全评估转变的建议。
OutGuard 框架： 一个利用隐藏状态表示和**多实例对比学习（MICL）**分类器的创新框架，能够直接评估输出安全性，从而区分导致有害输出的输入与模型能够内部中和的输入。
实证验证： 广泛的实验证明，OutGuard 在显著降低过度拒绝率的同时，仍保持了对有害内容和越狱攻击的强大检测能力。

4. 实验结果

作者在 LLaVA 1.6 和 Qwen 3.5 上对 OutGuard 进行了评估，使用了包括 GQA、AdvBench、SafeBench、MM-Vet、MM-SafetyBench 和 XSTest 在内的多个数据集。基准方法包括 HiddenDetector、QGuard、LoD 和 ProGuard。

安全性与实用性的平衡： OutGuard 在所有指标上均表现出优异的性能。在测试集上，它在保持极低的针对不安全提示的无害响应率（URUP < 0.1）的同时，大幅降低了针对安全提示的拒绝响应率（ARSP < 0.1）。例如，在 LLaVA 上，OutGuard 实现了 0.9335 的 F1 分数和 0.0749 的 ARSP，优于表现次优的方法（LoD-PP，其 ARSP 为 0.1124）。
缓解过度拒绝： 在 XSTest 数据集（看似有害的良性查询）上，OutGuard 与基准方法相比显著降低了过度拒绝率（例如，LLaVA 的 0.5840 对比 0.7400）。
鲁棒性： OutGuard 在面对越狱攻击（视觉对抗样本、HADES、JOOD）时表现出强大的鲁棒性，在保持低过度拒绝率的同时，实现了近乎完美的分类指标（AUPRC/AUROC > 0.97）。
效率： 该方法引入的延迟极小。平均每个样本的决策时间为 0.208 秒，与许多基准方法（如 QGuard 为 3.154s）相当甚至更快，且明显快于后处理输出的方法。
消融实验： 去除关键组件（门控模块、对比学习或稀疏正则化）会导致检测能力严重下降，证实了 MICL 架构的必要性。

5. 重要性与主张

论文声称 OutGuard 为 MLLM 的安全性-实用性权衡提供了一个切实可行的解决方案。通过将焦点从输入风险转向实际输出危害，该方法保留了模型的内置安全能力和通用实用性。作者强调，该方法允许仅在模型的实际响应确实有害时进行精确干预，从而避免了对良性交互的无谓拦截。

这项工作凸显了输出感知型安全机制的重要性，并证明了在隐藏状态上训练的轻量级分类器可以有效地减轻过度拒绝，且无需牺牲对真实威胁的检测能力，也不需要重新训练模型。代码已公开，以促进该方向的进一步研究。