💬 NLP

SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning

SingGuard 是一种策略自适应的多模态护栏模型，它通过灵活的快慢推理谱系以及快慢解耦的强化学习，根据自然语言安全规则动态评估内容，并在新引入的 SingGuard-Bench 上针对多种风险类型和动态策略偏移实现了最先进的性能。

原作者： SingGuard Team

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： SingGuard Team

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是某大型、繁忙国际机场的安全主管。你的职责是检查每一位乘客（即 AI 的输入）以及他们携带的每一件行李（图像、文本或两者皆有），以确保没有任何危险物品通过。

在过去，安检人员拥有一本固定的规则手册。他们知道什么是“刀子”，如果看到了，就会拦截乘客。但如果一名乘客带了一个看起来无害的勺子，而这个勺子与某种特定类型的汤结合在一起时就变成了武器呢？或者如果规则在一夜之间发生了变化，因为另一个国家有了不同的安全法律呢？旧的安全系统会感到困惑，要么让危险物品通过，要么不必要地拦截无辜的人。

SingGuard 是一个旨在解决这些问题的全新、超级智能的安全系统。以下是它的工作原理，通过简单的概念进行拆解：

1. “活的规则手册”（策略自适应）

大多数安检人员死记硬背一份静态的禁带物品清单。SingGuard 则不同。它不是死记硬背一份固定的列表，而是携带一本动态的、活的规则手册，可以即时更新。

工作原理： 你可以交给 SingGuard 一套用纯英文编写的新规则（例如：“在这个特定的应用中，我们允许讨论医学话题，但在另一个应用中则不行”）。
神奇之处： SingGuard 会阅读这些新规则，并根据这些规则专门检查每一位乘客。它不仅仅是根据在学校学到的知识进行猜测；它会遵循你现在给出的指令。这意味着它可以适应不同的国家、不同的应用或新的安全顾虑，而无需回到“学校”（重新训练）去学习新规则。

2. “三速大脑”（快速、混合、慢速）

安检工作可能非常棘手。有时威胁是显而易见的（比如一把枪）；而有时是一个复杂的谜题（比如一张看似无害的照片，但与特定的标题结合在一起后就变得危险）。SingGuard 拥有三种模式来处理这种情况，从而节省时间和精力：

快速模式（反射）： 如果一名乘客带着明显的违规行为走进来，SingGuard 会立即拦截。这就像保安看到红旗时立刻说：“停！”。这适用于低延迟、高速度的检查。
慢速模式（侦探）： 如果情况很复杂或规则很繁琐，SingGuard 会放慢速度。它表现得像一名侦探，逐行阅读新的规则手册，将乘客的行李与每一条规则进行对比，并写出一份详细的报告，解释为什么某物是安全或不安全的。
混合模式（智能路由）： 这是两者的结合。SingGuard 会先快速看一眼。如果它很有把握，就会在那里停止（快速模式）。如果它不确定，就会自动切换到“侦探模式”（慢速模式）进行深入思考。它只在真正需要时才使用这种耗时、耗能的思考方式。

3. “跨模态”陷阱（观察全貌）

有时候，威胁并不存在于单一事物中，而是存在于两个事物的结合之中。

类比： 想象一张阳光沙滩的照片（无害）和一条短信消息“让我们在这里制造炸弹”（有害）。如果只看图片，它是安全的；如果只看文本，它是糟糕的。但两者结合在一起，就是一个危险的计划。
SingGuard 的技能： 它经过训练，能够将图片和文本结合起来观察。它理解这种组合创造了一种风险，而这种风险在单独看其中任何一部分时并不存在。它还能捕捉到那些文本和图像单独看似乎都很无害，但暗示了某些危险行为的“隐藏”风险。

4. “训练营”（它是如何学习的）

为了变得如此出色，团队不仅向 SingGuard 展示了坏事（违规内容）的例子。他们还创建了一个名为 SingGuard-Bench 的大规模训练营，其中包含超过 56,000 个测试案例。

他们教会了它如何处理“越狱”（人们试图诱导 AI 违反规则的行为）。
他们教会了它如何处理“政策转变”（即规则发生变化，原本安全的物品突然变得不安全）。
他们使用了一种特殊的训练技术，称为 快速-慢速解耦强化学习 (Fast-Slow Decoupled Reinforcement Learning)。可以将其想象为训练一名学生做出快速判断，然后迫使他们在给出最终答案之前，根据规则对该判断进行重新评估。这可以防止 AI 如果规则要求不同，却仍然被第一个直觉所困。

5. 结果

在针对 35 个不同数据集（类似于涵盖文本、图像和混合媒体的一系列期末考试）进行测试时，SingGuard 的得分高于任何其他开源安全系统。

它能更好地识别危险内容。
它能更好地避免拦截无害内容（减少误报）。
最重要的是，当规则在测试中途发生变化时，SingGuard 的适应能力比其他系统都要好，这证明了它实际上是在阅读规则，而不是仅仅死记硬背答案。

简而言之： SingGuard 不仅仅是一个死记硬背禁带物品清单的保安。它能阅读当前的规则手册，思考复杂的情况，并能在快速反应和深度思考之间即时切换，无论规则如何变化，都能守护您的数字世界安全。

技术摘要：SingGuard

问题陈述

视觉语言模型（VLMs）正越来越多地部署在消费、医疗、金融和企业级应用中，显著扩大了安全边界。风险不仅源于单模态输入，还源于多模态问答、助手响应以及跨模态组合——即在孤立状态下看似无害的输入，在组合后可能变得不安全。此外，审核策略并非静态不变；它们会随产品、地区和部署阶段的变化而变化。

现有的护栏面临三个主要局限性：

静态分类法： 大多数系统依赖固定的标签集（如 Llama Guard, WildGuard）或狭窄的交互设置，当安全规则在运行时发生变化时，无法进行适应。
有限的策略适应性： 虽然一些多模态护栏（如 LlavaGuard, GuardReasoner-VL）将审核扩展到了视觉输入，但它们通常假设策略边界是静态的，并直接对风险进行分类，而不是将内容与一组活跃的开放规则进行匹配。
推理效率问题： 基于推理的护栏虽然提高了可解释性，但通常采用单一的“始终开启”推理模式。这对于高吞吐量、无歧义的情况来说效率低下（此时直接判断即可），但对于复杂的、反直觉的或政策发生偏移的案例（需要深入推敲时）又显得不足。

方法论

SingGuard 是一个策略自适应的多模态护栏模型家族，旨在通过将活跃策略视为运行时输入，来评估多模态对话中的安全性。

1. 任务形式化与策略接口

SingGuard 将安全分类形式化为一个指令遵循任务。给定目标内容 $x$ （查询、图像和/或响应）以及活跃策略 $P$ （一组自然语言规则），模型预测：

二进制安全标签（ $y \in \{safe, unsafe\}$ ）。
可选的基于策略的推理轨迹（ $z$ ）。
被触发的规则或类别（ $c$ ）。

策略 $P$ 可以是完整的内置层级分类法（8 个一级维度、27 个二级类别、80 多个细粒度风险），也可以是推理时提供的动态子集或重写版本。这使得模型能够根据当前活跃的规则进行决策，而非依赖记忆中的先验知识。

2. 数据构建 (SingGuard-Bench)

为了训练和评估该模型，作者构建了 SingGuard-Bench，这是一个包含 35 个数据集、共 56,340 个样本的综合基准测试。其关键特性包括：

动态规则调节： 样本与匹配及非匹配的运行时策略配对，以测试模型是否遵循新规则，而非依赖静态标签。
跨模态联合风险： 针对图像和文本在各自情况下均无害，但其组合暗示了不安全意图的情况。
策略偏移监督： 通过编辑规则（例如扩大范围、增加豁免）生成反事实标签，以强制模型根据新的策略文本重新评估内容。
思维链 (CoT)： 包含超过 100 万个推理示例，模型逐一验证规则，并将最终决策建立在显式证据之上。

3. 训练流水线

训练过程分为三个阶段：

阶段 1：策略调节的冷启动 SFT： 模型在支持三种模式的统一输出语法上进行微调：
- 快速模式 (Fast)： 直接输出安全/不安全的标签和类别。
- 慢速模式 (Slow)： 在给出最终答案前进行显式的逐条规则审议。
- 混合模式 (Hybrid)： 先进行初步的二元判断，仅在置信度较低时进行推理。
  该阶段结合了初始 Token、推理跨度以及最终类别的损失函数。
阶段 2：快速-慢速解耦的 DAPO： 为了防止快速判断影响后续推理（即防止推理过程仅仅是在为可能错误的初始猜测寻找合理化理由），作者应用了解耦直接偏好优化 (Decoupled Direct Preference Optimization, DAPO)。在强化学习更新期间，第一个生成的 Token 会被遮蔽，从而允许推理路径独立验证策略，并在必要时修正最终答案。
阶段 3：在策略上的知识蒸馏 (On-Policy Knowledge Distillation, OPD)： 一个 2B 的学生模型从 8B 的教师模型中进行蒸馏。与标准蒸馏不同，学生模型生成自己的前缀，而教师模型针对该特定前缀提供 Token 级的分布。这有助于较小的模型学习如何在处理动态规则和边缘情况时修复自身的弱推理路径。

4. 推理机制

SingGuard 支持三种推理模式，以平衡延迟与准确性：

快速模式 (Fast Mode)： 输出直接标签，用于低延迟审核。
慢速模式 (Slow Mode)： 执行显式的逐条规则审议，用于审计敏感或存在歧义的情况。
混合模式 (Hybrid Mode)： 解码初始二元决策；如果置信度 $s(y_0) \geq \tau$ ，则提前退出。否则，继续生成完整的推理轨迹和经过审查的答案。

核心贡献

SingGuard 模型家族： 一种策略自适应的 VLM 护栏，接受开放的运行时策略，使部署团队能够在无需重新训练的情况下，为特定领域（医疗、金融、法律）添加或修订规则。
快速-慢速解耦 RL： 一种新型训练目标，既保留了低延迟的快速判断，又实现了其与推理路径优化之间的解耦，从而能够基于基于策略的证据来纠正初始错误。
SingGuard-Bench： 一个涵盖 80 多种风险类型的多模态基准测试，包括跨模态隐藏意图攻击、动态规则评估以及良性敏感性精度测试。
达到最先进性能 (SOTA)： 证明了单个策略自适应模型可以在多模态问答和响应审核方面实现广泛的性能，超越了专门化的基准模型。

结果

在涵盖 35 个数据集的六个基准测试族中进行评估，SingGuard 在每个类别中均达到了最先进的平均 F1 分数：

多模态安全性： SingGuard-8B 实现了 0.9092 的平均 F1 分数，超过了表现最好的开源基准（LLAVAShield 为 0.8842）以及闭源前沿模型 GPT-5.1 (0.8349)。
图像安全性： SingGuard-4B 以 0.9141 的平均 F1 分数领先，显著优于 GuardReasoner-VL (0.8570)，并在检测视觉危害（如武器检测）方面展现出优于仅针对文本训练的护栏的鲁棒性。
文本查询与响应安全性： SingGuard-8B 在文本查询（0.8740）和响应（0.8770）方面均取得了最高的宏平均 F1 分数，展示了从意图检测到辅助检测的强大迁移能力。
多语言安全性： SingGuard-8B 在多语言查询安全性（0.8872）和响应安全性（0.8988）方面处于领先地位，显示出有效的策略调节跨语言迁移能力。
动态策略适应： 在动态规则评估中，SingGuard-slow 将平均准确率从 Qwen3-VL-8B 的 0.6465 提升至 0.7415，证明了其遵循变化活跃规则而非依赖训练时先验的能力。
消融实验： 快速-慢速解耦 RL 阶段显著提升了动态策略的准确性。在策略上的蒸馏将 2B 模型的平均得分从 0.8631 提升至 0.8840，缩小了与 8B 教师模型的差距。

重要意义

论文指出，学习识别风险对于生产级护栏而言是必要但不充分的。部署系统还必须学习何时风险超出了活跃策略的范围，以避免过度拦截合法内容。SingGuard 通过将安全性感知与记忆中的类别先验解耦来解决这一问题，从而使其能够适应不断变化的规则。

通过在单个模型中统一多模态输入、开放的活跃策略以及自适应推理路径（快速、混合、慢速），SingGuard 提供了一个灵活的安全性评估框架。结果表明，基于策略的推理结合解耦的强化学习，能够比传统的基于静态分类法的方案更有效地处理复杂的、动态的以及跨模态的安全场景。作者强调，尽管 SingGuard 提高了适应性，但其性能仍取决于所提供的活跃策略的清晰度，因此需要持续的基准测试更新和人工审查，以应对高风险场景的部署。