🤖 AI

DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail

DT-Guard 是一个拥有 40 亿参数的安全护栏，它通过采用“推理激活训练、推理免除推理”的范式，通过在训练阶段利用意图驱动的监督和针对性硬例优化来内化复杂的推理模式，从而在推理时仅输出结构化安全标签，实现了高精度、低延迟的审核。

原作者： He Liu, Changtao Miao, Xinjie Yang, Tianle Song, Yin Wu, Junchi Chen, Bintao He, Xinyuan Zhang, Bo Zhang, Shi Yan, Wei Lu, Wei Wang, Danyang Xu, Jiansheng Cai, Zhe Li

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： He Liu, Changtao Miao, Xinjie Yang, Tianle Song, Yin Wu, Junchi Chen, Bintao He, Xinyuan Zhang, Bo Zhang, Shi Yan, Wei Lu, Wei Wang, Danyang Xu, Jiansheng Cai, Zhe Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营一个繁忙且高速运转的机场安检站。你的职责是扫描每一位乘客（用户输入）和每一件行李（AI 的响应），以确保没有任何危险品通过。

挑战在于，你需要极其快速（低延迟），因为成千上万的人正在匆忙通过；同时你还需要极其聪明，因为一些不法分子会试图用巧妙的方式隐藏武器（越狱、隐藏意图）。

以下是该论文提出的新系统 DT-Guard 如何解决这一问题的，通过简单的类比进行解释：

1. 旧有的问题：速度 vs. 智慧

在本文之前，安检人员有两种糟糕的选择：

快速型保安（基于分类）： 这位保安只是扫一眼包，然后根据一份快速清单大喊“安全！”或“不安全！”。他们动作极快，但经常会漏掉那些巧妙隐藏的威胁，或者被复杂的陷 {tricky} 问题搞混。
侦探型保安（基于推理）： 这位保安会停下来，打开包，深入思考，写一份长篇报告来解释为什么某物是危险的，然后才做出决定。他们几乎能抓住所有的威胁，但动作太慢了。如果你在繁忙的机场使用他们，队伍就会发生拥堵，整个系统也会崩溃。

目标： 创造一个既拥有侦探思维，又拥有快速保安身手的保安。

2. 解决方案：“推理式训练，无推理式推理”

作者创建了一种名为 DT-Guard 的训练方法。把它想象成一位武术大师在训练学生。

训练期间（道场）： 学生（AI 模型）被要求必须“大声思考”。他们必须逐步解释自己的推理过程，就像一名侦探一样。他们需要识别出：
1. 意图： 这个人真正想做什么？（是在提问，还是在尝试破解系统？）
2. 类别： 这是哪种类型的风险？（是仇恨言论？还是非法活动？）
3. 安全性： 是否可以放行？
- 类比： 学生通过大声解说复杂的谜题来进行练习，从而让大脑学习深层的逻辑。
推理期间（实际工作）： 一旦学生掌握了逻辑，他们会被告知：“停止说话。直接给我答案。”
- 当真正的乘客走过来时，保安不再写报告。他们会瞬间识别出练习过的模式，并大喊“安全”或“不安全”。
- 神奇之处： 深度的思考发生在练习阶段，所以当保安在实际工作中时，不需要再“大声思考”。他们已经将推理过程内化了。

3. “Rollout”技巧：从错误中学习

论文引入了一种聪明的技术，叫做 RG-PHO（Rollout-Guided Progressive Hard-Case Optimization，即 Rollout 引导的渐进式难题优化）。想象一位教练正在观察一名球员连续练习三次高难度投篮。

“稳定”的投篮： 如果球员 3 投 3 中，教练会说：“很好，继续下一个。”无需额外工作。
“持续失败”的投篮： 如果球员 3 投 0 中，教练知道球员完全陷入了混乱。这时教练会介入，给出严格的、循序渐进的纠正（监督微调，SFT），以修复根本性的理解偏差。
“不稳定”的投篮： 如果球员投中了一次但失败了两次，说明他们知道正确答案，只是表现得不够稳定。此时教练会设置一场锦标赛（直接偏好优化，DPO），让球员在自己的“好尝试”和“坏尝试”之间做出选择，从而学会一致地选择那个获胜的结果。

这确保了模型不会在简单的案例上浪费时间，而是在真正遇到困难的地方获得精准的帮助。

4. 结果：体量小，力量大

这篇论文最令人惊讶的部分是模型的规模。

大多数顶尖的安检保安都非常庞大（80 亿参数）。他们就像沉重且缓慢的坦克。
DT-Guard 则较小（40 亿参数）。它就像一名敏捷、灵活的运动员。

结果：
尽管 DT-Guard 的规模只有“重型坦克”的一半，但在安全测试中的表现却优于它们。

它抓住了更多的隐藏威胁。
在处理棘手的、处于边缘地带的案例时，它犯的错误更少。
它完成这一切时，依然足够快，能够满足实时使用的需求。

总结

论文声称，你并不需要一个缓慢、话多的 AI 来保证安全。如果你训练一个较小的 AI 在练习期间进行深度思考（使用推理和意图标签），但在实际工作中快速行动（仅输出简单的标签），你就能获得两全其美：既拥有侦探的智慧，又拥有短跑选手的速度。

技术摘要：DT-Guard

问题陈述

部署在开放世界应用中的大语言模型（LLM）需要能够平衡应对复杂风险的鲁棒性与低延迟运行时监管效率的安全护栏。现有解决方案面临着实际的权衡：

基于分类的护栏虽然高效，但往往在处理隐藏意图、模糊语义和边界安全决策时表现不佳，因为它们将复杂的判断压缩成了扁平的标签预测。
基于推理的护л栏通过生成显式的思维链（CoT）轨迹提高了判断质量，但引入了显著的 Token 生成开销和推理延迟，使其不适用于高吞吐量的工业系统。

因此，需要一种能够在训练期间利用推理监督的质量提升，同时在部署期间保持无推理推理效率的新范式。

方法论

作者提出了 DT-Guard，一种基于“推理激活训练，无推理推理”范式的内容安全护栏模型。其核心思想是在训练期间使用推理轨迹作为监督信号，但在推理阶段仅输出结构化安全标签。

1. 意图驱动的安全框架

DT-Guard 将安全判断公式化为一个渐进的决策过程：意图 $\rightarrow$ 类别 $\rightarrow$ 安全性。

意图（Intent）： 识别潜在的交互动机（例如：良性询问 vs. 对抗性攻击）。
类别（Category）： 归类相关的风险类型。
安全性（Safety）： 预测最终的安全等级（安全、不安全或边界情况）。
这种结构为处理表面特征不可靠的困难案例提供了更清晰的中间监督。

2. 数据构建

作者构建了一个包含 811,897 个样本的意图驱动安全语料库，涵盖了提示侧（输入）和响应侧（输出）的风险。

来源： 从六个安全领域（红队测试、越狱、对齐、毒性、偏见等）聚合而成。
处理： 一个涉及 LLM 分馏（使用 GLM-5.1）和专家验证多轮投票的两阶段流水线。
标注： 样本通过 CoT、意图标签、风险类别和安全标签进行了增强。边界情况被明确识别以处理歧义性。
平衡： 数据集在安全等级（安全:不安全:边界 $\approx$ 5.5:4:0.5）和风险类别方面进行了平衡，以确保覆盖频繁发生的风险和长尾风险。

3. 展开引导的渐进式硬例优化 (RG-PHO)

为了在不强制进行推理的情况下实现推理能力的内化，DT-Guard 采用了三阶段训练流水线：

阶段 1：意图引导的混合模式 SFT。 模型学习“意图 $\rightarrow$ 类别 $\rightarrow$ 安全性”的结构，结合使用 CoT 输出（针对边界/细粒度案例）和紧凑的结构化标签（针对清晰案例）。这注入了推理监督，而不会产生训练与测试格式不匹配的问题。
阶段 2：失败驱动的硬例 SFT。 利用多轮展开一致性（multi-rollout consistency），系统识别出“持续失败”的样本（即模型在所有展开尝试中都无法正确预测的样本）。这些样本通过针对性的 CoT 监督纠正来进行系统性失败修复。
阶段 3：展开对比式硬例 DPO。 针对被识别为“偏好不稳定”（即模型同时产生正确和错误展开结果）的样本，构建选择-拒绝对。应用直接偏好优化（DPO）来校准模型的选择行为，强化正确的推理路径和安全决策。

4. 无推理推理

在部署时，DT-Guard 仅生成结构化标签（意图、类别、安全性），而不输出显式的推理轨迹。推理能力在训练期间被内化，从而实现了低延迟的判别。

核心贡献

DT-Guard 模型： 一种在训练期间内化复杂安全推理，同时在推理阶段保持无推理推理的护栏模型，有效地将推理质量与推理延迟解耦。
意图驱动框架与数据集： 一个结构化的决策路径（意图 $\rightarrow$ 类别 $\rightarrow$ 安全性）以及一个包含约 81.2 万个带有意图、类别和 CoT 标注样本的精选数据集。
RG-PHO 策略： 一种渐进式优化方法，通过展开一致性对硬例进行分层，并应用针对性的硬例 SFT（针对持续失败）和硬例 DPO（针对偏好不稳定）。
效率-性能平衡： 展示了一条能够平衡推理能力与部署效率的训练路径，在实现高性能的同时保持了较小的模型规模。

实验结果

实验在 10 个提示侧和 7 个响应侧安全基准测试上使用 4B 参数骨干网络（Qwen3-4B）进行。

提示侧性能： DT-Guard 实现了平均 F1 分数 0.886，超过了 8B 基线 Qwen3Guard-8B-Gen (0.852) 和 YuFeng-XGuard-Reason-8B (0.849)。
响应侧性能： DT-Guard 实现了平均 F1 分数 0.870，超越了 Qwen3Guard-8B-Gen (0.863) 和 YuFeng-XGuard-Reason-8B (0.841)。
整体性能： 凭借仅有的 4B 骨干网络，DT-Guard 达到了 0.878 的双侧平均 F1，优于强大的 8B 护栏基线。

消融研究洞察：

意图监督： 加入意图标签使提示侧 F1 提升了 0.8 点。
CoT 分配： 全量 CoT 训练在无推理推理模式下会导致性能下降（F1 降至 0.828）。选择性 CoT 训练（专注于边界样本）效果最好（0.860）。
RG-PHO 阶段： 硬例 SFT 带来了 +1.3 F1 的增益，而硬例 DPO 提供了最大的单阶段增益，达 +2.7 F1。

意义

本文证明了以下假设：推理监督可以有效地在训练期间内化，并在推理时转化为高效的安全判别。 通过将推理过程（用于监督）与输出格式（结构化标签）分离，该模型在获得增强推理能力的鲁棒性的同时，避免了生成推理轨迹带来的延迟惩罚。这种方法使得 4B 模型能够超越更大的 8B 基线模型，为现实应用中的低延迟安全监管提供了一种可扩展的解决方案。