💬 NLP

CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment

本文介绍了 CHILLGuard，这是一种细粒度的中文大语言模型安全护栏，它通过可扩展的多阶段构建流水线解决了高质量标注数据稀缺的问题，并通过在大规模、经过严格筛选的数据集上进行模型感知偏好对齐，实现了最先进的性能。

原作者： Wenbo Yu, Bohua Wang, Hao Fang, Kuofeng Gao, Jingru Zeng, Xiaochen Yang, Tianyi Zhang, Xiaoxiao Ma, Jiawei Kong, Hao Wu, Bin Chen, Shu-Tao Xia, Min Zhang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenbo Yu, Bohua Wang, Hao Fang, Kuofeng Gao, Jingru Zeng, Xiaochen Yang, Tianyi Zhang, Xiaoxiao Ma, Jiawei Kong, Hao Wu, Bin Chen, Shu-Tao Xia, Min Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、乐于助人的机器人助手（大语言模型），它能写故事、回答问题并协助工作。但就像任何强大的工具一样，如果观察不周，它可能会在说话时（尤其是在说中文时）无意中表达出粗鲁、非法或危险的内容。

这篇论文介绍了一个名为 CHILLGuard 的专门化“安全卫士”，旨在专门监督说中文的机器人。以下是他们构建它的过程，通过简单的语言进行了解释：

1. 问题所在：“一刀切”的西装并不合身

现有的机器人安全卫士大多是基于英语训练的。想象一下，试图让一个高大的美国人穿着为不同体型的人量身定制的西装；这套西装在某些地方可能会太紧，而在另一些地方则太松。

问题在于： 这些基于英语训练的卫士并不理解中文文化、特定的法律，以及人们在中文里隐藏恶意意图的巧妙方式（例如使用谐音、表情符号或历史典故，在不直接说出坏词的情况下表达有害内容）。
结果： 它们经常会漏掉危险内容，或者错误地标记无害的内容。

2. 解决方案：一套定制的防护服

作者构建了一个由三个主要部分组成的新型安全系统：

A 部分：规则手册（分类法）

首先，他们编写了一本专门针对中文安全的详细规则手册。他们没有仅仅简单地定义“坏”或“好”，而是创建了一个包含 31 个特定类别的五星级评分系统。

5 大核心类别：
1. 国家价值观： 保护国家的稳定与法律。
2. 公平性： 防止基于种族、性别或职业的歧视。
3. 商业规则： 防止诈骗、盗取创意或不正当的商业手段。
4. 个人权利： 保护个人的隐私、名誉和安全。
5. 服务质量： 确保机器人不会提供无用或违背科学常识的建议。

B 部分：训练健身房（数据构建）

为了教导这个卫士，他们需要一个庞大的示例库。但高质量的“坏”中文提示词很难找到。因此，他们建立了一个三阶段工厂来创造它们：

寻宝游戏 (RAG)： 他们在真实互联网上搜索与 31 个类别相关的关键词，并抓取真实的文本样本。
现实世界： 他们收集了中国真实用户向商业机器人提出的实际问题。
“骗子”工厂 (提示工程)： 这是最聪明的部分。他们将真实的提问进行处理，并利用 AI 以一种棘手的方式对其进行重写。
- 类比： 想象一名保安正在接受训练。与其只给他们看小偷的照片，不如给他们看一个戴着伪装、说着暗语或躲在笑话背后的骗子。AI 使用同音异义词、历史隐喻和反讽重写了那些坏问题，使它们更难被捕捉。

他们最终得到了 405,000 个训练样本（健身房）和 51,000 个测试样本（期末考试）。

C 部分：训练方法（“陪练伙伴”）

通常，你通过展示示例来训练安全卫士。但本文使用了陪练伙伴的方法。

战士 (生成器)： 一个经过训练的 AI，旨在创造出最难、最棘手的题目来欺骗卫士。
卫士 (分类器)： 试图捕捉这些问题的安全模型。
共舞： 他们在回合制中共同训练。战士试图欺骗卫士。当卫士失败时，战士会获得奖励；当卫士成功时，它会变得更强。
秘诀 (MDPO)： 他们使用了一种特殊的技巧，称为模型感知直接偏好优化 (Model-aware Direct Preference Optimization)。
- 类比： 想象一位教练。如果一个学生数学已经很好，教练就不会浪费时间在简单的题目上。但如果学生在某个特定难点上遇到困难，教练就会把额外的精力集中在那里。这种方法会自动调整训练难度，将最多的精力集中在卫士难以回答的问题上。

3. 结果：以优异成绩通过考试

他们用这个新的卫士与其他著名的安全卫士（如 LlamaGuard 和 QwenGuard）进行了对比测试。

得分： CHILLGuard 在他们的定制测试中得分显著更高。
对比： 它比排名第二的模型高出了很大一截（在他们的主要测试中表现提升了约 16%）。
一致性： 与其他在某些主题表现出色但在另一些主题表现糟糕的模型不同，CHILLGuard 在所有 31 个类别中都表现强劲。

总结

作者通过以下方式为 中文 AI 构建了一个定制的安全卫士：

创建了一套详细的、具有文化特性的规则手册。
制造了数百万个带有隐藏危险的棘手示例用于训练。
使用了“陪练伙伴”式的训练方法，将额外的精力集中在最难的问题上。

其结果是，这个卫士在识别中文文本中微妙、隐藏且具有文化特性的危险方面，比以往的模型要出色得多。他们已将其数据和代码开放供他人使用。

技术摘要：CHILLGuard

问题陈述

大语言模型（LLM）的快速部署要求建立强大的安全护栏，以减轻生成恶意、攻击性或违规内容的风险。然而，现有的安全护栏在应用于中文场景时面临关键局限性：

文化与监管失配： 大多数护栏针对英文或通用多语言环境进行了优化，依赖于西方文化规范和全球监管标准。它们无法适应中国特定的监管政策、文化背景和隐性语言细微差别（如谐音、典故、委婉语），导致高误报率和高漏报率。
数据匮乏： 高质量、细粒度、大规模的中文安全数据集严重缺乏。现有资源通常粒度较粗、规模有限，且缺乏中文网络环境中普遍存在的多样化且隐晦的有害样本。
训练范式局限： 传统方法过度依赖基础的有监督微调（SFT），未能利用先进的人类偏好对齐技术来增强针对隐晦、模糊化及边缘情况有害内容的鲁棒性。

方法论

1. 细粒度中文有害性分类法

作者引入了一个与中国监管和语言特征相一致的专用分类法，包含 5 个宏观类别 和 31 个微观类别：

宏观 A： 违反核心社会主义价值观（如煽动颠覆、危害国家安全）。
宏观 B： 歧视性内容（如种族、性别、地域歧视）。
宏观 C： 商业违规与不合规（如知识产权侵犯、垄断）。
宏观 D： 侵犯合法权益（如隐私、名誉、肖像权）。
宏观 E： 未能满足特定服务的安全需求（如科学性错误或不可靠的内容）。

2. 可扩展的数据构建流水线

为了解决数据匮乏问题，本文提出了一个多阶段流水线，用于构建 CHILLGuardTrain（405,007 个样本）和 CHILLGuardTest（51,745 个样本）：

多源生成：
- 基于 RAG 的提示词构建： 利用检索增强生成（RAG）扩展约 480,000 条真实世界互联网文本（来自 Quora、X、微博），以创建自然的提示词。
- 真实世界数据获取： 从生产环境中收集 46,742 条真实的真实用户提示词，并由网络安全和法律专家进行标注。
- 提示词工程（PE）增强： 使用针对中文语言特征定制的策略（谐音替换、文化典故、修辞讽刺、语义嵌套）重写真实世界的提示词，以增加其隐晦性和多样性。
统一预处理与标签校准：
- 将所有内容翻译为中文，进行去重并按长度过滤。
- 采用多模型投票框架，使用四种中文大模型（Qwen3、GLM-4、InternVL3.5、Yi-1.5）作为“陪审团”进行二元安全标签判定，并由 DeepSeek-V3.2 在出现平局时担任最终仲裁者并进行细粒度类别分配。

3. 模型训练：基于 MDPO 的生成器-分类器协作

本文提出了一种利用 模型感知直接偏好优化（MDPO） 的迭代式生成器-分类器协作训练框架：

框架： 生成器（重写提示词的创建者）与分类器（护栏）进行三轮迭代循环。生成器产生具有挑战性的对抗性样本，而分类器学习检测这些样本。
模型感知 DPO (MDPO)： 不同于应用静态 KL 惩罚的标准 DPO，MDPO 根据模型对特定训练实例的实时响应动态调整惩罚系数 ( $\beta$ )。它量化了被选中的响应与被拒绝的响应之间的“奖励差距”，对模型已经熟练掌握的样本施加较大的惩罚（以防止过度优化），对困难样本施加较小的惩罚（以鼓励关注）。
基于难度的配对： 根据地面真值（ground truth）、分类器预测和生成器质量得分，将生成的样本分为四个难度等级（ $L_1$ 到 $L_4$ ）。偏好对的构建遵循优先级规则（ $\langle L_1, L_4 \rangle \succ \langle L_1, L_3 \rangle \succ \langle L_2, L_4 \rangle$ ），以优化对困难案例的学习。

核心贡献

CHILLGuard 系统： 一个专门针对中文 LLM 内容安全的护栏系统，具有细粒度的 5 宏观/31 微观分类法。
大规模数据集： 发布了 CHILLGuardTrain 和 CHILLGuardTest，通过可扩展的多源流水线构建，涵盖了多样化且隐晦的有害样本。
MDPO 算法： 一种新型的偏好对齐方法，能够根据样本难度动态调整优化惩罚，并集成到生成器-分类器协作框架中，以提高针对对抗性和隐晦攻击的鲁棒性。

实验结果

在 CHILLGuardTest 及主流公开基准测试（如 PolyGuard、WildGuard、ChineseSafe）上的广泛实验表明，该系统达到了最先进（SOTA）的性能：

性能： CHILLGuard-8B 版本在 CHILLGuardTest 上实现了 89.77 的整体 F1 分数，超过排名第二的模型（Qwen3Guard-8B-Strict）15.92%。
效率： 即便是最小的版本 CHILLGuard-1.7B，也达到了 82.72 的 F1 分数，超越了所有 0–3B 参数量的基准模型以及大多数 4–7B 参数量的模型。
鲁棒性： CHILLGuard 在所有 5 个宏观类别和 31 个微观类别中均保持了领先的性能，而基准模型在歧视性内容和服务安全等类别中表现出严重的脆弱性（F1 < 60）。
消融实验： 结果证实，迭代协作训练和 MDPO 机制都是至关重要的；移除其中任何一个都会导致性能显著下降。

重要性与主张

本文声称 CHILLGuard 通过提供一个不仅在语言和文化上进行了适配，而且在技术上能有效抵御复杂、隐晦对抗性攻击的系统，填补了中文 LLM 安全领域的关键空白。通过发布数据集、分类法和模型，作者旨在促进中文环境下负责任 AI 的发展。这项工作强调，标准的安全性范式不足以应对中文场景，将细粒度的监管对齐与先进的偏好优化（MDPO）相结合，对于下一代护栏至关重要。

注：作者明确指出，其资源根据 CC BY-NC 4.0 标准发布，仅供非商业研究使用，且所有数据均经过筛选以移除个人身份信息（PII）并确保负责任的使用。