🤖 machine learning

Constitutional On-Policy Safe Distillation

本文介绍了宪法在策略安全蒸馏（COPSD），该方法通过利用交叉有监督微调（Cross-SFT）校准教师模型，并采用宪法约束的在策略蒸馏，解决了先前安全蒸馏方法中观察到的严重崩溃和表达能力降低的问题，从而在 12 个基准测试中实现了卓越的安全与帮助性权衡。

原作者： Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Xingjun Ma, Yu-Gang Jiang

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Xingjun Ma, Yu-Gang Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教 AI 安全，但不让它变得枯燥乏味

想象一下，你正在训练一个非常聪明、爱聊天的机器人（“学生”），希望它既能提供帮助，又能保持安全。你希望它能回答关于世界的问题，但绝不会说出任何危险或冒犯性的内容。

研究人员发现，一种流行的教机器人安全的方法实际上是在让它们变得笨拙地谨慎。机器人不再给出深思熟虑、有细微差别的回答，而是开始对几乎所有问题都给出简短、机械化的、“我无法处理该请求”式的回复。它们变得安全了，但也变得没用了。

这篇论文介绍了一种名为 COPSD 的新方法来解决这个问题。它教会机器人如何在保持个性、创造力和解释能力的同时，实现安全。

问题所在：“过度谨慎的老师”陷阱

要理解这个问题，请想象这样一个课堂场景：

旧方法 (OPSD)： 你有一个知道安全规则（“宪法”）的“老师”机器人。 “学生”机器人试图模仿老师。
故障： 当老师被要求保持安全时，它变得胆小了。它开始给出非常简短、无聊的回答，比如：“这是危险的。不要这样做。” 它不再解释为什么，也不再提供安全的替代方案。
崩溃： 学生机器人看着老师，心想：“哦，为了安全，我只需要变得简短并说‘不’就行了。” 学生完美地模仿了这种行为。
- 结果： 机器人变成了一种“安全税”。因为它太害怕犯错，以至于拒绝回答有益的问题，或者给出一些其实并无帮助的单句回答。

论文的发现：
研究人员意识到，这并不是因为机器人在“作弊”抄袭答案（就像做数学题那样）。相反，这是一个几何问题。

想象一下，安全性和“表达力”（爱聊天且乐于助人）是地图上的两个方向。
在理想世界中，你可以向“北”（安全）移动，而不影响“西”（乐于助人）。
但在这个机器人的大脑里，地图是倾斜的。当你用力将机器人推向“安全”时，这种倾斜迫使它向后滑动进入“无助”状态。追求安全的压力意外地压碎了它的表达能力。

解决方案：COPSD（两步走的修复方案）

作者提出了一个两步走的训练过程，来理顺这张倾斜的地图。

第一步：“跨 SFT 冷启动”（校准老师）

在学生开始学习之前，老师需要先被修复。

类比： 想象老师是一个只知道说“不”的严厉家长。研究人员给老师进行了一次特殊的培训课程。他们向老师展示了如何“优雅地”说“不”——即在保持语气友好和详细的同时，解释为什么某事是不好的，并提供一个安全的替代方案。
结果： 老师学会了如何在不变成简短、无聊的机器人的情况下保持安全。它学会了安全与乐于助人是可以共存的。

第二步：在线策略蒸馏（学生向修复后的老师学习）

现在，学生机器人开始向这个经过重新校准的老师学习。

类比： 学生观察老师给出那些完美、安全且详细的回答。因为老师不再只是说“不”，所以学生学到了它可以在保持安全的同时，依然保持详细。
神奇之处： 学生不仅仅是模仿词汇；它学习了如何在不丢失自身特性的情况下，掌握“安全”的模式。

测试结果如何？

研究人员在 12 项不同的测试中，将这种新方法 (COPSD) 与其他流行方法进行了对比。

安全 vs. 乐于助人：
- 其他方法： 当他们让机器人变得更安全时，机器人的乐于助人程度大幅下降（“安全税”上升）。
- COPSD： 机器人变得更安全了，同时也保持了乐于助人。它们实现了“帕累托改进”（Pareto Improvement），这意味着它们在变得更安全的同时，并没有在其他方面变差。事实上，它们比一个规模大得多、成本更高的机器人模型还要安全。
通用智能：
- 其他方法： 在尝试让机器人变得安全时，它们的数学或逻辑推理能力往往会显著下降。
- COPSD： 机器人的数学和推理能力几乎完美地保持不变。它们大脑能力的“安全税”几乎为零。
突破天花板：
- 通常情况下，学生的水平无法超越老师。但由于 COPSD 的老师经过了良好的校准，学生实际上学会了在平衡安全与乐于助人方面做得比老师更好。

一句话总结

论文表明，试图教 AI 安全往往会意外地让它变得枯燥且无用，因为训练方法会将安全性和乐于助人推向错误的方向；而他们的新方法 COPSD，首先将老师修复为“具备表达力的安全型”，从而让学生在学习安全的同时，不会丢失其个性和智慧。

技术摘要：宪法式在策略安全蒸馏 (COPSD)

1. 问题陈述

在策略自我蒸馏 (On-Policy Self-Distillation, OPSD) 已成为一种高效的基础模型对齐后训练范式，它利用带有特权信息的教师模型来提供密集的 Token 级监督。尽管在可验证推理任务中表现出色，但近期的研究表明，OPSD 在这些领域存在严重的“分布坍缩”问题，即学生模型会利用表层相关性来最小化散度惩罚。

本文指出，安全对齐在 OPSD 中呈现出一种独特且关键的失效模式。与依赖于显式目标答案（而非高层原则）的推理任务不同，安全对 \text{align} 依赖于高层宪法（原则）。作者的初步研究揭示，安全 OPSD 的坍缩源于一种“几何泄漏”（geometric leakage）效应：

教师收缩（Teacher Contraction）： 将安全性宪法作为条件约束教师模型，会迫使教师分布收缩进入一个由短促、过度保守且低熵的响应组成的流形中。
逆向 KL 散度放大（Reverse KL Amplification）： 标准的逆向 KL 散度用于蒸馏时，会放大这种收缩，惩罚教师狭窄支撑集之外的任何 Token。
几何泄漏： 在一个“安全性”与“表达力”相互耦合的非正交语义空间中，规避不安全区域的梯度压力会泄漏到表达力维度。这导致了响应长度、多样性和帮助性的被动收缩，即使学生模型并未复制特权信息也是如此。

核心挑战在于“安全税”：实现鲁棒的安全对齐往往需要大幅降低通用的推理能力和帮助性，而现有方法（如 GRPO 或标准 OPD）无法有效应对这一权衡。

2. 方法论：宪法式在策略安全蒸馏 (COPSD)

为了解决安全与表达力之间的几何纠缠，作者提出了 COPSD，这是一个旨在通过在蒸馏前重新校准教师模型的两阶段框架。

第一阶段：跨 SFT 冷启动 (Cross-SFT Cold-Start)

第一阶段的重点是构建一个既能遵循安全原则，又能保留基座模型生成足迹的宪法约束教师。

数据构建： 训练语料库由以下部分混合而成：
1. 原始轨迹： 来自基座模型的原始查询和响应，并辅以安全宪法 $c_{safe}$ 。这使教师模型锚定在模型的原生表达力上。
2. 重写安全轨迹： 由前沿模型生成的高质量安全响应，经由 LLM 评判器过滤，并由基座模型进行重写，最后进行重采样以匹配原始响应的长度分布。
目标： 这种“跨 SFT”过程训练教师内化安全边界，而不至于坍缩为统一的短促或过度谨慎的输出，从而有效地将安全流形与表达力流形解耦。

第二阶段：宪法约束的在策略蒸馏 (Constitution-Conditioned On-Policy Distillation)

随后，将重新校准后的教师集成到在策略蒸馏管线中。

教师角色： 教师根据查询 $x$ 和安全宪法 $c_{safe}$ 生成密集的 Token 级监督信号。
蒸馏信号： 优化学生策略，使其最小化相对于宪法约束教师的 Token 级逆向 KL 散度。
优势估计： 该框架支持两种变体：
1. 标准 Token 级： 完全依赖密集的蒸馏信号来计算组相对优势（group-relative advantages）。
2. 混合结果加权（Hybrid Outcome-Weighted）： 将密集的 Token 级信号与外部序列级结果奖励（例如来自奖励模型）相结合，以在精细化局部信用分配的同时，强化全局安全偏好。

3. 核心贡献

诊断安全性特有的坍缩： 本文将安全 OPSD 的失效形式化为安全边界下非正交语义空间中的“几何泄漏”。研究表明，这种坍缩不同于在可验证推理任务中观察到的“捷径复制”；它之所以发生，是因为由于安全性和语言先验的耦合，安全压力溢出到了表达力维度。
COPSD 框架： 作者提出了一个两阶段解决方案，通过使用 跨 SFT 冷启动 在蒸馏前校准教师分布。该方法缓解了安全与表达力的纠缠，使教师能够在提供密集监督的同时，不会迫使学生进入低多样性、过度谨慎的状态。
实证验证： 在 12 个基准测试（涵盖安全性、情境安全性及通用推理）上的广泛实验表明，与最先进的基线方法（GRPO, OPD, Safe-RLHF-V）相比，COPSD 在安全性和帮助性方面实现了更优的权衡。

4. 实验结果

安全性 vs. 帮助性： 在 BeaverTails-V 和 SPA-VL 等基准测试中，与基线模型相比，COPSD 变体在安全性和帮助性方面均取得了显著更高的胜率。例如，虽然 GRPO 提升了安全性，但往往会导致帮助性的严重下降（即“安全税”）。COPSD-Hybrid 在达到更高安全前沿的同时，保持了稳健的有效性。
通用能力的保留： COPSD 大幅减少了对通用推理的“对齐税”。在 MathVista 上，COPD 将推理损失限制在 ~2.1%，而 GRPO 则经历了 17.5% 的灾难性下降。简单的 VQA 任务在所有方法中基本不受影响，但复杂的推理任务从 COPSD 的解耦机制中获益显著。
突破教师天花板： 不同于标准 OPD（其中学生受限于教师固有的能力），COPSD 学生（基于 Cross-SFT 教师训练）在安全性和有效性方面显著超越了其特定的教师和标准 OPD 教师，这表明了自适应策略学习的能力。
训练动态： 对训练动态的分析显示，虽然 GRPO 遭受持续的熵坍缩，且标准 OPSD 会触发严重的响应长度下降，但 COPSD 能快速稳定，并在整个训练过程中保持较高的熵和稳定的响应长度。

5. 意义与主张

本文主张，安全对齐需要一种根本不同的方法，而非仅仅是可验证推理对齐。COPSD 的意义在于其能够：

解耦竞争目标： 通过使用 Cross-SFT 来校准教师，该方法打破了安全约束与表达行为之间的几何耦合，防止了安全压力的“泄漏”导致帮助性降低。
实现无坍缩的密集监督： 它证明了如果教师分布被正确地锚定在基座模型的生成风格上，那么密集的 Token 级监督在安全对齐中是可行的，从而避免了困扰当前方法的分布坍缩。
实现帕累托改进（Pareto Improvement）： 结果表明，同时提高安全性并保留（甚至增强）通用推理能力是可能的，这挑战了“安全对齐必然会导致模型效用下降”的观点。

作者总结道，校准教师分布是实现稳定且有效的安全蒸馏的必要步骤，这为在不牺牲核心生成能力的前提下，使模型符合高层宪法提供了一条路径。