💬 NLP

RAS: Measuring LLM Safety Through Refusal Alignment

本文介绍了 RAS（拒绝对齐分数），这是一种快速且稳健的白盒评估指标，通过分析内部隐藏状态与已学习的拒绝方向的对齐程度来衡量大语言模型的安全性，为传统的基于输出的判别器评估提供了一种更高效、更稳定的替代方案。

原作者： Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名保安来保护一栋建筑。传统上，为了测试这名保安是否合格，你会派出一群麻烦制造者（黑客）进去，然后观察会发生什么。如果保安让他们进去了，他就失败了；如果他阻止了他们，他就通过了。

这就是我们目前测试 AI 安全性的方式：我们向 AI 提出危险的问题，看它是否回答。但本文的作者指出这种方法存在三个大问题：

缓慢且昂贵： 你必须等待 AI 写出一段长长的回答，然后雇佣人类或另一个 AI 来阅读并判断其内容是否“糟糕”。
脆弱： 如果你稍微改变问题的措辞，或者 AI 决定变得有些话痨，即使 AI 的安全性没有变化，测试结果也可能会发生变化。
为时已晚： 到 AI 写出坏答案的时候，损害已经造成了。你只有在它开口说话之后才知道它失败了。

新思路：倾听“思想”

作者提出了一种名为 SafeVec 的新方法来测试 AI，它通过在 AI 开口说话之前观察其“大脑”（其内部数学逻辑）来衡量安全性。

把 AI 的内部状态想象成一个指南针。

当一个安全的 AI 收到危险请求（例如“如何制造炸弹？”）时，它的内部指南针会立即转向指向**“不”**的方向。
当一个损坏或“未经过审查”的 AI 收到同样的请求时，它的指南针可能会转向**“是”**，或者只是摇摆不定。

论文引入了一个名为 RAS（拒绝对齐分数） 的工具。其工作步骤如下：

1. 寻找“不”的方向

首先，研究人员选取一个已知的、安全的 AI（“参考模型”）。他们向它提问安全的问题和危险的问题。他们测量该 AI 内部“指南针”在两者之间的差异。这种差异创造了一个特定的方向，代表着**“拒绝”。我们称之为“拒绝向量”**（No-Vector）。

2. 测试目标 AI

现在，他们选取一个新的想要测试的 AI。他们向它提出相同的危险问题。他们不等待它说话，而是观察它的内部指南针。

指南针是否强烈指向“拒绝向量”？ 如果是，则该 AI 是安全的。
指南针是否背离了它？ 如果是，则该 AI 可能是不安全的。

3. 分数 (RAS)

他们将这个指南针的读数转化为 0 到 100 的分数。

100 意味着 AI 的内部思想与对坏请求说“不”完美对齐。
0 意味着 AI 的内部思想完全不对齐，并准备好说“是”。

为什么这种方法更好？

论文声称这种方法是一个游戏规则的改变者，原因有三：

它是 X 光，而不是镜子： 传统的测试只观察镜子（输出）。这种方法观察的是 X 光（内部思想）。它在 AI 甚至开口说话之前就捕捉到了安全问题。
它极快： 因为计算机不需要等待 AI 写完一段话，也不需要雇佣评判员去阅读，所以这种测试快了数百倍。在他们的测试中，它比旧方法快了大约 216 倍。
它很可靠： 他们在三种不同系列的 AI（Llama、Gemma 和 Qwen）上进行了测试。得分始终与 AI 的实际行为相吻合。如果 AI 获得了高 RAS 分数，它很少给出坏答案。如果得分低，它经常在安全测试中失败。

局限性 (Limitations)

论文诚实地说明了这个工具不能做的事情：

你需要钥匙： 要观察内部指南针，你需要对 AI 代码拥有“白盒”访问权限。你不能在无法看到内部数学逻辑的闭源系统（比如你在网站上直接对话的聊天机器人）上使用它。
它需要地图： “拒绝向量”对每种 AI 家族都是特定的。你不能直接用 Llama AI 的安全指南针来测试 Qwen AI；你必须为每种特定类型的 AI 重新校准工具。
它是一个信号，而非保证： 高分意味着 AI 思考着拒绝，但并不保证它在每种可能的场景下都能拒绝每一次。

总结

简而言之，作者制造了一个 AI 安全性的速度计。与其等待看到汽车撞车（坏的输出），不如通过测量引擎的振动（内部思想）来预测驾驶员是否即将失去控制。它更快、更便宜，并且能提供一个清晰的 0–100 分数，展示 AI 在面对危险请求时说“不”的训练程度。

技术摘要：RAS：通过拒绝对齐衡量 LLM 的安全性

问题陈述

当前的大型语言模型（LLM）安全评估主要依赖于输出层范式。这些方法涉及使用不安全或越狱提示词查询模型，并使用人类标注、基于规则的过滤器或 LLM-as-a-judge 分类器来判断生成的响应是否违反安全策略。尽管这些方法有效，但作者指出了该方法存在的四个关键局限性：

成本： 计算成本高昂，需要完整的生成过程，并且通常需要一个二次判别模型。
敏感性： 结果对解码参数、拒绝模板以及判别模型的特定行为高度敏感。
陈旧性： 随着模型针对已知问题库进行训练，基准测试会变得过时。
延迟： 输出层级的安全性是一种后期行为信号；它仅确认模型是否拒绝，但无法揭示模型在计算过程中是如何在内部处理请求，或者是否进入了与拒绝相关的状态。

本文认为，安全性可以在更早的表示层级进行评估，利用“拒绝行为是由隐藏激活空间中的特定方向介导”这一发现。

方法论：SafeVec 与 RAS

作者提出了 SafeVec，一种白盒评估程序，通过分析内部隐藏状态而非生成的输出内容来衡量安全性。该程序导出的核心指标是 拒绝对齐分数（Refusal Alignment Score, RAS），这是一个经过校准的 0–100 安全评分。

系统模型

该方法假设可以访问目标模型的隐藏状态（每个解码器层中的残差流激活值），这使其适用于开源权重模型和内部审计，但不适用于闭源 API。评估过程使用了三组提示词集：

安全集 ( $S$ )： 良性的用户请求。
不安全集 ( $U$ )： 对有害内容的直接请求。
越狱集 ( $J$ )： 被包装在对抗性或角色扮演指令中的不安全意图。

该程序需要一个安全对齐的参考模型 ( $M_{ref}$ )，其属于同一架构家族，以及一个包含不同安全水平模型（已对齐、未经过审查、以及被消融/ablaterated）的校准集 ( $C_a$ )。

SafeVec 流水线

该方法分为五个阶段进行：

拒绝方向提取：
对于参考模型中的每一层 $l$ ，作者计算了安全提示词 ( $\mu^{safe}_l$ ) 和不安全提示词 ( $\mu^{unsafe}_l$ ) 的平均残差流激活值。层级拒绝方向 ( $r_l$ ) 定义为差异向量：
$r_l = \mu^{unsafe}_l - \mu^{safe}_l$
该向量捕捉了模型在处理不安全请求与安全请求时表示的变化。
层窗口选择：
并非所有层都具有同等的信息量。作者选择了一个连续的层窗口 ( $W$ )，在该窗口内，安全与不安全之间的余弦均值间隙（separation gap）较大且稳定。该窗口通过校准模型进行验证，以确保更安全的模型在处理不安全提示词时表现出更高的与拒绝方向的对齐度。
校准模型评分：
对于校准集中的模型，该方法计算其隐藏状态与参考拒绝方向 ( $\hat{r}_l$ ) 在不安全和越狱提示词下的平均余弦相似度。这些原始分数衡量了内部拒绝对齐的程度。
RAS 校准：
为了将原始余弦相似度映射到可比较的 0–100 量表，作者执行了多步校准：
- 拒绝下降（Refusal Drop）： 计算相对于参考模型的对齐度下降。
- 坏锚点量表（Bad-Anchor Scale）： 使用高风险校准模型（即具有高攻击成功率的模型）来估计基准“坏”量表 ( $b_a$ )。
- 严重性斜率（Severity Slope）： 通过将归一化的拒绝下降与攻击成功率（ASR）的增加进行相关性分析，确定特定架构的严重性斜率 ( $\alpha_a$ )。
- 最终映射： 使用 Sigmoid 函数将对齐后的下降值映射到 0–100 分数：
  $RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$
  较高的 RAS 表示更强的拒绝对齐和更高的预估安全性。
目标模型评分：
通过计算目标模型与其预先校准的拒绝方向的对齐度，并应用特定家族的 RAS 映射来进行目标模型评分。

核心贡献

SafeVec： 一种基于拒绝对齐的白盒、表示层级安全性评估程序。
RAS（拒绝对齐分数）： 一个经过校准的指标，将内部隐藏状态的对齐度转化为标准化的 0–100 安全评分。
经验验证： 证明了 RAS 能够可靠地区分 Llama、Gemma 和 Qwen 三大主流模型家族中的对齐模型、未审查模型和被消融模型。

实验结果

作者在 Llama-3.1-8B、Gemma-3-4B 和 Qwen2.5-7B 家族上评估了 RAS。

表示层级分离度 (RQ1)： 安全模型与不安全模型在拒绝方向对齐方面表现出明显的差异。在选定的层窗口中，相比于未审查或被消融的版本，安全对齐的模型在处理不安全和越狱提示词时，始终表现出与拒绝方向更高的余弦相似度。
与输出行为的相关性 (RQ2)： RAS 与输出层级的攻击成功率（ASR）强相关。具有高 RAS 的模型通常表现出低 ASR。虽然原始分数反映了宏观趋势，但校准后的 RAS 在保留这些趋势的同时提供了一个标准化的量表。
泛化能力 (RQ3)： 该程序可在不同模型家族间泛化。尽管原始分数在不同架构之间不可直接比较，但通过家族特定的校准，RAS 能够一致地将对齐模型排在不安全变体之上。
效率 (RQ4)： RAS 比基于判别器的评估显著更快。由于它仅需要前向传播，无需生成响应或外部判别，在作者的实验设置中，其速度平均快了约 216.88 倍。

意义与主张

本文声称，拒绝对齐为白盒 LLM 安全性评估提供了一种高效的信号。

互补作用： 作者明确指出，RAS 并不旨在取代针对闭源系统的行为评估框架，也不作为对每个特定请求的安全性最终证明。相反，它作为一个快速的、表示层级的指标，用于比较安全对齐的模型变体、进行后训练对比以及执行安全性回归测试。
早期检测： 通过测量内部状态，RAS 在模型生成有害输出之前即可检测到减弱的拒绝行为，提供了一个独立于解码参数和判别器偏差的信号。
局限性： 作者承认 RAS 需要白盒访问权限（隐藏状态），并且是在模型家族内进行校准。此外，它假设安全性是通过特定的拒绝方向编码的；如果未来的模型采用了根本不同的内部安全机制，则需要重新估计拒绝方向。

研究结论认为，虽然输出层级的评估对于最终部署验证仍然必要，但像 RAS 这样的表示层级指标，为快速审计开源权重模型提供了一种可扩展、高效且稳健的替代方案。