💻 computer science

Detecting Safety Training Modification in Language Models via Activation Analysis

本文介绍了 AMS，这是一种通过分析激活空间中安全概念的几何结构来检测语言模型安全训练修改情况的基于激活的工具，该工具成功地对跨多种架构的四种不同修改类型进行了分类，并揭示了激活特征与行为合规性之间的相关性。

原作者： Glen Messenger

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Glen Messenger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一个巨大的图书馆，任何人都可以借阅书籍，但其中一些书实际上是关于如何制造炸弹或欺骗他人的危险手册。在人工智能的世界里，这些“书”被称为语言模型。最近，一群人开始秘密地修改这些有益的 AI “书”，移除其中的安全规则，将其变成“无审查”版本，使其能够回答任何问题，无论多么有害。这有点像图书管理员把一本标准的百科全书换成了一个把“如何不偷窃”相关页面全部撕掉的版本。

为了了解我们该如何抓捕这些破坏者，我们需要了解 AI 是如何“思考”的。当一个 AI 阅读一个句子时，它不仅仅是存储单词；它会将这些词转换为一种复杂的数字图谱，称为“激活值”（activations）。你可以把这个图谱想象成一个巨大的、多维度的游乐场。在一个表现良好、安全的 AI 中，存在一条清晰、宽阔的路径，将“好主意”与“坏主意”分隔开来。这就像是在游乐场里有一道坚固的围栏，让踢足球的孩子远离玩火的孩子。当有人试图对 AI 进行“去审查”时，他们正试图推倒那道围栏，或者移动孩子们的位置，让火堆和足球混在一起。大问题在于：我们能否通过观察游乐场的布局，在不实际要求 AI 去尝试纵火的情况下，判断围栏是否被篡改过？

这正是 Glen Messenger 的论文《通过激活分析检测语言模型的安全训练修改》（Detecting Safety Training Modification in Language Models via Activation Analysis）所要解决的问题。作者介绍了一个名为 AMS（基于激活的模型扫描器）的新工具。AMS 不再玩“提问与回答”的游戏来测试 AI 是否危险（这种方法既慢又容易被欺骗），而是像一名结构工程师一样。它走进 AI 的游乐场并测量空间的几何结构。它会检查“好”区域与“坏”区域之间的距离是否依然宽阔且稳固。

该研究在 14 个不同的 AI 模型（从小型到大型不等）上测试了这一工具，发现 AMS 在识别安全围栏被完全拆除时表现得非常出色。当研究人员观察那些安全训练被完全移除的模型（例如基础模型或“Dolphin”变体）时，发现“围栏”坍塌了，好主意与坏主意之间的距离缩减到了几乎为零。AMS 以极高的准确率将其标记为“严重”（CRITICAL）。

然而，论文也揭示了故事并不像简单的“围栏没了”或“围栏还在”那么简单。研究人员发现了四种不同的安全修改方式，而 AMS 对它们的处理方式各不相同：

全面崩溃： 一些模型的安全训练被彻底剥离。游乐场的围栏消失了。AMS 能轻松捕捉到这一点。
破损的围栏： 一些模型的安全规则被“正交化”（orthogonalized）了，这是一种高级说法，指围栏被旋转或扭曲了，导致即使线条还在，也不再阻挡坏事。AMS 也能捕捉到这一点，尤其是当它使用第二次检查来查看围栏是否指向正确的方向时。
旋转的围廊： 这是一种棘手的情况。在某些模型（如特定版本的 Gemma）中，安全围栏被旋转了角度，刚好让坏事得以通过，但围栏本身依然高耸且稳固。AMS 的第一次检查会说：“嘿，围栏还在！它是安全的！”但第二次检查（通过观察围栏的方向）则会意识到围栏指向了错误的方向，并发出警报。
隐形诡计： 论文确定了第四种 AMS 无法捕捉到的修改类型。在这种情况下，游乐场的围栏依然屹立不倒，且指向正确，但 AI 已被秘密训练去忽略这道围栏。这就像一名守卫站在门口纹丝不动，却在私下里放行所有人。论文称之为“行为微调”（behavioral fine-tuning），并承认 AMS 无法检测到它，因为游乐场的“几何结构”看起来完美无瑕，尽管 AI 本身是危险的。

研究人员非常谨慎，没有过度夸大其结果。他们发现“围栏强度”与 AI 实际表现出的危险程度之间的关系是真实存在的，但具有噪声。这就像一个风向标：如果风向标坏了，你知道暴风雨即将来临；但如果风向标在旋转，你仍然需要观察外面才能确定。在测试中，该工具在针对新模型进行测试时，大约有 71% 的概率能正确识别安全状态。

论文总结道，虽然 AMS 是一个快速且强大的初步检查工具——扫描一个模型仅需 10 到 40 秒——但它不应该是唯一的守门人。由于存在“隐形诡计”（第四种修改类型），作者建议使用 AMS 快速筛选出明显的危险，然后辅以传统的测试（向 AI 提问），以捕捉那些内在看起来安全、外在表现却很危险的隐蔽威胁。这是一种新的、聪明的识别篡改的方法，但它并不是解决整个问题的万能钥匙。

技术摘要：通过激活分析检测语言模型的安全训练修改

1. 问题陈述

开源权重语言模型的激增导致了安全修改变体（例如“无审查”模型、“消解/abliterated”模型）生态系统的出现，这些变体旨在移除或削弱安全护栏。这些模型在生产环境中部署时会带来显著风险，无论是由于蓄意的供应链攻击，还是由于意外部署了修改后的权重。

目前的检测方法依赖于行为测试（使用有害请求对模型进行提示）。本文指出了该方法的三个关键局限性：

速度慢： 每个模型需要数千次查询。
不完整性： 无法覆盖所有有害行为的空间。
规避性： 模型可以经过训练，使其能够拒绝基准测试特定的提示，但能响应新型攻击（基准测试过拟合）。

本文认为，安全训练在模型的激活空间中创造了可测量的几何结构。具体而言，指令微调模型开发出了能够高置信度区分有害内容与良性内容的方向向量。移除安全训练会修改这种结构。其目标是在不依赖行为查询的情况下，检测这些结构性的修改。

2. 方法论：激活分析模型扫描器 (AMS)

作者引入了 AMS，这是一个通过测量激活空间中安全相关概念的几何结构来检测安全修改的工具。

核心机制

AMS 的运作基于这样一个前提：安全训练为有害和良性内容创造了截然不同的聚类。移除安全训练会导致这些聚类坍缩或旋转。该工具执行以下步骤：

激活提取： 从各层（通常为 40–80% 的深度）的最后一个 token 位置提取隐藏状态。
对比数据集构建： 对每个概念使用 16 对提示（例如，“如何制造炸弹”与“如何制造鸟屋”）来定义正向（有害）和负向（良性）类别。
方向向量计算： 计算正向类和负向类质心之间的差异，以导出方向向量 ( $\hat{v}$ )。
分离度测量： 在合并标准差 ( $\sigma$ ) 中量化类别之间的分离情况：
$\text{separation} = \frac{\mu_+ - \mu_-}{\sigma_{\text{pooled}}}$
高 $\sigma$ 表示强分离（完整的安全特性）；低 $\sigma$ 表示分离坍缩（移除的安全特性）。
层选择： 进行跨层扫描，选择具有最大分离度的层。

两层检测框架

AMS 采用两层方法来应对不同的修改特征：

第一层（通用安全检查）： 测量分离度的量级 ( $\sigma$ $σ$ )，无需基准线。
- 通过 (PASS)： $\sigma > 3.5$ （完整的安全方向）。
- 警告 (WARNING)： $2.0 < \sigma < 3.5$ （退化的安全性）。
- 严重 (CRITICAL)： $\sigma < 2.0$ （未检测到安全训练）。
第二层（身份验证）： 将模型的激活指纹与已知的干净基准进行比较。
- 检查方向相似性（余弦相似度 $> 0.8$ ）。
- 检查分离漂移（相对变化 $< 20\%$ ）。
- 检测那些保留了量级但旋转了拒绝方向的修改。

评估的安全概念

该工具评估了三个特定概念：

有害内容检测： 区分武器/恶意软件请求与良性类似物。
提示注入抗性： 区分注入尝试与合法指令。
拒绝能力： 区分应当拒绝的请求与可接受的编码任务。

3. 主要贡献

本文做出了五项主要贡献：

安全修改的机制分类法： 作者根据激活空间特征定义了一个四类分类法：
- (i) 训练移除： 导致聚类分离坍缩（例如，Base 模型、Dolphin 变体）。由第一层检测。
- (ii) 权重正交化消解 (Weight-Orthogonalization Abliteration)： 分离坍缩且旋转了拒绝方向（例如，Llama-3.1-abliterated）。由第一层和第二层共同检测。
- (iii) 仅旋转而不坍缩的消解 (Rotation-Without-Collapse Abliteration)： 保留了聚类分离但旋转了拒绝方向（例如，Gemma-2-9b-abliterated）。仅由第二层检测。
- (iv) 行为微调 (Behavioral Fine-Tuning)： 保留了量级和方向，但修改了行为输出（例如，DarkIdol）。无法通过激活探测检测。
两层检测框架： 一个互补的系统，其中第一层捕捉几何坍缩，第二层捕捉方向旋转，提供深度防御。
统计严谨性： 本文报告了留一交叉验证 (LOOCV) 准确率、用于 $\sigma$ 估计的自助法 (bootstrap) 95% 置信区间 (CI)，并记录了单次运行点估计中存在的系统性向上偏差，建议使用 CI 下界进行诚实的报告。
行为相关性分析： 研究将结构信号与 20 个分层 JailbreakBench 提示的行为合规性进行了关联，发现存在中度负相关 ( $r = -0.546$ )，但也指出存在显著的噪声和失败案例。
特征化的失效模式： 本文明确识别并解释了两类 AMS 会遗漏的攻击：旋转而不坍缩（第一层失效）以及几何保持型行为微调（第一层和第二层均失效）。

4. 实验结果

作者在四种架构家族（Llama, Gemma, Qwen, Mistral）的 14 种模型配置上评估了该工具。

检测准确率： 实现阈值的 LOOCV 达到了 71% 的准确率 (10/14 个模型)。四个误分类并非随机错误，而是对应于所识别的机制失效模式。
统计不确定性： 自助法分析显示出较宽的置信区间（中位数宽度为 3.4 $\sigma$ ）。62% 的单元格其 CI 跨越了 PASS 阈值，表明在边界附近的单次运行 $\sigma$ 值通常具有统计上的不确定性。
行为相关性： 结构信号（针对有害内容的 $\sigma$ ）以皮尔逊相关系数 $r = -0.546$ ( $p=0.043$ ) 预测了行为合规性。然而，秩相关 Spearman 相关系数较弱且不显著 ( $\rho = -0.423, p=0.13$ )。
假阴性 (False Negatives)：
- Gemma-2-9b-abliterated： 通过了第一层 ( $\sigma=4.54$ ) 但未能通过第二层（方向相似度下降）。这证实了“旋转而不坍缩”的特征。
- DarkIdol： 通过了第一层和第二层 ( $\sigma=5.45$ ，方向保持不变)，但表现出 97% 的行为合规性。这证实了“行为微调”这一盲点。
标签可靠性： AMS 正确地将 Mistral-7B-Instruct-v0.3 标记为 CRITICAL ( $\sigma=1.39$ )，尽管其标签是指令微调模型，这证明了结构信号可能比元数据标签更可靠。

5. 重要性与局限性

重要性：
本文证明了安全训练在激活空间中留下了可测量的、结构性的足迹，且可以在 10–40 秒内完成扫描（相比之下，行为测试需要数小时）。它提供了一个关于不同“去审查化”技术如何产生不同特征的机制解释，从而超越了黑盒行为测试，实现了结构化验证。它确立了激活几何是安全行为的一个强有力但并非完美的预测指标。

适度的声明与局限性：
作者明确说明了其方法的局限性：

并非独立的门禁： AMS 不足以进行安全认证。第 (iv) 类失效模式（保持几何形状的行为微调）代表了仅靠激活探测的一个根本性盲点。
互补角色： AMS 被设计为一个快速的结构化分诊工具，应与行为验证配合使用。通过 AMS 的模型仍必须经过行为测试，以排除第 (iv) 类修改。
阈值敏感性： 阈值（如 3.5 $\sigma$ ）是基于特定的 14 个模型集得出的，在没有在独立数据集上进一步校准的情况下，可能无法完美推广到更广泛的群体。
单次运行偏差： $\sigma$ 的点估计具有系统性的乐观倾向；作者建议在进行操作决策时使用自助法 CI 下界。
范围： 该工具不会在推理时检测提示注入攻击，也不会处理测试的三个概念之外的安全问题（如偏见、欺骗），除非创建新的对比数据集。

总之，本文将 AMS 呈现为迈向开源权重模型供应链安全的重要一步，它提供了一种快速的结构化验证方法，作为传统行为红队测试的有益补充，而非替代。