技术摘要：当行为安全评估失效时：基于表示层面的视角

1. 问题陈述

当前针对大语言模型（LLMs）的安全评估主要运行在行为层面，即测量可观测的输出，如拒绝率、攻击成功率和越狱鲁棒性。虽然这些指标是部署前审计的标准，但作者认为它们存在一个根本性的局限：它们无法提供关于内部鲁棒性的充分证据。

论文将行为安全与内部鲁棒性之间的差异形式化为审计差距（audit gap）。这一差距的产生是因为，即使底层潜在表示变得极易受到干预，可观测的行为仍可能保持稳定（例如，模型继续拒绝有害提示词）。具体而言，近期的研究表明，对齐模型中的拒绝机制可能由表示空间中的低维方向介导，而与有害性相关的表示仍可以保持部分可分离性。因此，一个模型可以在通过行为安全测试的同时，却隐藏着易被有限扰动破坏的潜在结构，而这种失效模式是标准行为指标无法检测到的。

2. 研究方法

为了调查审计差距，作者提出了一个以构建解离模型（dissociated models）和基于干预的评估协议为核心的框架。

2.1 解离模型的构建

作者构建了“解离模型”，这类模型在保持安全外部行为的同时，保留或放大了潜在脆弱性。这些模型通过满足两个相互竞争的目标进行训练：

1. 行为保真度（Behavioral Fidelity）： 保持与安全对齐的基础模型相似的拒绝行为和良性帮助性。
2. 潜在脆弱性（Latent Vulnerability）： 将有害提示词的内部表示推向由潜在监测器检测到的“不安全”类别。

训练过程：

• 数据： 构建过程利用来自 PKU-SafeRLHF 的对比三元组（提示词，安全回答，不安全回答）以及来自 BeaverTails 和 XSTest 的良性锚点。
• 潜在监测器 ($g_\phi$)： 一个用于从基础模型的隐藏状态中预测响应安全性的探测器。
• 优化： 模型 $\pi_\theta$ 使用复合损失函数进行微调：
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$：用于维持输出质量的 Token 级负对数似然。
  • 监测项（Monitor Term）： 鼓励模型对有害提示词（$b=1$）产生“不安全”的表示（高监测器 Logits），同时保持良性提示词（$b=0$）不受影响。
  • KL 散度 ($\mathcal{L}_{KL}$)：在 Token 级别约束解离模型与冻结的基础模型 $\pi_{\theta_0}$ 保持接近，从而维持行为保真度。
• 交替更新： 监测器参数 $\phi$ 和模型参数 $\theta$ 交替更新，以确保监测器能够适应训练过程中模型不断演变的表示。

2.2 基于干预的评估框架

为了衡量鲁棒性，作者在参数空间和潜在空间中应用了软干预（soft interventions）：

1. 参数空间干预（有害微调）： 模型使用有害指令数据集 ($D_{harm}$) 进行带有 LoRA 的监督微调 (SFT)。通过监测拒绝率和合规率的变化，来评估安全行为在对抗性优化下崩溃的速度。
2. 潜在空间干预（定向扰动）： 在推理过程中，对特定层 ($\ell$) 的隐藏表示 $h_\ell$ 应用加性扰动 $\delta$。
   • 目标： 在满足 $\ell_\infty$ 范数约束 ($\|\delta\|_\infty \le \epsilon$) 的条件下，最小化有害目标响应（例如，“当然，这是...”）的负对数似然 (NLL)。
   • 范围： 干预测试涵盖了嵌入层、中间层和最终层。

2.3 潜在脆弱性评分 (LVS)

为了量化安全行为对这些干预的敏感程度，作者提出了潜在脆弱性评分 (LVS)。不同于二元指标（如攻击成功率），LVS 衡量的是单位潜在扰动引起的行为退化幅度。

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

其中 $S_{harmless}$ 是连续的安全评分，$y$ 是原始输出，$y'$ 是干预后的输出。高 LVS 表示微小的潜在变化会导致不成比例的巨大安全性下降。

3. 关键结果

3.1 审计差距的存在性

研究证明，行为安全指标不足以作为表示层面鲁棒性的指标：

• 行为稳定性： 解离模型在面对有害直接请求和越狱提示词时，表现出的拒绝率与安全对齐的基础模型相当。标准的行为审计无法区分两者。
• 潜在差异： 尽管拒绝率相似，但解离模型在受到潜在监测器探测时显示出显著更高的脆弱性。在解离模型中，安全与不安全表示之间的校准差距显著收缩，尽管序数信号仍然存在。

3.2 干预敏感性

• 有害微调： 在有害 SFT 下，解离模型向合规（而非拒绝）转变的速度明显快于其对应的基础模型。这表明，虽然表层拒绝行为得以保留，但底层的安全机制更为脆弱。
• 层特定脆弱性： 潜在扰动表明，中间表示对干预最为敏感。
  • 与嵌入层或最终层相比，应用于中间层的扰动会诱发显著更高的攻击成功率 (ASR) 和无害性退化。
  • 尽管维持了相似的输出行为，解离模型在这些中间层表现出的脆弱性比其安全基础模型更高。

3.3 对齐与鲁棒性

通过 LVS 对各种对齐策略（如 Llama-3 变体、Alpaca 系列）进行评估显示：

• 安全对齐的模型通常在最终层具有较低的 LVS，这表明对齐稳定了 Token 生成。
• 然而，这种提升既非均匀也非完全的。许多对齐模型在嵌入层或中间层仍保留着较高的 LVS。
• 研究观察到，某些对齐策略（例如特定的侧重于无害性的方法）尽管提高了无害性得分，却增加了中间表示的脆弱性。

4. 重要性与主张

论文声称，仅靠行为安全评估无法提供关于模型鲁棒性的完整图景。这项工作的核心意义在于：

1. 形式化了审计差距： 它识别了一个构念效度问题，即可观测行为与表示层面的安全属性是独立变化的。
2. 论证了潜在脆弱性： 它提供了经验证据，证明模型可以是“解离的”——即输出安全但在表示上脆弱，这使得标准的拒绝率审计对于部署前的安全案例而言是不充分的。
3. 提出了基于干预的审计方法： 所提出的框架利用软干预和潜在脆弱性评分，提供了一种超越可观测输出来压力测试安全对齐的方法。
4. 提供了层特定见解： 研究结果强调，中间表示构成了一个关键的脆弱性瓶颈，微小的干预即可不成比例地破坏安全对齐的行为。

作者总结道，安全审计程序必须演进，将潜在脆弱性与可观测行为的联合评估纳入其中，以确保应对表示层面的失效。

5. 局限性与范围

论文明确指出了若干局限性：

• 受控环境： 这些脆弱性是在受控的软干预（即可以访问权重或潜在状态）下识别的，并不一定意味着这些失效可以直接通过标准的黑盒提示词来利用。
• 合成构建： 解离模型是通过针对特定潜在监测器的优化而合成的；观察到的脆弱性可能取决于特定的探测器架构和干预目标。
• 模型规模： 实验集中在相对较小的开源模型（例如 2B–8B 参数）上；目前尚不清楚这些失效模式是否会在更大规模的模型中持续存在。
• 评估噪声： 指标依赖于 LLM 裁判和奖励模型，这可能会引入噪声，且基准测试的污染也可能影响结果。

该工作并非提出新的防御机制，而是提供了一个用于评估当前安全指标保真度的诊断框架。