技术摘要：对齐诱导激活偏移的有效秩审计

问题陈述

指令微调的大语言模型（LLMs）表现出一种结构性脆弱：安全行为（具体指拒绝有害请求）由残差流激活中的低维子空间介导。基于 Arditi 等人（2024）的实证观察（即单一方向即可介导拒绝），本文形式化了这一现象的结构性后果。核心问题在于量化“对齐偏移”的可分离性——具体而言，预训练与对齐激活之间的修改在多大程度上集中在与安全相关的输入上——并确定这种低秩结构是否意味着行为脆弱性或易受欺骗性对齐（伪装）的影响。

本文解决了三个具体空白：

1. 混淆控制：先前的测量往往将对齐偏移与聊天模板格式伪影相混淆。
2. 校准：尚不清楚通过正则化增加对齐偏移的有效秩，是在结构上提高了鲁棒性，还是仅仅膨胀了某个指标。
3. 诊断的局限性：尚不清楚低秩是安全特有的特征还是后训练过程的通用属性，以及是否存在“伪装成本”的匹配下界（即高秩是否能保证抵抗模式切换）。

方法论

可分离性指数 ($\rho_\epsilon$)

本文定义给定层的对齐修改矩阵 $M_D$ 为在安全相关分布 $D_s$ 上，对齐模型与预训练模型之间激活差异的集合：
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
可分离性指数是该矩阵的有效秩，归一化后除以表示维度 $d$：
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
其中 $\text{rank}_\epsilon$ 是捕获 $(1-\epsilon)$ 总方差所需的奇异值数量（取 $\epsilon=0.05$）。

四变体分解

为了从混淆因素中分离出真正的对齐信号，作者将修改矩阵分解为四个变体：

1. $M_{naive}$：朴素差异（$h_{align}(x_{chat}) - h_{pre}(x_{raw})$），易受模板混淆影响。
2. $M_{template}$：通过将模板应用于两个检查点，控制聊天模板格式的影响。
3. $M_{aligned}$：测量对齐模型内部的偏移。
4. $M_{DiD}$（双重差分）：从 $M_{template}$ 中减去控制列均值，以恢复对齐内部的拒绝方向。

诊断测试

本文采用三种测试来评估对齐情况：

• 测试 1（秩）：在 $M_{template}$ 上计算 $\rho_\epsilon$。
• 测试 2（因果消融）：投影出 $M_{template}$ 的前 $k$ 个主成分，并测量拒绝率的变化，将其与随机秩-$k$ 零假设进行比较。
• 测试 3（主对齐）：测量主奇异向量 $u_1$ 与平均偏移方向 $\bar{\Delta}$ 之间的余弦相似度。

校准与验证

• MLP 校准：训练一个 3 层 MLP，通过改变正则化强度（$\lambda$）来操纵 $\rho_\epsilon$，同时观察秩膨胀与消融鲁棒性之间的权衡。
• LLM 审计：将诊断应用于三个开放权重模型：Llama-3.1-8B-Instruct、Gemma-2-9B-it 和 Qwen-2.5-7B-Instruct。
• 理论界限：本文通过“米尔斯基路径”（Mirsky route）推导欺骗性策略（伪装）表示足迹的下界，测试实现该界限所需的谱间隙假设。

主要结果

1. 混淆控制的测量

• 秩集中：在安全相关输入上，对齐偏移高度集中。对于 Llama、Gemma 和 Qwen，中心化的有效秩约为 $12$–$18$（相对于$d \in {3584, 4096}$），得出$\rho_\epsilon \in {0.0029, 0.0048, 0.0044}$。
• 模板混淆：未中心化的秩主要由单一均值方向（聊天模板偏移）主导。减去均值（中心化）使残差秩增加了 4–7 倍，证实了 headline 秩是由格式而非复杂的安全逻辑驱动的。
• 拒绝方向恢复：在中心化的 $M_{DiD}$ 上，主奇异向量与 Arditi 拒绝方向高度对齐（Llama/Gemma/Qwen 的 $| \cos | \in \{0.77, 0.86, 0.50\}$）。这证实了 Llama 和 Gemma 存在“秩 -1 坍缩”，但在 Qwen 中该现象不那么显著。

2. 建设性校准：最佳点与脆弱性

• 秩膨胀 $\neq$ 鲁棒性：在 MLP 校准中，通过轻度正则化（$\lambda=5$）增加 $\rho_\epsilon$ 导致了高消融鲁棒性（即使在投影 62.5% 的表示后，合规率仍 $\ge 0.97$）。然而，在相同的标称 $\rho_\epsilon$ 下，强正则化（$\lambda=50$）导致了极端脆弱性（合规率降至 0.10）。
• 诊断价值：$\rho_\epsilon$ 是脆弱性的诊断工具，而非通过机械膨胀即可保证鲁棒性的目标。低 $\rho_\epsilon$ 的结构性后果是线性投影脆弱性（命题 3.1）以及伪装的 $O(\rho_\epsilon d)$ 可实现性界限（命题 3.5）。

3. 基于秩的诊断的局限性

• 非安全特异性：使用任意线性概念（LRH）的基线产生 $\rho_\epsilon \approx 0.008$–$0.010$，仅比安全值高 2–3 倍。低秩是后训练偏移的通用属性；与安全行为的联系仅通过因果消融（测试 2）建立。
• SVD 与因果排序：按方差排序的奇异值并不保证因果排序。在 Llama 中，第二个奇异向量（$u_2$）尽管按方差排名第二，但对拒绝的因果影响几乎为零。累积消融是非单调的（例如，拒绝率在 $k=5$ 时增加，随后才下降），表明仅凭 SVD 谱无法预测行为脆弱性。
• 谱间隙假设的失败：本文试图利用需要谱间隙（$\kappa > 8$）的米尔斯基风格论证，证明伪装成本的匹配下界（$\Omega(\rho_\epsilon d)$）。实证表明，该间隙在 Llama 的 90 个层参考对中有 89 个失败（$\kappa_{emp} < 8$），在 MLP 中 36 个全失败。在结构上，引理 8.1 证明对于任何 $\epsilon r > 1/4$，间隙条件无法满足，这使得米尔斯基路径不足以作为通用下界。

意义与主张

本文声称提供了对齐结构性属性的形式化、连续量化，超越了先前工作中二元的“秩 -1"观察。

1. 脆弱性的形式化：确立了低有效秩（$\rho_\epsilon \ll 1$）无条件地意味着对线性投影攻击的脆弱性（命题 3.1），并允许低成本的表示伪装（命题 3.5）。
2. 方法学严谨性：引入了四变体分解，以严格区分聊天模板伪影与真正的对齐偏移，这是准确审计的必要步骤。
3. 诊断与优化：本文论证 $\rho_\epsilon$ 是识别脆弱性的诊断工具，而非优化目标。机械的秩膨胀并不能换取结构鲁棒性。
4. 开放问题：本文明确将伪装的匹配下界列为开放问题。虽然它证明了低成本伪装的可实现性（上界），但它表明通过自然谱间隙方法证明下界（即高秩强制高成本）在实证和结构上均告失败。

作者强调，他们的工作仅限于残差流攻击（投影、引导），并不声称解决对内部机制的任意对抗性压力、LoRA 微调或提示越狱。只要验证器拥有成对检查点和固定安全分布的白盒访问权限，该诊断可由一个严格弱于被审计系统的验证器计算得出。