技术摘要：Geometry-Lite：通过分层边界几何的可解释安全探测

问题定义

随着大语言模型（LLMs）的大规模部署，提示级别（prompt-level）的危害性检测已成为关键的安全组件。虽然使用单层快照（通常是最后一个提示词元）上的线性分类器进行隐藏状态探测是标准的基线方法，但它们依赖于“单层足以总结与安全相关的信号”这一假设。这一假设需要重新审视，原因有二：

1. 临界案例：标准基准上的聚合性能往往掩盖了在模糊提示上的表现，而对于以低误报率运行的安全系统而言，这些模糊提示至关重要。
2. 分布外（OOD）泛化：在基准划分上表现良好的模型可能依赖于无法迁移的捷径特征。最近的研究表明，基于激活的安全探测在跨数据集评估下会出现显著的性能下降。

核心研究问题不仅仅是“多层是否有帮助”，而是在决策关键领域（低误报率）和基准偏移下，何种形式的多层证据仍然有用。具体而言，作者调查了安全信号是分布在各个层中，由层间运动（位移）驱动，还是由边界轮廓相对于安全边界的持续位置所定义。

方法：Geometry-Lite

作者引入了Geometry-Lite，这是一种紧凑的提示级探测方法，旨在沿标记的几何轴分解多层安全信号。该方法分为三个阶段：

1. 分层边界缩减

对于每个 Transformer 层 $\ell$，最后一个提示词元的 $D$ 维隐藏状态 $h^{(\ell)}(x)$ 通过三种互补的几何读出被缩减为标量有符号边界：

• 质心距离：到类条件均值（$\mu^+$ 代表安全，$\mu^-$ 代表不安全）的欧几里得距离之差。
  $$m^{cent}_\ell(h) = \|h - \mu^-_\ell\|_2 - \|h - \mu^+_\ell\|_2$$
• k-NN 局部邻域：到安全和不安全训练池中 $k$ 个最近邻的平均余弦距离之差。这是唯一的非线性读出。
  $$m^{knn}_\ell(h) = \bar{c}^-_k(h) - \bar{c}^+_k(h)$$
• 监督线性边界：在标准化特征上按层拟合的 L2 正则化逻辑回归边界，产生有符号分数。
  $$m^{lin}_\ell(h) = w^\top_\ell z + b_\ell$$

该过程将隐藏状态轨迹 $H(x) \in \mathbb{R}^{L \times D}$ 转换为三个标量边界轨迹 $m^G(x) \in \mathbb{R}^L$（其中 $G \in \{cent, knn, lin\}$）。

2. 通过命名轴进行轮廓摘要

每个边界轮廓沿三个命名轴进行摘要，以分离不同形式的分层信号：

• 边界水平：捕捉持续的边界位置（例如，端点边界、极值、负侧占用率和面积）。
• 层间变化：通过有限差分（$\Delta m_\ell = m_{\ell+1} - m_\ell$）隔离局部运动，将运动与绝对位置分离。
• 结构形状：捕捉粗略的轮廓属性（例如，首次边界穿越、变化变异性、总路径长度和方向一致性）。

这些轴生成一个 39 维特征向量 $\phi(x)$（每种几何结构 13 个特征）。

3. 分类

39 维向量被输入到 L2 正则化逻辑回归分类器中。参数量独立于骨干模型的大小和隐藏维度。

基线与比较

本研究将 Geometry-Lite 与以下方法进行比较：

• 单层探测：通过验证选择表现最佳的层。
• MultiLayer-DIM：聚合跨层在均值差方向上的投影。
• MultiLayer-Linear：聚合跨层的原始监督线性分数。
• TaT-Disp-LSTM：一种基于轨迹的基线，使用 LSTM 对分层位移进行建模。

主要贡献

1. Geometry-Lite 探测：一种紧凑、可解释的探测方法，将分层隐藏状态转换为三种几何读出下的有符号边界轮廓，并沿命名轴（边界位置、变化和形状）对其进行摘要。
2. 多层证据的分解：该框架解耦了多层信号的三种解释：跨信息层的聚合、相对于边界的边界位置以及显式的层间运动。
3. 实证发现：
   • 信号集中：安全证据主要通过持续的边界位置几何（边界水平和占用率）表达。层间运动（漂移）对聚合 AUROC 的贡献微乎其微。
   • 漂移效用：虽然漂移对聚合 AUROC 贡献甚微，但在偏移的低 FPR 阈值下，它提供了稀疏的、以召回为导向的修正。
   • 读出稳定性权衡：优化的线性边界在分布内更锐利，而类条件均值几何（质心/DIM）在基准偏移（LOBO 协议）下能更可靠地保持分离。

实验结果

评估涵盖了九个指令微调的骨干模型（Llama、Gemma、Qwen 系列；1.2B–70B）和七个安全基准（XSTest、WildJailbreak、JBB-Behaviors、DoNotAnswer、BeaverTails、PKU-SafeRLHF、ToxicChat）。

• 分布内性能：Geometry-Lite（AUROC 0.955）和 MultiLayer-Linear（0.954）优于最佳单层探测（0.941），并显著优于 MultiLayer-DIM（0.911）和 TaT-Disp-LSTM（0.945）。Geometry-Lite 在提供可解释性的同时，达到了与原始分数堆栈相当的性能。
• 决策关键领域：在低误报率（3% 和 5% FPR）下，多层优势更为明显。在 5% FPR 下，Geometry-Lite 将真阳性率（TPR）提高了约 0.06–0.08，优于最佳单层探测。
• 泛化性（LOBO）：在留一基准（Leave-One-Benchmark-Out）评估下，监督线性方法与类均值方法（MultiLayer-DIM）之间的性能差距缩小。MultiLayer-DIM（0.889）与 MultiLayer-Linear（0.889）相当，并在许多单元格中超过了最佳单层探测（0.842）。
• 特征消融：
  • 仅幅度特征即可在 0.001–0.002 AUROC 范围内匹配完整的 39 特征模型。
  • 仅结构特征和负漂移特征则显著较弱。
  • 读出消融：在分布内，监督线性边界最强。在困难的基准偏移下，质心读出成为最稳定的单一分支，在最难的保留子集上优于线性边界。

意义与主张

该论文主张，提示级别的安全证据主要不是层间运动信号，而是持续的分层边界几何。该信号中有用的组成部分是边界相对于安全边界的位置及其在层间的持续性。

该研究强调了安全探测中的一个关键权衡：

• 优化的边界（线性分类器）在分布内捕捉到强烈的分离，但在分布偏移下会退化。
• 类均值几何（质心/DIM）在分布内不够锐利，但对基准偏移更具鲁棒性。

因此，作者认为多层安全探测不仅应根据分布内 AUROC 进行评估，还应根据哪些几何偏差在偏移下能够迁移来评估。Geometry-Lite 作为一种工具，使这些组成部分和偏差变得可见，特别是在误报成本高昂的决策关键领域。

局限性：本研究仅限于手工设计的边界摘要、单轮安全提示和二元安全标签。未来的工作可以探索学习到的轮廓函数、多轮监控以及在其他提示级任务中的应用。