💬 NLP

Logit-Gap Steering: A Forward-Pass Diagnostic for Alignment Robustness

本文引入“拒绝 - 肯定对数间隙”作为前向传播诊断指标以量化对齐安全裕度，并证明“对数间隙引导”能够高效地发现低困惑度、可迁移的分布内后缀以绕过当前防御机制，从而揭示对齐鲁棒性往往依赖于狭窄的运营裕度。

原作者： Tung-Ling Li, Hongliang Liu

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Tung-Ling Li, Hongliang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一个大语言模型（就像一个非常聪明的机器人助手）比作一家高端俱乐部的门卫。它的工作是阻挡“有害”或不安全的请求。当你向它提出危险请求时，门卫会对照一份心理清单。如果请求看起来有问题，门卫内心的警报（一个“拒绝令牌”，如“不行”或“我无法”）就会大声响起。如果请求是安全的，另一个警报（一个“肯定令牌”，如“当然”或“这是”）则会响起。

在一个训练良好且“对齐”的模型中，“不行”警报的音量被设定得远大于“可以”警报。这两个警报音量之间的差异，就是作者所称的Logit 间隙（Logit Gap）。

问题：间隙比你想象的更窄

该论文指出，虽然“不行”警报很响亮，但它与“可以”警报之间的差距并不像我们希望的那么宽。这就像一位非常严格的门卫，但如果你在他耳边低声说出一句特定而巧妙的话，他可能会突然决定放你进去。

此前用于“越狱”（欺骗）这些模型的方法，就像试图用大锤砸门。它们需要大量的计算资源和时间（在超级计算机上运行数小时），才能找到一段奇怪、无意义的短语来迷惑门卫。

解决方案："Logit 间隙引导（Logit-Gap Steering）”

作者引入了一种更快、更新的方法来测试门卫实际上有多安全。他们称之为Logit 间隙引导。

以下是类比：
与其试图砸开门，他们更像是一位持有万能钥匙的锁匠。

测量：首先，他们精确测量针对某个特定有害请求，“不行”警报比“可以”警报响了多少。假设“不行”的音量是 50，“可以”的音量是 10，那么间隙就是 40 个单位。
策略：他们需要找到一段短短语（一个“后缀”），当将其添加到请求中时，能够降低“不行”的音量并提高“可以”的音量，足以填补这 40 个单位的间隙。
捷径：他们不随机猜测或使用繁重的数学计算，而是只查看模型已经喜欢使用的词汇（常见、听起来自然的词）。他们为每个词计算一个“分数”，以评估它在多大程度上有助于缩小间隙。
结果：他们挑选得分最高的词并将它们串联起来。这就像找到一系列完美、礼貌但坚定的词语组合，轻轻将门卫的手从“不行”按钮推向“可以”按钮。

为何这很重要（研究发现）

1. 速度极快
旧方法（称为 GCG）在强大的计算机上找到一种技巧大约需要5 小时。而新的"Logit 间隙引导”方法仅需约2 分钟就能找到一整套技巧。其速度大约快了125 倍。

2. 技巧具有隐蔽性
旧技巧通常使用奇怪的、破碎的英语或随机符号（如"x99#tag"），看起来令人起疑。防御者可以轻易识别并拦截这些内容。
而通过该方法发现的新技巧由完全正常、听起来自然的英语组成。它们读起来就像一句礼貌的句子。由于它们看起来如此正常，它们能绕过“困惑度过滤器”（旨在检测奇怪、不自然文本的防御机制）。论文表明，虽然这些过滤器几乎能完全拦截旧的无意义技巧，但它们对这些新的、听起来自然的技巧几乎毫无作用。

3. 一套方案适用于大多数情况
作者发现，如果他们在小型、廉价的模型（例如 5 亿参数模型）上发现了一种技巧，那么同样的技巧往往也能在同一个模型家族中巨大的、昂贵的 720 亿参数版本上生效。这就像找到一把能打开小锁的钥匙，然后发现它也能打开同一栋大楼里巨大的金库大门。

4. “集成”效应
有时一种技巧行不通。但作者发现，如果你同时尝试8 种不同的自然听起来技巧，成功率会急剧上升。在一些最强大、最安全的模型上，这种方法成功绕过安全守卫的比例高达38% 至 96%，而旧方法在这些相同模型上几乎完全失败。

宏观视角

该论文得出结论，我们依赖的这些 AI 模型的安全边际是真实存在的，但它是狭窄且可测量的。

好消息：我们现在拥有一种快速、廉价的工具，可以精确衡量一个模型有多“安全”。我们可以在攻击发生之前看到确切的“间隙”。
坏消息：这个间隙通常足够小，以至于几个精心挑选的自然词汇就能将其填补。
启示：防御者不能仅仅依赖拦截看起来奇怪的文本（无意义内容）。他们需要构建能够理解文本含义的防御机制，因为攻击者已经学会了流利地使用模型自己的语言，从而绕过门卫。

作者强调，他们并非在创造新的作恶手段，而是提供一种“诊断工具”，向安全团队确切展示他们的锁在哪里薄弱，以便他们进行修复。他们在发布前已将研究成果分享给构建这些模型的公司（如谷歌、Meta 和阿里巴巴），以便这些模型能变得更加安全。

技术摘要：Logit 间隙引导

问题陈述

通过人类反馈强化学习（RLHF）对齐的大语言模型（LLM）被训练为拒绝不安全请求。然而，这种对齐往往仅在拒绝与顺从之间创造了一个狭窄的“操作裕度”。先前的研究表明，在有毒提示后附加短的、分布外（out-of-distribution）的后缀，可以通过缩小这一裕度，将模型从拒绝翻转为顺从。

本文解决的核心问题是缺乏一种可扩展的、定量的诊断方法来测量首词拒绝裕度（即第一个解码步骤处的 Logit 级决策）并探测其鲁棒性。现有的发现有效越狱后缀的方法，如基于梯度的坐标梯度（GCG），依赖于在大型分布外 Token 空间上的基于梯度的优化。这些方法计算成本高昂（例如，在单张 A100 上处理 50 个提示约需 5 小时），并且产生的后缀具有极高的困惑度（perplexity），容易被基于困惑度的防御机制检测出来。

方法论：Logit 间隙引导

作者引入了Logit 间隙引导（Logit-Gap Steering），这是一种无梯度、仅前向传播的诊断方法，旨在利用分布内（in-distribution）Token 来测量并缩小拒绝与肯定之间的 Logit 间隙。

1. 拒绝–肯定 Logit 间隙

核心指标定义为在有害提示后的第一个解码步骤（ $h_0$ ）处，最高拒绝 Token 的 Logit 与最高肯定 Token 的 Logit 之间的差值：
$\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$
论文指出，与基础模型相比，对齐过程在绝大多数有毒提示上扩大了这一间隙。如果后缀 $S$ 将累积间隙减少至零或以下，则越狱成功。

2. 评分函数（间隙缩小代理）

为了避免梯度计算，该方法使用源自单次前向传播的评分函数 $F(h, t)$ 来近似候选 Token $t$ 的间隙缩小效果。该分数结合了三个代理指标：

Logit 间隙缩小： Logit 差值的即时变化。
KL 惩罚代理： 通过将拒绝 Logit 与中性、高概率 Token 进行比较，近似其与基础模型的偏差。
奖励偏移代理： 使用增量肯定 Logit 作为学习到的奖励模型偏好的代理。

综合分数为：
$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$

3. 搜索算法

该方法采用贪婪覆盖（Greedy Covering）算法：

候选过滤： 过滤词汇表，仅保留给定提示下的高概率（分布内）Token，且排除拒绝 Token。
评分： 使用 $F(h, t)$ 对每个候选 Token 进行评分。
选择： 按分数降序贪婪地选择 Token，直到累积分数超过初始间隙 $\Delta_0$ 。
变体： 为了克服单 Token 的短视和分布外人造痕迹，作者引入了：
- DFS 短语采集： 使用深度优先搜索采集语法正确的肯定短语。
- 成分级搜索： 将多 Token 序列作为原子单元进行评估。
- 排列选择： 对顶级候选者的排列进行搜索，以优化 KL-奖励平衡、直接间隙最小化或综合分数。

4. 效率

整个过程仅需前向传播。为模型家族发现一个 8 后缀组合仅需约 26,000 次前向传播等效计算（在单张 A100 上约 2 分钟），这比单次 GCG 搜索的计算量减少了约 125 倍。

主要贡献

对齐诊断： 将拒绝–肯定 Logit 间隙定义为衡量首词操作拒绝裕度的定量指标。作者证明，中位数间隙缩小与不同策略下的真实攻击成功率（ASR）共变，可作为内部一致性检查。
高效探测方法： 一种无梯度方法，能够发现有效的分布内后缀（每个组件少于 10 个 Token），其计算成本显著低于 GCG。
跨尺度迁移： 在小模型（0.5B–2B 参数）上发现的后缀无需修改即可迁移到同一家族中更大的模型（高达 72B）。
隐蔽性： 发现的后缀的困惑度值比 GCG 后缀低 $10^3$ – $10^4$ 倍。因此，它们在面对成功拦截 GCG 的基于困惑度的过滤防御时仍然有效。

实验结果

该方法在 AdvBench 和 HarmBench 上，针对三个家族（Llama、Gemma、Qwen）的 13 个模型进行了评估。

攻击成功率（ASR）： 一个 8 后缀组合在 13 个模型上实现了 38–96% 的真实 ASR。在强对齐模型（如 Qwen2.5-72B）上，该组合的表现优于 GCG+SH 8–16 倍（37.9% 对比 4.6%）。
效率： 在通用后缀发现方面，该方法比 GCG 快约 125 倍，比 8 次射击（8-shot）的 GCG 基线快 17 倍。
防御规避：
- 困惑度过滤器： 在困惑度过滤防御（ $T=1000$ ）下，GCG+SH 的真实 ASR 从 64.7% 骤降至 1.0%，而发现的后缀组合仅从 76.9% 轻微下降至 76.0%。
- 语义过滤器： Llama Guard 3（LG3）显著降低了所有方法的效果，但发现的后缀组合整体仍保持 2–3 倍 的优势，在强对齐目标上相比 GCG 保持 8–16 倍 的优势。
内部动态： 分析揭示了“句子边界奖励悬崖”，即安全惩罚在标点符号处激增。成功的后缀将间隙缩小能力集中在单个连写从句内，以避开这些悬崖。

意义与主张

论文声称，当前的对齐裕度虽然普遍存在，但往往很薄且易于测量。主要贡献并非一种新型的危害类别（因为这些后缀针对的是原本就易受 GCG 攻击的模型），而是一个定量诊断框架和一种用于安全评估的计算高效探测工具。

作者认为：

防御必须进化： 已发布的基于困惑度的过滤防御不足以对抗模仿良性指令风格文本的分布内后缀。
需要分层防御： 由于不同的防御（困惑度 vs. 语义）能拦截不同的攻击风格，因此需要结合输入过滤和输出语义分类。
对齐伪影： 该方法揭示了特定的对齐伪影，如句子边界奖励悬崖，为研究安全微调如何重塑内部表示提供了一种轻量级探测手段。

该工作遵循负责任的披露原则，在发布前 30 天与主要模型提供商（Meta、Alibaba、Google、Mistral、OpenAI）的安全团队分享发现的后缀，并将伪影访问权限限制在可接受使用政策之后。