💬 NLP

What Intermediate Layers Know: Detecting Jailbreaks from Entropy Dynamics

本文表明，通过分析大语言模型中间层中标记级预测熵的单调趋势，可以检测出越狱攻击，这揭示了有害意图是编码在结构化的不确定性动态之中，而非静态聚合统计量或最终层输出之中。

原作者： Sofiia Nikolenko, Michele Papucci, Mina Rezaei, Shireen Kudukkil Manchingal

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Sofiia Nikolenko, Michele Papucci, Mina Rezaei, Shireen Kudukkil Manchingal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大语言模型（LLM）想象成一座非常先进的多层工厂。当你输入一个问题（提示词）时，信息会通过这座建筑的楼层（层/layers）向上移动。在底层，接收到的是原始文本。当信息到达顶层时，工厂已经处理好了文本，准备输出答案。

多年来，安全专家一直试图捕捉“越狱”（jailbreaks）——即旨在诱骗工厂产生危险或违禁输出的诡计提示词。大多数防御手段都在观察入口（你输入的文本）或出口（工厂打印出的答案）。但本篇论文提出了一个不同的问题：在工厂进行作业的过程中，内部到底发生了什么？

以下是研究人员的发现，用通俗易懂的方式解释如下：

1. “混乱度量计”（熵）

在工厂内部，在每一个处理步骤中，机器都有一个“混乱度量计”。这个量计测量的是机器对于下一个词要说什么有多么不确定。

低混乱度： 机器非常确定（例如，“天空是……蓝色的”）。
高混乱度： 机器在胡乱猜测（例如，“天空是……也许是紫色的？或者是烤面包机？”）。

研究人员不仅仅观察整个提示词的平均混乱水平。相反，他们观察了随着句子的构建，这个**“混乱度量计”是如何移动的**。

2. “平滑滑梯” vs. “平直线”

团队发现，对于坏提示词（越狱）和好提示词（安全问题），这个量计的行为表现出截然不同的模式。

安全提示词： 想象混乱度量计就像一个平静的湖泊。它可能会起一些涟漪，但总体而言，随着句子的推进，它保持相对平坦和稳定。
越狱提示词： 想象混乱度量计就像一个光滑的滑梯。随着坏提示词的展开，机器的不确定性并不仅仅是保持高或低；它会随着词汇的堆叠，沿着一个非常特定的、平滑的滑动方向（要么是稳步变得更加自信，要么是稳步变得更加困惑）移动。

研究人员意识到，这个量计如何移动（即“轨迹”）才是真正的线索，而不仅仅是它在某一时刻处于多高的高度。

3. “中间楼层”的秘密

这是最令人惊讶的部分：这种“光滑滑梯”的模式在顶层（打印答案的最后一层）或最底层是看不见的。

顶层： 当信息到达顶层时，工厂已经“清理”了信号。这种滑动模式消失了或者被打乱了。
中间楼层： “光滑滑梯”模式在建筑物的中间部分（具体是在大约 60–70% 的层数处）最为响亮且清晰。

这就像是工厂在它的处理流水线中间有一个秘密的“危险区”，在这里，一个恶意请求的结构最为明显，但等到产品完成时，这些证据已经被抹平了。

4. 为什么这很重要（无需训练）

研究人员构建了一个工具，它就像一个只聚焦于这些中间楼层的监控摄像头。

无需新训练： 他们不需要教工厂任何新知识。他们只是观察现有的“混乱度量计”的移动情况。
到处适用： 他们在三种不同的主要工厂设计（Llama、Qwen 和 Gemma）上测试了这一点。尽管这些工厂的构造不同，但当尝试越狱时，所有它们的中间楼层都出现了“光滑滑梯”模式。
优于旧方法： 观察平均混乱度（静态统计）就像是通过看一张速度计的照片来猜测汽车是否在超速。观察轨迹（动态特征）则像是看着汽车在坡道上加速；这能告诉你更多关于实际发生的情况的信息。

局限性（不足之处）

论文指出了两个主要的局限性：

你需要看到内部： 要使用这种方法，你需要能够接触到工厂的“中间楼层”（内部数据）。如果你使用的是无法看到内部结构的“黑盒”AI，你就无法使用这种特定的检测器。
巧妙的模仿： 如果一个“安全”提示词采用了在结构上看起来像越狱的风格（即使它本身并无害），检测器就会产生混淆。它检测的是提示词的结构，而不是意图。如果一个安全提示词模仿了“光滑滑梯”模式，检测器可能会将其标记为危险。

总结

简而言之，这篇论文揭示了当大语言模型被越狱攻击欺骗时，其内部的“不确定性”并不仅仅是静止不动，而是会以一种可预测的、平滑的模式进行滑动。这种模式在模型的中间处理层中最明显，通过观察模型置信度如何演变，而非仅仅观察它说了什么，提供了一种全新的、无需训练的识别此类攻击的方法。

技术摘要：通过中间层熵动力学检测越狱攻击

1. 问题陈述

越狱攻击利用大型语言模型（LLM）来规避安全训练，尽管进行了对齐工作，仍诱导模型产生违反政策的响应。虽然现有的防御手段作用于提示词层面（过滤器）、输出层面（响应检查）或通过监督分类器进行拦截，但有害意图在内部编码方面的机制仍未得到充分理解。具体而言，目前尚不清楚对抗性意图是如何在模型的潜空间中表示的，这种信号如何随标记（token）位置演变，以及在 Transformer 架构的哪个深度内，该信息最能与良性输入区分开来。

依赖静态聚合统计量（如平均困惑度或熵）的现有方法往往无法捕捉到刻画越狱尝试的标记间及其与模型内部状态之间细微且局部的相互作用。本文认为，越狱行为不仅仅是整体不确定性水平的变化，它还会导致预测熵在提示词展开过程中产生结构化动力学（structured dynamics）。

2. 方法论

作者提出了一个无需训练的框架，用于分析冻结 LLM 中间层的标记级预测熵轨迹。该方法依赖于以下组件：

2.1 中间层熵提取（Logit Lens）

该方法并非等待最终输出，而是将特定层 $\ell$ 的中间隐藏状态 ( $h_t^{(\ell)}$ ) 直接投影到词表空间中，使用模型的最终解嵌入矩阵 ( $W_U$ )。这种“Logit Lens”技术在每个中间步骤生成下一个标记的概率分布 $p^{(\ell)}(\cdot | x_{<t})$ 。
随后计算每个标记位置 $t$ 在这些探测层上的香农熵 $H_t^{(\ell)}$ ，从而创建一个熵轨迹 $H^{(\ell)} = (H_1^{(\ell)}, \dots, H_{T-1}^{(\ell)})$ 。

2.2 特征构建

该框架区分了源自这些轨迹的两类特征：

静态（层级）特征（Static (Level) Features）： 总结整个提示词不确定性强度的聚合统计量，例如均值、最大值、标准差和最小值。
动态（趋势）特征（Dynamic (Trend) Features）： 捕捉不确定性在标记位置上的方向性演变。关键特征包括：
- 肯德尔 $\tau$ (Kendall's $\tau$ )： 熵值与标记位置之间的秩相关性。
- 斯皮尔曼 $\rho$ (Spearman's $\rho$ )： 秩变换后的熵与标记位置之间的皮尔逊相关性。
- 单调性 (Monotonicity)： 连续标记对中熵向特定“有害”方向（ $d$ ）移动的比例，该方向根据每个模型进行经验性确定（例如，对于 Llama/Qwen 是下降，对于 Gemma 是上升）。

2.3 评估协议

研究使用冻结模型在单次前向传播中评估这些特征。检测性能通过定向 ROC 曲线下面积 (AUROC) 进行衡量，该面积是在模型的自然有害方向上计算的。评估涵盖了三个开源模型（Llama-3.1-8B, Qwen3-8B, Gemma-7b）以及多个对抗性基准（AdvBench, HarmBench, StrongREJECT）对比良性数据集（UltraChat, WildJailbreak, JailbreakBench）。

3. 主要贡献

本文做出了三个主要贡献：

无需训练的分析： 引入了一种仅通过中间层激活即可检测越狱信号的方法，无需微调分类器或分析生成的输出。
动态 vs 静态信号： 证明了判别能力主要在于动态轨迹特征（单调性和基于秩的趋势），而非静态聚合熵统计量。
基于深度的定位： 识别出越狱信号集中在中间层（网络深度的 50%–85% 左右），并在最终层显著退化，这表明有害意图在被输出特定处理转换之前，已编码在中间层的语义表示中。

4. 实证结果

4.1 动态特征优于静态聚合

在所有模型中，动态趋势特征一致地将越狱提示词与良性提示词区分开来，而静态特征（均值、最大熵）表现出高方差和较差的跨模型泛化能力。

单调性在 Llama (0.941) 和 Qwen (0.941) 上实现了最高的平均 AUROC。
肯德尔 $\tau$ 和 斯皮尔曼 $\rho$ 提供了稳健且具有架构一致性的分离能力（平均 AUROC $\approx$ 0.78–0.80），且具有近乎为零的跨模型方差，这表明熵演变的结构是一个可迁移的信号，而不受绝对熵尺度的影响。

4.2 信号在中间层的集中性

判别信号在深度上并非均匀分布。

中间层峰值： 单调性和肯德尔 $\tau$ 等特征在中间层达到峰值（例如，Llama 的第 22 层/共 32 层；Qwen 的第 25 层/共 36 层）。
最终层退化： 性能在最终层急剧下降。对于 Gemma，肯德尔 $\tau$ 从中间层的 0.796 下降到最终层的 0.458。这表明最终层主动抑制或重组了早期表示中存在的对抗性结构。
与静态特征的对比： 静态特征（如平均熵）呈现相反的趋势，通常在最终层表现最好，这证实了它们捕捉的是与动态趋势不同的计算属性。

4.3 泛化性与对抗性控制

跨模型一致性： 尽管存在训练流水线和层数的差异，基于秩的特征在 Llama、Qwen 和 Gemma 之间表现出良好的泛化性。
对抗性控制 (JailbreakBench Benign)： 当良性集合由“JailbreakBench benign”提示词（旨在模仿有害请求结构但不具备有害意图）组成时，AUROC 崩溃（降至 ~0.35）。这表明该信号检测的是结构化提示词组合而非语义上的有害性。当良性输入在结构上模拟越狱时，内部动力学变得难以区分。

5. 意义与主张

本文主张，对齐后的 LLM 中的越狱行为反映在结构化的中间不确定性动力学中。具体而言：

可解释性： 研究结果阐明了有害意图在何处（中间层）以及如何（单调熵趋势）被编码，为模型内部提供了一个诊断视角。
架构一致性： 该信号是中层表示的一种涌现属性，在不同的模型家族（Llama, Qwen, Gemma）中持续存在，且无需额外训练。
局限性与范围： 作者谦逊地将此定义为一种诊断性表征，而非成熟的部署就绪检测器。他们承认该方法需要对中间激活进行白盒访问，且其有效性取决于良性提示词的分布。如果良性提示词在结构上模拟越狱，信号会发生退化。此外，该方法依赖于 Logit Lens 投影，由于表示失配，可能会引入失真。

总之，本研究确立了监测中间层中标记级预测熵的演变，可以为识别与越狱尝试相关的结构化模式提供一种稳健且无需训练的信号，这与传统的基于困惑度的检测方法所使用的静态不确定性水平有着本质区别。