On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

技术摘要：关于 Transformer 防御对抗混淆攻击的几何局限

问题陈述
提示注入攻击通过将恶意指令嵌入看似无害的输入中，对大语言模型（LLM）的安全性构成重大风险。当前的防御机制主要依赖监督分类方法，并使用准确率、精确率、召回率和 F1 分数等标准指标进行评估。尽管这些指标能有效捕捉可观察到的误分类行为，但作者认为它们对 Transformer 所学习到的潜在表示的鲁棒性提供的洞察有限。存在一个关键缺口：检测器可能实现近乎完美的分类性能，却依赖于脆弱的潜在表示，从而被自适应对手利用。具体而言，高检测性能是否意味着针对组合式提示混淆的表示鲁棒性，目前尚不明确。

方法论
为了研究提示注入防御的几何特性，作者构建了一个包含 10,000 个样本的数据集，涵盖四类：干净样本、前缀样本、后缀样本和混淆样本。混淆类是通过多操作符变换生成的，包括 Unicode 同形异义字替换（例如用西里尔字母替换拉丁字母）、零宽字符插入、标点/表情符号噪声，以及碎片化指令的随机组合。

研究采用了三种不同深度和容量的 Transformer 架构：DistilBERT、BERT-Base 和 BERT-Medium。这些模型经过微调以进行四类分类。除了标准性能指标外，作者引入了几何指标来分析最终层嵌入（$\phi(x)$）：

1. 类内方差（$\sigma^2_{intra}$）：衡量特定类流形内嵌入的离散程度。
2. 类间距离（$D$）：量化两个类流形之间的分离程度。
3. 干净 - 混淆边界（$\delta$）：定义为任意干净嵌入与任意混淆嵌入之间的最小欧几里得距离（$\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$）。

作者利用主成分分析（PCA）和 t-分布随机邻域嵌入（t-SNE）来可视化嵌入流形，并评估干净提示与混淆提示之间的空间关系。

主要贡献
本文做出了三项主要贡献：

1. 潜在嵌入坍塌的形式化：作者将“潜在嵌入坍塌”定义为一种现象，即多操作符混淆提示部分侵入干净提示所占据的潜在空间区域，而未引发误分类。其特征表现为部分流形坍塌。
2. 几何指标的引入：该工作提出了几何指标（方差、类间距离和最小边界）来量化表示鲁棒性，为传统性能指标提供了互补的评估框架。
3. 性能 - 鲁棒性缺口的实证展示：研究实证表明，增加模型深度或容量并不能解决潜在嵌入坍塌问题，表明该缺口是一种固有现象，而非模型规模有限的产物。

结果
评估得出了以下发现：

• 高分类性能：所有三个模型（DistilBERT、BERT-Base、BERT-Medium）均实现了近乎完美的分类性能（准确率、精确率、召回率和 F1 分数均约为 99%）。
• 潜在嵌入坍塌：尽管准确率高，但几何分析揭示了严重的不稳定性。最小干净 - 混淆边界被发现为 $\delta = 1.02$，表明某些混淆提示在嵌入空间中任意接近干净提示。
• 升高的类内方差：混淆嵌入表现出高类内方差（$3.33 \pm 6.23$），表明虽然某些混淆输入距离较远，但其他输入则坍塌到了干净流形上。
• 可视化证据：PCA 和 t-SNE 可视化证实，虽然前缀和后缀提示保持良好分离，但混淆提示表现出升高的离散度，并与干净流形出现部分重叠。
• 扩展的无效性：增加模型容量（从 DistilBERT 到 BERT-Medium）改善了收敛性和置信度，但未能增加干净 - 混淆边界或降低混淆方差。

意义与主张
本文主张，标准评估指标未能捕捉潜在嵌入坍塌以及 Transformer 防御底层的几何脆弱性。作者断言，高检测性能并不意味着表示鲁棒性。因此，他们认为性能 - 鲁棒性缺口是当前基于 Transformer 的混淆防御的固有特征。

这项工作的意义在于识别出了“性能 - 鲁棒性缺口”，证明了检测器可以高度准确却在几何上脆弱。作者得出结论，稳健的提示注入防御需要以几何感知鲁棒性分析作为基于性能的评估的必要补充。他们并未声称已解决该漏洞，而是揭示了当前防御评估方式的根本局限性，从而推动转向分析所学表示的几何结构。