On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

技術的サマリー：隠蔽攻撃に対するトランスフォーマー防御の幾何学的限界

問題定義
プロンプトインジェクション攻撃は、一見無害な入力に悪意のある指示を埋め込むことで、大規模言語モデル（LLM）の安全性に重大なリスクをもたらす。現在の防御策は主に教師あり分類メカニズムに依存しており、精度、適合率、再現率、F1 スコアなどの標準的な指標を用いて評価されている。これらの指標は観測可能な誤分類の挙動を効果的に捉えるが、著者らは、トランスフォーマーが学習する潜在的表現の頑健性に関する洞察は限定的であると主張する。重要なギャップが存在する：検出器がほぼ完璧な分類性能を達成していても、適応型攻撃者によって悪用されうる脆弱な潜在的表現に依存している可能性があることだ。具体的には、高い検出性能が、構成的プロンプト隠蔽に対する表現の頑健性を意味するかどうかは不明なままだ。

方法論
プロンプトインジェクション防御の幾何学的性質を調査するため、著者らはクリーン、プレフィックス、サフィックス、隠蔽の 4 クラスにわたる 1 万例のデータセットを構築した。隠蔽クラスは、Unicode ホモグリフ置換（例：ラテン文字のキリル文字への置換）、ゼロ幅文字の挿入、句読点や絵文字によるノイズ、断片化された指示の確率的構成など、多演算子変換を用いて生成された。

本研究では、深さと容量が異なる 3 つのトランスフォーマーアーキテクチャ（DistilBERT、BERT-Base、BERT-Medium）を採用した。これらのモデルは 4 クラス分類のためにファインチューニングされた。標準的な性能指標に加え、著者らは最終層の埋め込み（$\phi(x)$）を分析するための幾何学的指標を導入した：

1. クラス内分散（$\sigma^2_{intra}$）：特定のクラス多様体内での埋め込みの分散を測定する。
2. クラス間距離（$D$）：2 つのクラス多様体間の分離度を定量化する。
3. クリーン - 隠蔽マージン（$\delta$）：任意のクリーン埋め込みと任意の隠蔽埋め込みとの間の最小ユークリッド距離として定義される（$\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$）。

著者らは、埋め込み多様体を可視化し、クリーンプロンプトと隠蔽プロンプトの空間的関係を評価するために、主成分分析（PCA）と t 分布確率隣接埋め込み（t-SNE）を利用した。

主要な貢献
本論文は 3 つの主要な貢献を行う：

1. 潜在埋め込みの崩壊の形式化：著者らは、「潜在埋め込みの崩壊」を、多演算子による隠蔽プロンプトが誤分類を引き起こすことなく、クリーンプロンプトが占める潜在空間の領域に部分的に侵入する現象として定義する。これは部分的な多様体の崩壊によって特徴づけられる。
2. 幾何学的指標の導入：表現の頑健性を定量化するための幾何学的指標（分散、クラス間距離、最小マージン）を提案し、従来の性能指標を補完する評価枠組みを提供する。
3. 性能と頑健性のギャップの実証的実証：モデルの深さや容量を増加させても潜在埋め込みの崩壊は解消されないことを実証的に示し、このギャップはモデルサイズの限界によるアーティファクトではなく、本質的な現象であることを示唆する。

結果
評価は以下の知見をもたらした：

• 高い分類性能：3 つのモデル（DistilBERT、BERT-Base、BERT-Medium）すべてが、ほぼ完璧な分類性能（精度、適合率、再現率、F1 スコア $\approx$ 99%）を達成した。
• 潜在埋め込みの崩壊：高い精度にもかかわらず、幾何学的分析は深刻な不安定性を明らかにした。最小のクリーン - 隠蔽マージンは $\delta = 1.02$ であり、これは一部の隠蔽プロンプトが埋め込み空間においてクリーンプロンプトに任意に近い位置にあることを示している。
• 高まったクラス内分散：隠蔽埋め込みは高いクラス内分散（$3.33 \pm 6.23$）を示し、一部の隠蔽入力は遠く離れている一方で、他はクリーン多様体上に崩壊していることを示している。
• 視覚的証拠：PCA と t-SNE の可視化は、プレフィックスとサフィックスのプロンプトはよく分離されたままであったが、隠蔽プロンプトは高まった分散を示し、クリーン多様体と部分的に重なっていたことを確認した。
• スケーリングの無効性：モデル容量を増加させる（DistilBERT から BERT-Medium へ）ことは、収束と信頼性を向上させたが、クリーン - 隠蔽マージンを増大させたり、隠蔽分散を減少させたりすることはできなかった。

意義と主張
本論文は、標準的な評価指標が潜在埋め込みの崩壊とトランスフォーマー防御の幾何学的脆弱性を捉えられていないと主張する。著者らは、高い検出性能が表現の頑健性を意味するわけではないと断言する。したがって、彼らは性能と頑健性のギャップが、現在の隠蔽に対するトランスフォーマーベースの防御の本質的な特性であると論じる。

この研究の意義は、「性能と頑健性のギャップ」を特定し、検出器が極めて正確でありながら幾何学的には脆弱であることを実証した点にある。著者らは、頑健なプロンプトインジェクション防御には、性能ベースの評価を補完するものとして、幾何学的な頑健性分析が必要であると結論づけている。彼らは脆弱性を解決したと主張するのではなく、防御の評価方法における根本的な限界を露呈させたとしており、学習された表現の幾何学的構造を分析する方向への転換を動機づけている。