技術的概要：Geometry-Lite：層別マージン幾何学による解釈可能な安全性プロービング

問題定義

大規模言語モデル（LLM）が大規模に展開されるにつれ、プロンプトレベルの有害性検出は重要な安全性コンポーネントとなっています。単一層のスナップショット（通常は最終プロンプトトークン）に対する線形分類器を用いた隠れ状態プローブは標準的なベースラインですが、これらは「単一の層で安全性に関連する信号を要約するのに十分である」という仮定に依存しています。この仮定は、以下の 2 つの理由から再検討が必要です：

1. 境界事例（Borderline Cases）： 標準ベンチマークにおける集約性能は、曖昧なプロンプトにおける振る舞いを隠蔽しがちです。低偽陽性率で動作する安全性システムにとって、これらの曖昧なプロンプトは極めて重要です。
2. 分布外（OOD）汎化： ベンチマーク分割で良好な性能を示すモデルは、転移しないショートカット特徴に依存している可能性があります。最近の研究では、活性化ベースの安全性プローブがクロスデータセット評価において大幅な劣化を示すことが示されています。

核心的な研究課題は、単に「複数の層が役立つかどうか」ではなく、「意思決定が重要な領域（低偽陽性率）およびベンチマークのシフト下において、どのような形態の多層証拠が有用であるか」です。具体的には、著者らは安全性信号が層全体に分散しているのか、層間運動（変位）によって駆動されているのか、あるいは安全性境界に対するマージンプロファイルの持続的な位置によって定義されているのかを調査します。

手法：Geometry-Lite

著者らは、ラベル付けされた幾何学的軸に沿って多層の安全性信号を分解するように設計された、コンパクトなプロンプトレベルプローブ「Geometry-Lite」を導入します。この手法は 3 つの段階で動作します：

1. 層別マージン削減

各トランスフォーマー層 $\ell$ において、最終プロンプトトークンの $D$ 次元隠れ状態 $h^{(\ell)}(x)$ は、3 つの相補的な幾何学的読み出しを用いてスカラー符号付きマージンに削減されます：

• 重心距離（Centroid Distance）： クラス条件付き平均（安全な場合は $\mu^+$、安全でない場合は $\mu^-$）までのユークリッド距離の差。
  $$m^{cent}_\ell(h) = \|h - \mu^-_\ell\|_2 - \|h - \mu^+_\ell\|_2$$
• k-NN 局所近傍（k-NN Local-Neighborhood）： 安全および安全でないトレーニングプール内の $k$ 個の最近傍までの平均コサイン距離の差。これは唯一の非線形読み出しです。
  $$m^{knn}_\ell(h) = \bar{c}^-_k(h) - \bar{c}^+_k(h)$$
• 教師あり線形境界（Supervised Linear Boundary）： 標準化された特徴量に対して層ごとにフィットされた L2 正則化ロジスティック回帰境界であり、符号付きスコアを生成します。
  $$m^{lin}_\ell(h) = w^\top_\ell z + b_\ell$$

このプロセスにより、隠れ状態の軌道 $H(x) \in \mathbb{R}^{L \times D}$ が、3 つのスカラーマージン軌道 $m^G(x) \in \mathbb{R}^L$（ここで $G \in \{cent, knn, lin\}$）に変換されます。

2. 命名軸によるプロファイル要約

各マージンプロファイルは、異なる層別信号の形態を分離するために、3 つの命名軸に沿って要約されます：

• マージンレベル（Margin Level）： 持続的な境界位置を捉えます（例：終点マージン、極値、負側占有、および面積）。
• 層間変化（Layer-to-Layer Change）： 有限差分（$\Delta m_\ell = m_{\ell+1} - m_\ell$）を介して局所的な運動を分離し、絶対位置から運動を区別します。
• 構造的形状（Structural Shape）： 粗いプロファイル特性を捉えます（例：最初の境界交差、変化のばらつき、全経路長、および方向的一貫性）。

これらの軸により、39 次元の特徴ベクトル $\phi(x)$（幾何学あたり 13 特徴）が生成されます。

3. 分類

39 次元ベクトルは、L2 正則化ロジスティック回帰分類器に入力されます。パラメータ数はバックボーンモデルのサイズや隠れ次元に依存しません。

ベースラインおよび比較

本研究では、Geometry-Lite を以下の手法と比較します：

• 単一層プローブ： 検証によって選択された最良の層。
• MultiLayer-DIM： 層全体にわたる平均差方向への投影を集約します。
• MultiLayer-Linear： 層全体にわたる生教師あり線形スコアを集約します。
• TaT-Disp-LSTM： LSTM を用いて層別変位をモデル化する軌道ベースのベースライン。

主要な貢献

1. Geometry-Lite プローブ： 層別隠れ状態を 3 つの幾何学的読み出しの下で符号付きマージンプロファイルに変換し、それらを命名軸（境界位置、変化、形状）に沿って要約する、コンパクトで解釈可能なプローブ。
2. 多層証拠の分解： 情報豊富な層全体での集約、境界相対的なマージン位置、および明示的な層間運動という、多層信号の 3 つの説明を解きほぐすフレームワーク。
3. 実証的知見：
   • 信号の集中： 安全性証拠は主に持続的な境界位置幾何学（マージンレベルと占有）を通じて表現されます。層間運動（ドリフト）は集約 AUROC にほとんど寄与しません。
   • ドリフトの有用性： ドリフトはプールされた AUROC にはほとんど追加しませんが、シフトした低 FPR 閾値下では、スパースでリコール指向の修正を提供します。
   • 読み出しの安定性のトレードオフ： 最適化された線形境界は分布内では鋭い分離を示しますが、分布シフト下では劣化します。一方、クラス条件付き平均幾何学（重心/DIM）は、ベンチマークシフト（LOBO プロトコル）下でより確実に分離を維持します。

実験結果

評価は、9 つのインストラクションチューニング済みバックボーン（Llama、Gemma、Qwen ファミリー；1.2B–70B）および 7 つの安全性ベンチマーク（XSTest、WildJailbreak、JBB-Behaviors、DoNotAnswer、BeaverTails、PKU-SafeRLHF、ToxicChat）にわたります。

• 分布内パフォーマンス： Geometry-Lite（AUROC 0.955）および MultiLayer-Linear（0.954）は、最良の単一層プローブ（0.941）を上回り、MultiLayer-DIM（0.911）および TaT-Disp-LSTM（0.945）を大幅に上回ります。Geometry-Lite は生スコアスタッキングと同等の性能を示しつつ、解釈可能性を提供します。
• 意思決定が重要な領域： 低偽陽性率（3% および 5% FPR）において、多層の利点はより顕著です。Geometry-Lite は、5% FPR において最良の単一層プローブより真陽性率（TPR）を約 0.06–0.08 改善します。
• 汎化（LOBO）： 1 つのベンチマークを除外した評価（Leave-One-Benchmark-Out）下では、教師あり線形手法とクラス平均手法（MultiLayer-DIM）の間の性能差は縮小します。MultiLayer-DIM（0.889）は MultiLayer-Linear（0.889）と同等であり、多くのセルで最良の単一層プローブ（0.842）を上回ります。
• 特徴アブレーション：
  • 大きさ特徴のみは、0.001–0.002 AUROC 以内で完全な 39 特徴モデルと同等の性能を示します。
  • 構造的特徴およびNeg-drift 特徴のみは、著しく劣ります。
  • 読み出しアブレーション： 分布内では、教師あり線形境界が最も強力です。困難なベンチマークシフト下では、重心読み出しが最も安定した単一ブランチとなり、最も困難な保持済みサブセットにおいて線形境界を上回ります。

意義と主張

本論文は、プロンプトレベルの安全性証拠が主に層間運動信号ではなく、持続的な層別マージン幾何学であると主張しています。この信号の有用な構成要素は、安全性境界に対するマージンの位置および層全体でのその持続性です。

本研究は、安全性プロービングにおける重要なトレードオフを浮き彫りにします：

• 最適化された境界（線形分類器）は分布内で強力な分離を捉えますが、分布シフト下では劣化します。
• クラス平均幾何学（重心/DIM）は分布内では鋭くありませんが、ベンチマークシフトに対してよりロバストです。

したがって、著者らは、多層安全性プローブを分布内 AUROC だけでなく、シフト下でどの幾何学的バイアスが転移するかによっても評価すべきであると論じます。Geometry-Lite は、特に偽陽性がコストのかかる意思決定が重要な領域において、これらの構成要素とバイアスを可視化するためのツールとして機能します。

限界： 本研究は、手動設計されたマージン要約、単一ターン安全性プロンプト、および二値安全性ラベルに限定されています。将来的な研究では、学習されたプロファイル関数、マルチターン監視、および他のプロンプトレベルタスクへの応用が検討され得ます。