技術的サマリー：攻撃成功率を超えて、LLM の安全失敗に対する時間的ログオビザービリティ

問題定義

現在のアライメントされた大規模言語モデル（LLM）の安全評価は、主に**攻撃成功率（ASR）**に依存している。ASR は、生成の終了時点で計算される二元的な結果レベルの判断（成功/失敗）を提供する。運用面で魅力的ではあるが、この指標はデコーディングプロセスをブラックボックスとして扱い、モデルが最終応答に到達するまでのトークンレベルの軌跡を破棄している。

本論文は、ASR が構造的に限界があることを主張している。同じ有害なプロンプトに対する異なる攻撃は、根本的に異なる内部プロセスを経ているにもかかわらず、同一の最終応答（したがって同一の ASR ラベル）をもたらす可能性がある。例えば、拒絶が一時的にトリガーされて抑制されたり、害を防ぐには遅すぎて現れたり、あるいは全くトリガーされなかったりするケースがある。ASR はこれらの異なる時間的ダイナミクスを単一の数値に圧縮するため、異なる防御戦略を必要とするモデル - 攻撃ペアを区別できない。さらに、この隠れた構造を回復するための既存の方法（例えば、隠れ状態プローブ）は、モデルの活性化へのアクセスを必要とするが、これは現実世界の監査シナリオではしばしば利用不可能である。

手法：時間的ログオビザービリティ（TLO）

著者は、隠れ状態やモデル重みへのアクセスなしに、ログオットのみを使用して安全失敗の時間的ダイナミクスを再構築する、トレーニング不要の診断プロトコルである**時間的ログオビザービリティ（TLO）**を提案する。

コアコンポーネント

1. ログオットマージンスコア（LMS）:
   TLO は、準拠トークンの固定英語語彙（$L_{cmp}$）と拒絶トークンの固定英語語彙（$L_{ref}$）を用いて、各デコーディングステップ $t$ における準拠 - 拒絶のバランスを測定する。
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   ここで、$\mu$ はそれぞれの語彙内のトップ-$k$ トークンの平均ログオットスコアを表す。正の $S_t$ は準拠の優位性を示し、負の $S_t$ は拒絶の優位性を示す。

2. 時間的サマリー:
   プロトコルは、LMS 軌跡 $S_{0:T}$ から 2 つの主要な観測値を抽出する。

   • 生成前（$S_0$）: 応答トークンが生成される前の最終プロンプト位置におけるログオットマージン。
   • 生成時（$\bar{S}$）: 生成されたシーケンス全体にわたる平均ログオットマージン（例：早期ウィンドウ用の変種 $\bar{S}_{1:5}$ など）。
   • 活性化タイミング（$t_{cross}$）: 軌跡が拒絶優位（$S_t < 0$）に初めて遷移するステップ。

3. 相対位置（RP）較正:
   異なるモデル、攻撃、プロンプト形式間での観測値を比較可能にするため、TLO は参照分布に対して生ログオット信号を較正する。
   $$RP(M) = \frac{M_{success} - M_{harmful}}{M_{benign} - M_{harmful}}$$
   ここで、$M$ は、成功した攻撃、すべての有害サンプル、および攻撃形式の benign 参照にわたる指標（例：$S_0$ または $\bar{S}$）の平均を表す。

   • $RP = 0$ は、有害なアンカーに似た行動を示す。
   • $RP = 1$ は、benign なアンカーに似た行動を示す。
   • $[0, 1]$ 以外の値は、観測された反転として報告される。

4. RP 平面:
   各モデル - 攻撃条件は、較正された生成前位置 $RPA$と較正された生成時位置$RPB$である 2 次元座標$c = (RPA, RPB)$にマッピングされる。条件間のユークリッド距離（$D_{RP}$）は、安全失敗の時間的分離を定量化する。

主要な貢献

1. ログオットからの較正された時間的座標: 本論文は、LMS 軌跡を較正された 2 次元空間に要約する RP 平面座標系を導入する。この設計は ASR を補完するものである。RP の変位は $(1-ASR)$ によって制限されており、ASR 単独では攻撃が成功した「なぜ」について最も情報が少ない中 ASR 条件において、主要なシグナルを担っている。
2. 不可視な相互作用の回復: TLO は、ほぼ同一の ASR を持つ条件が RP 平面内で異なる位置を占めることを明らかにする。同じ攻撃ファミリーはモデル間で異なる時間的シグネチャを生み出し、同じモデルは異なる攻撃を異なる時間的メカニズムを通じて処理する。
3. 隠れ状態との整合性: ログオットベースの軌跡は、12 のテストされたモデル - 攻撃条件のうち 10 件で、隠れ状態の拒絶方向と整合しており、活性化へのアクセスがなくても観測可能なログオットシグナルが安全に関連する情報を担っていることを検証している。
4. デコーディング時介入: 時間的シグナルから導き出された単純な早期停止ルール（$t_{cross} > 5$ の場合、生成を停止する）は、偽陽性を生成することなく、集計 ASR を 39.6% から 13.1% に削減する。

実験結果

著者は、4 つのアライメントされた LLM（Llama、Mistral、Qwen、Gemma）と 3 つのジャイルブレイクパラダイム（MCM、GCG、DeepInception）のグリッド上で、条件あたり 60 の有害プロンプトを使用して TLO を評価した。

• ASR 近傍の区別: ほぼ同一の ASR を持つ攻撃（例：Llama+DI の 55.0% 対 Qwen+DI の 58.3%）は、較正された距離 $D_{RP} = 0.572$ で分離された。さらに驚くべきことに、Llama+DI（55.0%）と Mistral+GCG（56.7%）は $D_{RP} = 1.014$ で分離され、RP 平面が ASR には見えない構造的差異を捉えていることを示している。
• 時間的分離: 成功したジャイルブレイクは通常、拒絶優位への遷移を遅らせたり回避したりするのに対し、失敗したジャイルブレイクは早期（多くの場合最初の 5 トークン以内）に拒絶優位へ遷移する。軌跡は outcomes を Cohen's $d > 1.0$ および ROC-AUC 0.771–0.784 で分離した。
• 隠れ状態との整合性: ログオットマージン（$S_t$）と隠れ状態の拒絶射影との相関は、Llama において強く（$|\rho| \ge 0.70$）、Mistral と Gemma において中程度であった。Qwen は、一部の攻撃で期待される符号が反転するモデル固有の境界を示し、特定のアーキテクチャに対する固定語彙アプローチの限界を浮き彫りにした。
• 介入の有効性: $t_{cross}$ に基づく均一な早期停止ルールを適用することで、集計 ASR を 26.5 ポイント削減した。この介入は、「Null-generation Bias（NGB）」条件（RP 幾何学が設計上無情報である場合）で最も効果的であり、時間的シグナルが弱い場合、生 ASR シグナルが支配的となり、均一な停止が効果的であることを示唆している。
• ロバスト性: 結果は、デコーディングのランダム性、語彙の摂動、より厳格な遷移基準に対して安定していた。この手法には、完全なログオットまたは対象語彙トークンのログ確率が必要であり、標準的なトップ-$k$ 出力（例：$k=20$）では不十分であった。

意義と主張

本論文は、TLO を ASR の代替としてではなく、安全失敗の「いつとどのように」を観測可能にする必要な診断レイヤーとして位置づけている。

• 観測可能性のギャップ: 著者は、安全評価は失敗の発生だけでなく、その展開を報告すべきであると主張する。TLO は、隠れ状態へのアクセスを持つ者にのみ以前は制限されていた能力である、標準的なログオットのみを使用してこれらの時間的ダイナミクスを観測する最初の手法を提供する。
• 相補性: RP 平面は、ASR が最も情報が少ない場所（中 ASR 条件）で最も有益になるように設計されている。それは、結果指標が圧縮してしまうモデル - 攻撃相互作用の異質性を露呈する。
• 実行可能な監視: この研究は、較正されたログオット幾何学が、攻撃固有のチューニングなしで効果的なデコーディング時監視（早期停止）を駆動し、フォーマットフリーの benign クエリで偽陽性をゼロに保ちながら、成功したジャイルブレイクを大幅に削減できることを実証している。
• 限界: 著者は明示的に、TLO は因果的ではなく観測的であることを指摘している。それは安全証拠が「いつ」現れるかを特定するが、背後にある神経回路を特定するわけではない。この手法は、固定された英語語彙と完全なログオットアクセスに依存しており、API 制限環境では利用できない可能性があるため、現在、オープンウェイトの英語監査に最も適用可能である。