技術的概要：Logit-Gap Steering

問題定義

人間のフィードバックに基づく強化学習（RLHF）によってアラインメントされた大規模言語モデル（LLM）は、安全でないリクエストを拒否するように訓練されている。しかし、このアラインメントは、拒否と承諾の間に狭い「運用マージン」しか生み出していないことが多い。先行研究では、有毒なプロンプトに短い分布外（out-of-distribution）の接尾辞を付加することで、このマージンを埋め、モデルを拒否から承諾へと転換できることが示唆されている。

ここで扱われる中心的な問題は、この最初のトークンにおける拒否マージン（最初のデコーディングステップにおける logit レベルの決定）を測定し、その堅牢性を探るための、スケーラブルかつ定量的な診断手法の欠如である。GCG（Gradient-based Coordinate Gradient）のような効果的なジャイルブレイク接尾辞を発見するための既存の手法は、大規模な分布外トークン空間における勾配ベースの最適化に依存している。これらの手法は計算コストが高く（例：A100 1 基で 50 のプロンプトに対し約 5 時間）、また、分布外であるため困惑度（perplexity）が高くなり、困惑度ベースの防御によって容易に検知されてしまう。

手法：Logit-Gap Steering

著者らは、分布内トークンを用いて拒否と肯定の logit 差を測定し、埋めるために設計された、勾配不要・順方向パス（forward-pass）のみの診断手法であるLogit-Gap Steeringを導入する。

1. 拒否－肯定 Logit Gap

中心的な指標は、有害なプロンプト後の最初のデコーディングステップ（$h_0$）において、上位の拒否トークンの logit と上位の肯定トークンの logit の差として定義される：
$$\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$$
本論文は、アラインメントにより、ベースモデルと比較して有毒なプロンプトの绝大多数においてこの gap が拡大すると仮定する。ジャイルブレイクが成功するのは、接尾辞 $S$ が累積 gap をゼロ以下に減少させた場合である。

2. スコアリング関数（Gap 埋め代理指標）

勾配計算を回避するため、本手法は単一の順方向パスから導出されたスコアリング関数 $F(h, t)$ を用いて、候補トークン $t$ に対する gap 減少を近似する。このスコアは以下の 3 つの代理指標を組み合わせる：

• Logit Gap 減少: logit 差の即時的変化。
• KL ペナルティ代理指標: 拒否 logit と、中立かつ高確率のトークンを比較することで、ベースモデルからの乖離を近似する。
• 報酬シフト代理指標: 学習された報酬モデルの好みを表す代理指標として、増分的な肯定 logit を使用する。

統合されたスコアは以下の通りである：
$$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$$

3. 探索アルゴリズム

本手法は**貪欲なカバリング（Greedy Covering）**アルゴリズムを採用する：

1. 候補フィルタリング: 語彙をフィルタリングし、プロンプトを与えられた際に高確率である分布内トークン（拒否トークンではないもの）のみを保持する。
2. スコアリング: 各候補を $F(h, t)$ を用いてスコアリングする。
3. 選択: トークンをスコアの降順に貪欲に選択し、累積スコアが初期 gap $\Delta_0$ を超えるまで続ける。
4. 変種: 単一トークンの視野狭窄と分布外アーティファクトを克服するため、著者らは以下の手法を導入する：
   • DFS 句収集（Phrase Harvesting）: 文法的な肯定句を収集するための深さ優先探索。
   • 構成要素レベル探索: 複数のトークンシーケンスを原子単位として評価する。
   • 順列選択: KL-報酬のバランス、直接 gap の最小化、または統合スコアの最適化のために、上位候補の順列を探索する。

4. 効率性

このプロセス全体は順方向パスのみを必要とする。モデルファミリーに対する 8 接尾辞アンサンブルの発見には、約26,000 回の順方向パスに相当する計算量（A100 1 基で約 2 分）を要し、これは単一の GCG 探索と比較して約125 倍少ない計算量である。

主要な貢献

1. アラインメント診断: 最初のトークンにおける運用上の拒否マージンの定量的指標として、拒否－肯定 logit gap を定義すること。著者らは、異なる戦略全体で中央値 gap 閉塞が真の攻撃成功率（ASR）と共変することを示し、内部的一貫性のチェックとして機能することを証明した。
2. 効率的な探査手法: GCG よりも計算コストが著しく低く、効果的で分布内（コンポーネントあたり 10 トークン未満）の接尾辞を発見する勾配不要の手法。
3. クロススケール転移: 小規模モデル（0.5B～2B パラメータ）で発見された接尾辞は、同一ファミリー内のより大規模なモデル（最大 72B）に対して修正なしで転移する。
4. 隠密性: 発見された接尾辞の困惑度値は、GCG 接尾辞に比べて$10^3$～$10^4$倍低い。その結果、GCG を成功裡にブロックする困惑度フィルタ防御に対しても、これらは効果的であり続ける。

実験結果

この手法は、AdvBench および HarmBench を用いて、3 つのファミリー（Llama、Gemma、Qwen）にわたる 13 のモデルで評価された。

• 攻撃成功率（ASR）: 8 接尾辞アンサンブルは、13 のモデル全体で38～96% の真の ASRを達成した。強くアラインメントされたモデル（例：Qwen2.5-72B）において、アンサンブルは GCG+SH よりも8～18 倍優れていた（37.9% 対 4.6%）。
• 効率性: 本手法は、汎用接尾辞の発見において GCG より約125 倍高速であり、8 ショット GCG ベースラインよりも17 倍高速である。
• 防御回避:
  • 困惑度フィルタ: 困惑度フィルタ防御（$T=1000$）の下では、GCG+SH は真の ASR が 64.7% から 1.0% へと崩壊したが、発見されたアンサンブルは 76.9% から 76.0% へとわずかに低下しただけであった。
  • セマンティックフィルタ: Llama Guard 3（LG3）はすべての手法を大幅に減少させたが、発見されたアンサンブルは全体として2～3 倍のリードを維持し、強くアラインメントされたターゲットにおいては GCG に対して8～16 倍のリードを維持した。
• 内部ダイナミクス: 分析により、句読点で安全ペナルティが急上昇する「文境界報酬の崖（sentence-boundary reward cliffs）」が明らかになった。成功した接尾辞は、これらの崖を回避するために、単一の連続した節（run-on clause）内に gap 埋めの力を集中させていた。

意義と主張

本論文は、現在のアラインメントマージンは一貫して存在するものの、薄く、効率的に測定可能であると主張する。主な貢献は、有害な新しいクラス（接尾辞は既に GCG に対して脆弱なモデルを標的としている）ではなく、安全性評価のための定量的診断フレームワークと計算的に効率的な探査プローブである。

著者らは以下を主張する：

1. 防御の進化が必要: 公開されている困惑度フィルタ防御は、 benign な指示スタイルのテキストを模倣する分布内接尾辞に対しては不十分である。
2. 多層防御が必要: 異なる防御（困惑度対セマンティック）が異なる攻撃スタイルを捕捉するため、入力フィルタリングと出力セマンティック分類の組み合わせが必要である。
3. アラインメントアーティファクト: この手法は、文境界報酬の崖のような特定のアラインメントアーティファクトを露呈させ、安全チューニングが内部表現をどのように再構築するかを調査するための軽量プローブを提供する。

本作業は責任ある開示に準拠しており、発見された接尾辞を主要なモデルプロバイダー（Meta、Alibaba、Google、Mistral、OpenAI）の安全チームと、リリースの 30 日前に共有し、アーティファクトへのアクセスを許容使用ポリシーの背後でゲート制御している。