技術要約：NonTextual Target Attack (NTA)

1. 問題定義

大規模言語モデル（LLM）における既存の勾配ベースのジェイルブレイク攻撃は、その最適化目的において根本的な限界を抱えている。現在の最先端手法（例：GCG、COLD-Attack、AdvPrefix）は、事前定義されたテキストターゲット（例：「Sure, here is...」のような特定の肯定的な接頭辞を強制する）に依存している。

このアプローチは、以下の2つの重大な問題を引き起こす：

1. 制約の強すぎる探索空間： 目的を固定された文字列に制限することで、これらの手法は不安全な出力空間の大部分を無視してしまう。ターゲットとなるLLMの自然な応答パターンが事前定義された接頭辞と一致しない場合（例：Llama-3は「Sure」ではなく「Here」から始まることが多い）、最適化プロセスは収束に苦しみ、多くの反復後でも攻撃成功率（ASR）が低くなる。
2. 非効率性： 元のモデルの出力と硬直したターゲット接頭辞との間の大きなギャップを埋めるために、膨大な最適化反復が必要となり、結果として高い計算コストと遅い収束を招く。

核心となる問題は、成功したジェイルブレイクとは不安全またはポリシーに違反するコンテンツの生成によって定義されるものであり、特定の語彙テンプレートへの準拠によって定義されるものではないということである。しかし、「不安全性」を直接最適化することは困難である。なぜなら、安全性の評価は通常、微分不可能であり、テキストの完全なデコード後にのみ発生するためである。

2. 手法：NonTextual Target Attack (NTA)

著者らは、特定の応答パターンを強制することなく、不安全な応答の確率を最大化するために、非テキスト的な制約目的を最適化する初の勾配ベースの攻撃である**NonTextual Target Attack (NTA)**を提案する。

核心となる目的

この攻撃は、アドバーサリアル・プロンプト $p$（$p$ は、実行可能な近傍 $V(p_0)$ 内にある元のプロンプト $p_0$ の変種）が与えられたときの、ターゲットLLMの応答 $L(p)$ の不安全確率 $S(L(p))$ を最大化することを目的とする：
$$\max_{p} S(L(p)), \quad \text{s.t. } p \in V(p_0)$$
ここで、$S(\cdot)$ はスコアリングモデル（例：安全性分類器または判定モデル）であり、応答が不安全である可能性を推定する。

分解戦略

$S(L(p))$ は離散的なプロンプト $p$ に対して微分不可能であるため、NTAは問題を2つの交互に実行される微分可能なサブ目的へと分解する：

1. 応答の最適化（ターゲットの探索）：
   まず、スコアリングモデル $S$ の連続的なロジット空間における最適な「有害な応答」表現 $r$ を探索する。これは、元のプロンプトに対する意味的な関連性を維持しながら、不安全スコアを最大化するように定式化される。
   $$\min_{z^J_r} \mathcal{L}_{unsafe}(z^J_r) + \lambda \mathcal{L}_{sem}(z^J_{L(p)}, z^J_r)$$
   ここで、$\mathcal{L}_{unsafe}$ は応答が安全であることの負の対数尤度を最小化し、$\mathcal{L}_{sem}$ はターゲットが到達可能な状態に留まるよう、現在のモデル出力からの意味的な逸脱を罰する。

2. プロンプトの最適化（ターゲットの誘発）：
   最適な応答表現 $r$ が特定されたら、ターゲットLLMに $r$ と一致する応答を生成させるためのアドバーサリアルな接尾辞 $\delta$ を探索する。これは、ターゲットLLMの出力ロジットと最適化された応答ロジットの間の平均二乗誤差（MSE）を最小化することによって達成される。
   $$\delta^* = \arg \min_{\delta} \text{MSE}(z^L_{L(p_0 \oplus \delta)}, z^L_r)$$

主要な技術的構成要素

• 語彙投影行列（Vocabulary Projection Matrix）： スコアリングモデル（判定器）とターゲットLLMの間には、異なるトークナイザーを使用している可能性があるため、NTAは投影行列 $W$ を構築する。これにより、スコアリングモデルの語彙空間からのアドバーサリアルな増分を、トークンの分割や結合（例：判定器における単一のトークンをターゲットにおける複数のサブトークンにマッピングする）を処理しながら、ターゲットLLMの語彙空間へとマッピングする。
• 反復的交互最適化： アルゴリズムは、スコアリングモデルの空間における応答表現の最適化と、ターゲットLLMの空間におけるアドバーサリアルな接尾辞の更新を交互に繰り返す。
• 理論的検証： 著者らは、連続緩和（トークンを確率ベクトルとして扱う）の下で、サブ目的の逐次解が、元の非微分的な目的の最適解を近似することを証明する命題を提示している。

3. 主な貢献

• 新しい目的関数： NTAは、固定されたテキストターゲットの制約を取り除き、代わりに不安全な挙動の確率を直接最適化する初の勾配ベースの攻撃である。
• 拡張された探索空間： プロンプトを特定の接頭辞から切り離すことで、NTAはより広く多様な有害な応答の空間を探索し、固定ターゲット手法の「局所最適解」の罠を回避する。
• 効率性： 微分可能なサブ目的への分解により、迅速な収束が可能となり、既存の手法よりも大幅に少ない反復回数で高い成功率を達成する。
• 堅牢性： 本手法は、異なるモデルアーキテクチャ間での強力な転移性と、様々な防御メカニズム（例：パープレキシティ・フィルタリング、パラフレーズ）に対する耐性を示している。

4. 実験結果

著者らは、AdvBenchおよびHarmBenchデータセットを用いて、5つの安全性調整済みオープンソースLLM（Llama3-8B, Qwen3-8B, Mistral-7B, Vicuna-7B, DeepSeek-7B）と、3つの高度なクローズドソースモデル（Llama3-70B, DeepSeek-R1-671B, Grok-3）に対してNTAを評価した。

• 攻撃成功率（ASR）： NTAは、わずか100回の最適化反復で、AdvBenchで平均96.8%、HarmBenchで**90.8%**のASRを達成した。
• SOTAとの比較： NTAは、既存の最良の勾配ベースのベースライン（例：COLD-Attack, AdvPrompter）をASRにおいて40%以上上回った。例えば、Llama3-8B-itにおいて、NTAは95%のASR-Gを達成したが、最良のベースラインであるAdvPrompterは47%であった。
• 収束速度： NTAは最初の25回の反復以内に平均66.2%のASRに達しており、停滞したり退化したシーケンスに崩壊したりすることが多いベースラインと比較して、急速な収束を示した。
• 応答の多様性： 固定ターゲット攻撃が反復的でステレオタイプな出力を生成するのに対し、NTAは、高いDistinct N-grams Score (DNS) と低いSelf-BLEUスコアによって示されるように、意味的に多様な有害な応答を生成した。
• 防御への堅牢性： NTAは、他の手法が完全に失敗する標準的な防御メカニズム（例：GCGは5%まで低下）に対しても、高いASR（例：パープレキシティ防御下で97%）を維持した。
• 転移性： 小規模なホワイトボックスモデルで最適化されたプロンプトは、大規模で高度なモデル（例：Llama3-70Bで35%のASR）へも正常に転移した。これは他の転移手法よりも優れている。

5. 意義と主張

本論文は、最適化の目的と攻撃の実際の目標（不安全なコンテンツの生成 vs 文字列の一致）との間の根本的なミスマッチに対処することで、NTAが勾配ベースのジェイルブレイクにおけるパラダイムシフトを象徴していると主張している。

• 効率性： 著者らは、NTAが既存の手法が必要とする計算予算のわずかな一部で優れた結果を達成することを強調しており、これによりセキュリティ評価のためのより実用的なツールとなっている。
• 柔軟性： 硬直した語彙的制約を取り除くことで、NTAは固定ターゲット手法が見逃してしまう脆弱性を明らかにし、より包括的なLLM安全性評価を提供する。
• 汎用性： 多様なモデルにおける有効性と、異なるスコアリングモデルおよび防御に対する堅牢性は、NTAが特定のモデルのアーティファクトに過学習しているのではなく、本質的な安全性の弱点を特定していることを示唆している。

著者らは、NTAがLLMの安全性を評価するためのより原理的かつ効率的なアプローチを提供しており、現在の研究における既定のターゲットへの依存が、安全性調整済みモデルの脆弱性を著しく過小評価していることを明らかにしていると結論付けている。