技術要約：Fair ASR: 共有ターゲットコール・バジェット下におけるブラックボックス・ジェイルブレイクの再評価

1. 問題提起

大規模言語モデル（LLM）のジェイルブレイク攻撃に関する現在の評価は、主に攻撃成功率（ASR）に依存しているが、その成功に必要とされる攻撃予算（アタック・バジェット）を考慮できていないことが多い。既存の研究では、不平等なリソース制約の下で得られた最終的なASR値を報告することが多く、手法の有効性が、それが利用したターゲットへのアクセス量と混同されてしまうという問題がある。

近年の「計算量（compute-aware）」を考慮した評価では、リソースを統一されたスカラー値（例：FLOPs）に集約することで予算を正規化しようとする試みがあるが、これにはブラックボックスのシナリオにおいて重大な限界がある：

1. 不可視性： クローズドソースのモデルにおける推論FLOPsは一般に利用不可能であり、推定する必要がある。
2. 非互換性： FLOPsは、異なるリソース制約（例：APIのレート制限 vs 計算コスト）を単一の指標に潰してしまうため、レート制限や悪用検知によってターゲットモデルへのアクセスが主要なボトルネックとなる運用上の現実を覆い隠してしまう。

その結果、異種混合のブラックボックス・ジェイルブレイク攻撃を評価するための、比較可能で観察可能な基盤が欠如している。

2. メソドロジー：Fair-ASR プロトコル

これらの課題に対処するため、著者らは**共有ターゲットコール・バジェット（$B$）**の下で比較を標準化する評価プロトコルである Fair-ASR を導入する。

コア原則

• 主要予算（$B$）： プロトコルでは、ターゲットコール数（被害者モデルへのクエリ数）を主要な予算として使用する。これを選択した理由は以下の通りである：
  • すべてのブラックボックス攻撃において普遍的である（すべての攻撃はターゲットにクエリを送る必要がある）。
  • 運用上の制約（レート制限、アカウント停止など）を反映している。
  • クローズドなAPIにおけるFLOPsとは異なり、直接観察可能である。
• 二次的指標： アタッカーへのコール（アタッカーLLMまたは補助的な判定器へのクエリ）は、効率性のトレードオフを分析するために、主要な予算とは別に追跡される。
• 評価指標：
  • ASR@B： 最大 $B$ 回のターゲットコール以内に攻撃に成功した有害なリクエストの割合。
  • ASR-Budget Curve（ASR-予算曲線）： $B$ が増加するにつれてのASRの軌跡であり、成長率と飽和点を明らかにする。
  • Average Target Calls (ATC)： 成功した攻撃1回あたりに消費された平均ターゲットコール数。
  • Harmfulness Score (HS)： 有害なレスポンスの深刻度と説得力を評価する品質指標（StrongREJECTのルーブリックを使用）。

実験範囲

著者らは、以下の3つのカテゴリにわたる 11の代表的な攻撃 を再評価した：

1. 手動作成テンプレート： CodeAttack, DeepInception, CipherChat.
2. 確率的な反復サンプリング： Best-of-N (BoN).
3. LLM駆動の自動化攻撃： PAIR, TAP, ReNeLLM, AutoDAN, GPTFuzzer, AutoDAN-Turbo, Rainbow Teaming.

実験は、多様なターゲットモデル（Llama-3.1, gpt-oss, GPT-4o, GPT-5, Gemini-3.1-Pro, Claude-Sonnet-4.6）を用いて、標準的なデータセット（HarmBench, JailbreakBench）で行われた。

3. 再評価からの主要な知見

Fair-ASRの適用により、3つの重要な洞察が得られた：

1. 予算依存のランキング： 攻撃のランキングは、ターゲットコール・バジェットに対して非常に敏感である。大きな予算の下では優れているように見える手法も、タイトな予算の下ではより単純な手法に負けることがある。例えば、Llama-3.1-8Bにおいて、TAPは $B=5$ ではBoNをリードするが、$B=100$ ではBoNがTAPを追い越す。
2. 単純なプリミティブの競争力： 単純な攻撃プリミティブは、等しいターゲットアクセス条件下でも依然として高い競争力を保持している。
   • 確率的摂動： BoNは追加のターゲットコールとともに改善し続け、アタッカーモデルへのコールを一切行わずに高いASRを達成する。
   • 手動作成テンプレート： 構造化されたテンプレート（例：CodeAttack）は、非常に少ないターゲットコール（例：$B=1$ でASR 62%）で高い成功率を達成し、低予算の領域では複雑なLLM駆動型の手法を凌駕することが多い。
3. 効率性のトレードオフ： 評価されたLLM駆動型の手法のなかで、ターゲットコールとアタッカーコールの両方において一様に効率的な手法は存在しない。
   • ReNeLLM は高いターゲットコール効率（低いATC）を実現するが、反復的な書き換えとプロンプトのみによる有害性ゲート（prompt-only harmfulness gate）のために、高いアタッカーコール・コストを招く。
   • 他の手法（例：PAIR, TAP）は、アタッカーコールは少ないかもしれないが、同様の成功閾値に達するために、より多くのターゲットコールを必要とする。

4. 提案される解決策：ReCode

特定された「二次元的な効率性のギャップ」に着想を得て、著者らは、ターゲットコールとアタッカーコールの両方を最小限に抑えつつ、ASRを最大化するように設計された組成型攻撃である ReCode を提案する。

設計アーキテクチャ

ReCodeは、3つのコンポーネントを単一パスのパイプラインに組み合わせている：

1. ゲートフリーの脱感作書き換え（Gate-free Desensitization Rewriting）： 書き換えをフィルタリングするためにプロンプトのみの有害性ゲートを使用し、コストのかかるリトライを発生させるReNeLLMとは異なり、ReCodeは脱感作戦略（例：文学的な書き換え、客観的な置換）を用いたシングルパスの書き換えを行い、補助的な判定器のループを必要としない。
2. アタッカーフリーの確率的摂動（Attacker-Free Stochastic Perturbation）： 書き換えられたプロンプトは、BoNと同様に、文字レベルの摂動（例：大文字小文字の反転、ASCII挿入）を受けるが、これには追加のアタッカーコールはゼロである。
3. 構造化されたコードスタイルのネスト（Structured Code-Style Nesting）： 摂動を受けたプロンプトは、構造化されたコードスタイルのテンプレート（例：Pythonのクラス定義）の中に埋め込まれ、アタッカーモデルによる洗練を必要とせずに意図をさらに隠蔽する。

結果

$B=20$ のターゲットコール・バジェットの下で評価した結果：

• パフォーマンス： ReCodeは、5つのターゲットモデル（gpt-ossのバリアントを含む）において平均 81.0% のASRを達成し、3つのフロンティア・クローズドソースモデル（GPT-5, Gemini-3.1-Pro, Claude-Sonnet-4.6）において 70.3% を達成した。
• 効率性： リクエストあたり平均わずか 7.00回 のアタッカーコール（AAC）を必要とし、これはReNeLLM（18.69）やTAP（49.56）よりも大幅に低い。
• 具体的な利点： GPT-5において、ReCodeはReNeLLMのASR 31%から 85% へと向上させると同時に、アタッカーコールを26.02から 7.19 へと削減した。
• 有害性： ReCodeはまた、最高の平均有害性スコア（HS）0.662を達成しており、これは高い成功率がより高品質な有害レスポンスと相関していることを示している。

5. 意義と主張

本論文は、Fair-ASR がブラックボックス・ジェイルブレイクを比較するための、必要不可欠で観察可能なベースラインを提供し、不平等な予算比較から導かれる誤解を招く結論を修正するものであると主張している。これは、アルゴリズムの複雑さが必ずしも効率性を保証するわけではなく、単純で低コストなプリミティブがしばしば過小評価されていることを示している。

ReCode の導入は、脱感作書き換えとアタッカーフリーの難読化技術を組み合わせることで、効率性のギャップを埋めることが可能であるという概念実証（PoC）として機能する。著者らは、将来の評価は、LLMの安全性環境を正確に評価するために、最終的なASRを超えて、共同のリソース効率（ターゲットおよびアタッカーのコール数）を考慮しなければならないと結論付けている。

留意事項：

• プロトコルは現在、シングルターンの攻撃に焦限于しており、マルチターン設定はまだカバーしていない。
• ターゲットコールは、トークン使用量、API価格、またはテンプレート開発の手作業によるコストを捉えていない。
• 本研究は、ReCodeが効率的である一方で、特定のモデルの挙動（例：コード・ネストに対するClaudeの感度）は変動する可能性があり、さらなる調査が必要であることを認めている。