技術要約：平均的なジェーンのためのジェイルブレイク（脱獄）

問題提起

大規模言語モデル（LLM）におけるジェイルブレイク（脱獄）の蔓延は、非専門的な悪意のあるアクター（「平均的なジェーン」）が、これらの脆弱性を利用して実行可能な有害な応答を引き出すことができるという懸念を高めています。数多くのジェイルブレイク手法が存在する一方で、非専門家による効果的な利用を妨げている2つの決定的なギャップがあります：

1. 選択のギャップ（Selection Gap）：膨大かつ増え続ける既知の手法の中から、特定のターゲットモデルに対して最適なジェイルブレイクを、網羅的（かつ検知されやすい）な試行錯誤なしに特定すること。
2. クエリのギャップ（Query Gap）：単純なクエリでは、高度にアライメントされたモデルから実行可能な詳細を引き出すことは難しいため、安全性のトレーニングを回避するのに十分な複雑さを持つ悪意のあるクエリを作成すること。

本論文では、これらのギャップが、自動化された原理的な攻撃戦略を通じて埋められるかどうかを調査します。具体的には、非専門家が最適なジェイルブレイク・ポリシーを学習できるか、また、クエリを自動的に強化することで攻撃成功率を高められるかを検証します。

手法

著者らは、ジェイルブレイクの選択のためのオンライン学習と、クエリ強化のための自動プロンプトエンジニアリングを組み合わせた、二段構えのアプローチを提案しています。

1. マルチアームド・バンディットによるジェイルブレイクの選択

著者らは、ジェイルブレイクの選択を、マルチアームド・バンディット（MAB）アルゴリズムによって解決可能な逐次的決定問題として定式化しています。

• 定式化：$n$ 個のジェイルブレイク $\mathcal{J}$ と $T$ 個の悪意のあるクエリのシーケンスが与えられたとき、攻撃者は学習者として振る舞います。各ステップ $t$ において、学習者はジェイルブレイク $J(t)$ を選択し、バイナリ報酬（有害な応答であれば1、そうでなければ0）を観測します。
• シナリオ：
  • 転送攻撃（Transfer Attack）：攻撃者は探索セット $D^{(tr)}$ 上でポリシー（ジェイルブレイクの分布）を学習し、この固定されたポリシーを別の搾取セット $D^{(ev)}$ に適用します。これは「最良腕特定（best-arm identification）」を模倣したものです。
  • 継続的攻撃（Continual Attack）：攻撃者は、累積報酬を最大化するために、探索と搾取を同時に行いながら、搾取フェーズ中にオンラインでポリシーを更新します。
• アルゴリズム：本研究では、部分情報バンディット・アルゴリズム（例：EXP3、Thompson Sampling、LinUCB）と完全情報バンディット・アルゴリズム（Randomised Weighted Majority）の両方を評価しています。部分情報アルゴリズムは、1回のラウンドにつき $n$ 回のクエリではなく1回のクエリのみを必要とするため、計算効率の面で好ましいとされています。
• 後悔（Regret）：目標は、劣線形な後悔（sublinear regret）を達成することです。つまり、攻撃者の成功率と、事後的に判明した最良のジェイルブレイクとの差が、クエリの数が増えるにつれて消失することを意味します。

2. クエリ強化：FRANKENSTEINBENCH

クエリの複雑性のギャップに対処するため、著者らは11,279個の悪意のあるクエリを含む安全性ベンチマークである FRANKENSTEINBENCH を導入しています。

• 構築：クエリは7つの既存のベンチマーク（例：AIRBench、WMDP、HarmBench）から取得され、LLMを用いて強化されています。
• 複雑性の分類：クエリは、単純（Simple）（直接的な悪意のある要求）と、複雑（Complex）（悪意のある意図を隠蔽するために、技術的な専門用語やドメイン固有の専門知識を用いて再構成された要求）に分類されます。
• 強化戦略：「デュアルユースのジレンマ（dual-use dilemma）」を活用し、単純なクエリは、LLMに専門家ペルソナ（例：金融アドバイザー、サイバーセキュリティの専門家）を採用し、技術用語を使用するよう指示するシステムプロンプトを用いて、自動的に複雑なものへと変換されます。
• 分類器：可読性スコア（例：Dale-Chall）とLLM-as-a-judgeを組み合わせたアンサンブル分類器を使用し、クエリの複雑さを89.17%の精度で自動的にラベル付けします。

主な貢献

1. 原理的な攻撃戦略：バンディット・アルゴリズムを利用して、最適なジェイルブレイク・ポリシーを効率的に学習する新しい脅威モデル。このアプローチにより、攻撃者は総当たり的な評価に伴うコストや検知のリスクを避けつつ、高パフォーマンスなジェイルブレイクを効率的に特定できます。
2. FRANKENSTEINBENCH：6つの高リスク領域（金融、ヘルスケア、教育、サイバーセキュリティ、法務、公衆への危害）にわたる11,279個の悪意のあるクエリを含む包括的な安全性ベンチマーク。これは、手動で検証されたテスト分割と自動的な複雑性ラベル付けを備え、単純なクエリと複雑なクエリを明確に区別しています。
3. 包括的な評価：15種類の最先端のオープンウェイトモデル（270Mから120Bパラメータまで）と70種類の異なるジェイルブレイクにわたる広範なテストを実施。本研究では、約1,200万組のクエリと応答のペアを判定しています。

実験結果

• バンディットの有効性：バンディットベースの攻撃は、「一様事前分布（Uniform Priors）」（ランダムな選択）のベースラインおよび単一の静的なベスト・ジェイルブレイクの両方を大幅に上回りました。
  • 平均して、バンディット・アルゴリズムは、複数パス（1つのクエリにつき $k=5$ 個のジェイルブレイクをサンプリング）を使用する場合、15のモデルに対して最大 97% の攻撃成功率（ASR）を達成しました。
  • シングルパス（$k=1$）の場合でも、バンディット手法（例：Thompson Sampling、EXP3）は、特に最適なジェイルブレイクが明白ではない gpt-oss ファミリーのようなモデルにおいて、トップクラスの個別ジェイルブレイクを大幅に上回ります。
• 複雑性の影響：複雑なクエリは本質的に、より危険です。
  • ベースラインの設定（ジェイルブレイクなし）では、複雑なクエリの平均ASRは 50% であり、単純なクエリの 39% と比較して高くなっています。
  • ジェイルブレイクと組み合わせると、複雑なクエリは単純なクエリと比較して、ASRを平均で最大 26% 押し上げます。
• 転送性：
  • クロスドメイン：非ターゲットドメインでの探索は、最小限のパフォーマンス低下（約6%の差）しか示さず、ドメイン固有の探索は厳密には必要ないことを示唆しています。
  • クロスモデル：小さなプロキシモデル（例：4Bまたは12Bパラメータ）で学習されたポリシーは、より大きなターゲットモデル（例：27Bまたは70B）に効果的に転送され、高いASRを維持することがよくあります。
• 堅牢性：バンディットのアプローチは、利用可能なジェイルブレイクのセットを、ワースト10個のジェイルブレイクのみを含むように削減した場合でも有効であり、一方でナイーブなベースラインは大幅に失敗します。

意義と主張

本論文は、展開されているLLMを攻撃することに関して、非専門的なアクターが成功するという懸念は正当であると主張しています。自動化されたクエリ強化（検知が困難な複雑なプロンプトの作成）と、効率的なポリシー学習（バンディット・アルゴリズムによる）を組み合わせることで、非常に効果的な、自動化可能な攻撃パイプラインが構築されます。

• 安全性への影響：現在の安全性評価は、静的な単純なクエリや単一の「最良の」ジェイルブレイクに依存している場合、不十分である可能性があることを示唆しています。本論文は、攻撃者が動的にモデルに適応し、クエリの複雑さを利用して安全性のためのアライメントを回避できることを実証しています。
• 防御の観点：本研究は、適応的な攻撃者や複雑なクエリ構造を考慮したレッドチーミング戦略の必要性を強調しています。このような自動化された多段階攻撃に対する防御の研究、および現実世界の制約や非専門的な敵対者の能力を反映した安全性評価の開発を求めています。

著者らは、英語データへの焦点、シングルターン形式の会話、およびコストとアクセスの制約によるプロプライエタリなモデルへの広範なテストの欠如といった限界を認め、控えめなトーンを維持しています。彼らは、自身の研究を、安全性の評価基準を引き上げ、より強固な防御を促すためのステップとして位置付けています。