💻 computer science

The Great Pretender: A Stochasticity Problem in LLM Jailbreak

本論文は、LLM のジャイルブレイクにおける攻撃成功率（ASR）の不安定性が、評価および生成の両段階における確率的変動に起因し、体系的に過大評価された指標をもたらすことを明らかにし、このばらつきを正確に測定し性能損失を回復するための CAS-eval および CAS-gen フレームワークを提案する。

原著者： Jean-Philippe Monteuuis, Cong Chen, Jonathan Petit

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jean-Philippe Monteuuis, Cong Chen, Jonathan Petit

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが非常に厳格なクラブ（AI モデル）のセキュリティガードだと想像してください。あなたの仕事は、危険な物品（有害なプロンプト）を持ち込ませないことです。さて、忍び込もうとする巧妙なトリック師たち（研究者たち）のグループを想像してみてください。

長年、セキュリティ業界では、これらのトリック師の能力を単一のスコアで測定してきました：**攻撃成功率（ASR）**です。トリック師が 10 回の試みのうち 1 回でもガードを突破できれば、古いシステムは「素晴らしい！彼らは 100% 成功した！」と宣言します。

論文「The Great Pretender（偉大な偽者）」は、この測定方法が巨大な嘘であると主張しています。それは、マジシャンが帽子からウサギを取り出した 1 回だけを見て「彼はイリュージョンの達人だ」と言うようなもので、次の 9 回は失敗していたとしても無視されます。この論文は、現在の成功率が**ランダム性（確率性）**を無視しているため「水増し」されていると主張しています。

以下に、論文の発見を簡単なアナロジーを用いて解説します。

1. 「運」の 2 つの源泉

この論文は、現在の成功率スコアが信頼できない理由は、これまで誰も無視してきた 2 種類のランダム性にあると述べています。

生成の運（サイコロの振る舞い）： トリック師がジャイルブレイクを作成する際、同じトリックの多くの異なるバージョンを生成することがよくあります。これは、サイコロを 10 回振って「6」が出るか確認するようなものです。1 回目で「6」が出れば、そこでやめて「勝った！」と言うでしょう。しかし、次に振れば「6」が出ないかもしれません。古い論文は、その 1 回の幸運な結果だけを報告することが多かったのです。
評価の運（不安定な審査員）： トリック師がトリックを試した後、「審査員（別の AI）」がそれが成功したかどうかを判断します。しかし、この審査員も少し酔っていたり疲れていたりします。そのため、全く同じトリックに対して、ある時は「安全」、ある時は「危険」と言ったりするのです。単に気まぐれな気分の変化によるものです。もし審査員がテスト中に「寛容な」気分だった場合、トリック師は天才のように見えます。逆に審査員が厳しければ、トリック師は失敗したように見えます。

2. 「偉大な偽者」の問題

著者たちは、有名なジャイルブレイク手法の多く（「Best-of-N」や「Crescendo」など）が、実際よりも強力である偽装していることを発見しました。

シナリオ： ある論文が、トップクラスの AI に対するある手法の**成功率が 80%**であると主張します。
現実： 著者たちが適切にテストしたところ、同じ手法は一貫して成功するよう求めた場合、50% のみで機能しました。
アナロジー： これは、風が完璧に追い風だった場合のみカウントすれば 10 回中 8 回シュートを決めるバスケットボール選手のようなものです。しかし、通常の条件下で 10 回連続してシュートを決めるよう求めれば、5 回しか決められないかもしれません。古い論文は、「風の強い日」のシュートを mastery（熟練）の証明として数えていたのです。

3. 解決策：「一貫性」テスト

これを修正するため、著者たちは**CAS（攻撃成功の一貫性）**と呼ばれる新しい成功測定方法を提案しています。

「このトリックは 1 回でも機能したか？」と問う代わりに、**「このトリックは試すたびに毎回機能したか？」**と問います。

彼らは 2 つの新しいツールを導入しました。

CAS-gen（厳格な生成器）： トリックが「殿堂」に加えられさえする前に、一貫して機能することを証明しなければなりません。ガードを 5 回、あるいは 10 回連続で突破しなければなりません。1 回でも失敗すれば、排除されます。これにより「運が良い」トリックがフィルタリングされます。
CAS-eval（厳格な審査員）： トリックをテストする際、審査員はそれを 1 回見るだけではありません。審査員は同じトリックを 10 回見ます。審査員が 9 回「危険」と言い、1 回「安全」と言った場合（ランダム性による）、そのトリックは成功とはカウントされません。審査員の審査を毎回合格しなければなりません。

4. 衝撃的な結果

著者たちがこれらの厳格なルールを適用したところ、数値は劇的に低下しました。

低下： 一貫性をテストした際、80% の成功率があったように見えたいくつかの攻撃は、50% 以下に落ちました。これは「運」を取り除くだけで30 ポイントの低下です。
温度効果： 彼らは、審査員の「温度（ランダム性）」を上げると、成功率が人工的に高く見えることを発見しました。これは、セキュリティガードが誰を入れるかサイコロを振って決めるように指示されたようなもので、純粋な偶然によって多くの「成功」が得られることになります。
修正： 新しい「一貫性」フレームワークを使用することで、彼らは実際に攻撃を改善できました。作成段階で攻撃者に一貫性を強制することで、真に堅牢なトリックを見つけ出し、失われた 30% のパフォーマンスを取り戻しました。

結論

この論文は、現在の AI ジャイルブレイクのランキング方法が破綻していると結論付けています。それは、実際の理解度ではなく、1 回の幸運な推測に基づいて学生を評価するようなものです。

著者たちは新しい基準を呼びかけています。「どれだけ運が良かっただけか」ではなく、「どれだけの回数一貫して成功したか」を教えてください。 それを行うまで、研究論文で読まれている「攻撃成功率」は単なる「偉大な偽者」に過ぎません。表面では強く見えても、真のテストには失敗しているのです。

技術的概要：The Great Pretender：LLM ジャイルブレイクにおける確率性問題

1. 問題提起

大規模言語モデル（LLM）の安全性を評価する現在の標準である攻撃成功率（ASR）は、ASR を攻撃の固定された性質として扱う点において根本的に欠陥がある。著者らは、ASR は実際には既存の文献で largely 無視されている 2 つの独立した確率性源に強く影響される確率変数であると主張する。

生成における確率性（Generation Stochasticity）： ほとんどのジャイルブレイク攻撃（例：Best-of-N、Crescendo）は設計上確率的である。これらは複数の候補プロンプトを生成し、単一の成功試行に基づいて 1 つを選択する。単一の実行はランダムシードに応じて異なる候補セットを生成するため、ASR の結果は変動する。
評価における確率性（Evaluation Stochasticity）： 応答を「有害」または「安全」と分類するために使用される自動ジャッジ（例：Llama-Guard）は、温度 $T > 0$ で動作する場合、それ自体が確率的である。同じモデル応答が、ある評価では有害とラベル付けされ、別の評価では benign（無害）とラベル付けされることがある。

その結果、報告される ASR 数値は体系的に過大評価され、論文間で比較不可能となっている。10 回の試行のうち 1 回成功するプロンプトと、10 回中 10 回成功するプロンプトが同一視されることが多く、前者が真の脆弱性ではなく「幸運な引き」であるという事実が隠蔽されている。

2. 手法

本論文は、これらの確率性要因の影響を定量化するための体系的な実証研究を提案する。

実験設定

攻撃： 4 つのブラックボックス攻撃が評価された。Best-of-N（BoN）、PAIR、TAP、Crescendo。
ターゲットモデル： Meta Llama-3、Google Gemma-3、IBM Granite の 3 つのファミリーにまたがる、1B から 70B パラメータまでの 5 つの指示調整モデル。
ジャッジ： 2 つの LLM ベースのジャッジ（Llama-Guard-3-1B および Llama-Guard-3-8B）。
パラメータ： 本研究は、生成および評価パイプライン全体で 6 つの確率性パラメータを変化させた。
- 温度： ターゲットモデル生成（ $T_{gen}$ ）、ターゲットモデル評価（ $T_{eval}$ ）、ジャッジ生成（ $\theta_{gen}$ ）、ジャッジ評価（ $\theta_{eval}$ ）。
- 一貫性閾値： 連続して必要な成功評価の数（生成用 $k_{gen}$ 、評価用 $k_{eval}$ ）。
- シード： 分散を測定するための複数の独立したランダムシード（ $S=5$ ）。

提案フレームワーク

ASR の不安定性に対処するため、著者らは**攻撃成功の一貫性（CAS: Consistency for Attack Success）**および 2 つの関連フレームワークを導入する。

CAS 指標： プロンプトごとの二値インジケーター。すべての $k$ 回の独立した評価が有害な判断を返した場合にのみ、ジャイルブレイクは成功としてカウントされる。
- 標準 ASR は $k=1$ に対応する。
- データセットレベルの指標は $ASR(k_{eval})$ であり、 $CAS(r, k_{eval}) = 1$ となるプロンプトの割合である。
CAS-gen（攻撃生成フレームワーク）：
- 単一の成功試行（ $k_{gen}=1$ ）後にジャイルブレイクプロンプトを受け入れるのではなく、攻撃は $k_{gen}$ 回の独立した実行で一貫して有害な応答を引き出さなければならない。
- これにより、「偶然の成功」を発生源でフィルタリングし、攻撃データセットに堅牢なプロンプトのみを含めることを保証する。
CAS-eval（攻撃評価フレームワーク）：
- 固定されたジャイルブレイクプロンプトを $k_{eval}$ 回評価する。すべての $k_{eval}$ 回のジャッジ呼び出しが有害な判断を返した場合にのみ、一貫したジャイルブレイクとして分類される。
- これにより、ジャッジの非決定性によって引き起こされる偽陽性を抑制する。

3. 主要な結果

評価により、確率性パラメータは報告される ASR を最大 54 ポイントも変化させうることが明らかとなり、標準化なしには論文間比較が無効であることが示された。

評価閾値（ $k_{eval}$ ）の影響： $k_{eval}=1$ から $k_{eval}=10$ へ変更すると、すべての設定において ASR が12〜24 ポイント減少する。これは、標準的な単一ショット評価が攻撃の成功を著しく過大評価していることを示している。
ジャッジ温度（ $\theta_{eval}$ ）の影響： これは最も変動の激しいパラメータである。 $\theta_{eval}$ を 0.0 から 1.0 に引き上げると、ASR は最大54 ポイント減少する可能性がある（例：Crescendo が 86% から 32% に低下）。 $\theta_{eval}=0$ において、ASR は完全に安定する。
生成予算（ $k_{gen}$ ）の影響： $k_{gen}$ を 1 から 10 に増加させると、報告される ASR は12〜30 ポイント上昇する。緩いフィルタ（ $k_{gen}=1$ ）は、反復評価下で急激に劣化する境界線のプロンプトを許容する。
ターゲットモデル温度（ $T_{eval}$ ）の影響： $T_{eval}$ を 0.0 から 1.0 にシフトさせても、ASR は最大 18 ポイント変化し、系統的な方向性はない。これは相対的な攻撃の順位には影響しない。
攻撃シードの影響： シード間のばらつきは modest（最大 20 ポイント）であるが、特定の設定ではより高くなる可能性がある（例： $k_{eval}=10$ における LG-8B を用いた BoN で 50 ポイント）。

4. 貢献と意義

本論文は 3 つの主要な貢献を行う。

体系的な実証研究： 複数の攻撃、モデル、ジャッジにわたる生成および評価の両方の確率性に関する初の包括的な分析。ASR の分散を駆動する特定のパラメータを特定した。
新しい指標とフレームワーク： CAS（攻撃成功の一貫性）およびCAS-gen/CAS-evalフレームワークの導入。これらのツールにより、研究者は幸運な引きやジャッジノイズをフィルタリングし、より信頼性が高く再現性のある ASR 推定値を生成できる。
最小報告基準： 比較可能性を確保するための将来の研究向けチェックリストの提案。最低限、論文は以下の情報を開示しなければならない。
- $k_{gen}$ （生成の一貫性閾値）
- $k_{eval}$ （評価の一貫性閾値）
- $\theta_{eval}$ （ジャッジ評価温度）
- （BoN 攻撃の場合） $\theta_{gen}$ （ジャッジ検索温度）

意義：
本論文は、確率性を制御せずに ASR を点推定として報告する現在の慣行は「根本的に欠陥がある」と主張する。これらの変数を無視することで、コミュニティは、高い ASR スコアが真の脆弱性ではなく、ランダムシードやジャッジノイズの産物である「The Great Pretender（偉大な偽者）」という状況を創り出している。提案されたフレームワークと報告基準は、LLM 安全性ベンチマークに統計的厳密性を回復し、報告された成功率が真に再現可能な攻撃の有効性を反映することを目的としている。著者らは、彼らの知見はオープンウェイトモデルに基づいており、API 制限と透明性の欠如により、この分析をプロプライエタリで RLHF により強く調整されたモデルに拡張することは、依然として開かれた実証的な課題であると指摘している。