🤖 AI

AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability

AdversaBenchは、構造化された変異オペレータを介して敵対的プロンプトを生成し、マルチジャッジ確認システムを通じて失敗を検証する自動レッドチーミング・パイプラインであり、変異の有効性はタスクカテゴリによって異なる一方で、敵対的プロンプトは強力なモデル間転移性を示すことを明らかにしている。

原著者： Khanak Khandelwal (Indian Institute of Technology Jodhpur)

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Khanak Khandelwal (Indian Institute of Technology Jodhpur)

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、新しい非常にスマートなロボットアシスタントのヘッドコーチになったと想像してください。そのロボットを実際の人間に話させる前に、おかしなことを言ったり、悪い指示に従ったり、自分自身のルールを破ったりしないことを確認する必要があります。この、ロボットに間違いを犯させようとして騙そうとするプロセスを「レッドチーミング（Red-Teaming）」と呼びます。

論文「AdversaBench」は、このようなテストを行うための新しい自動化された方法と、異なるテスト手法が実際にどの程度有効であるかについての研究について説明しています。以下に、簡単な言葉で内容をまとめます。

1. 問題点：一人の審判では不十分である

通常、ロボットをテストする場合、トリッキーな質問を投げかけ、別のAI（「審判」）にその回答を採点させます。

欠陥: もしその単一の審判が寛容すぎると、本当の間違いを見逃してしまうかもしれません。逆に厳しすぎると、ロボットが実際には間違っていないのに、失敗したと判断してしまうかもしれません。審判が単に「機嫌が悪い」のか、あるいは偏見を持っているのかを知る術がありません。
解決策: 著者らは、すべての回答を採点するために3人の審判を使用するシステム「AdversaBench」を構築しました。もし全員の意見が一致すれば、それでOKです。もし意見が分かれた場合は、「スーパー審判（メタ審判）」が登場して最終決定を下します。これは、単に一人のレフェリーがいるのではなく、パネル（審判団）がいて、意見がまとまらない場合にヘッドレフェリーが最終判断を下すスポーツの試合のようなものです。

2. 攻撃の仕組み（「ミューテーション（変異）」マシン）

このシステムは、単純な「シード（種）」となる質問（基本的なテスト問題のようなもの）から始まります。次に、「ミューテーター（変異器）」を使用して、その質問をねじ曲げたり回転させたりすることで、ロボットが正しく答えるのをより困難にします。

ツール: ミューテーターには5つの具体的なテクニックがあります：
1. 言い換え（Rephrase）: 同じ内容を、より紛らわしい方法で表現する。
2. ディストラクター（妨害要素）の注入（Inject Distractor）: 偽の、誤解を招くようなルールを追加する（例：「3文で答えなさい、ただし、すべてを詳細に説明すること」）。
3. ロール・フリップ（役割の反転）（Role Flip）: ロボットを騙すために、異なるキャラクターになりきる。
4. 制約の追加（Add Constraints）: あまりにも多くのルールを積み重ねる。
5. ジェイルブレイク・ラップ（脱獄の包み込み）（Jailbreak Wrap）: 質問を「ハッカー」スタイルのテンプレートで包み込む。
ループ: システムはロボットに問いかけ、審判が採点し、もしロボットが合格した場合、ミューテーターは新しいトリックを試みます。ロボットが最終的に壊れる（失敗する）まで、最大5回繰り返されます。

3. 彼らが発見したこと（驚きの事実）

チームは、推論（論理パズル）、指示への追従（複雑なルールの遵守）、ツール利用（計算機やAPIの使用）の3つのカテゴリにわたって、45種類の異なる「シード」質問をテストしました。ここで彼らが発見したことは以下の通りです：

すべてのトリックがどこでも通用するわけではない:
- 比喩: 金庫を壊そうとしている場面を想像してください。ハンマーは木箱を壊すのには最適ですが、金属製の金庫にはドライバーの方が適しているかもしれません。
- 結果: 「ディストラクターの注入」というトリックは、論理やツールの質問に対しては非常に強力でしたが、「指示への追従」を行うロボットを壊すには全く役に立ちませんでした。一つのトリックをすべてに使うことはできず、タスクに合わせてトリックを使い分ける必要があります。
壊すのが難しいタスクも存在する:
- 比喩: 棒を折るには一度のスナップで済みます。しかし、太い丸太を壊すには、斧で何度も叩かなければなりません。
- 結果: ロボットは最終的にはすべてにおいて失敗しましたが、「指示への追従」のタスクは、他のタスクよりも2倍以上の試行回数を必要としました。もし最終的な「合格／不合格」の結果だけを見ていたら、この違いを見逃していたでしょう。ロボットを壊すのにどれだけの「ヒット数（イテレーション）」が必要だったかを数えることで、本当の難易度が見えてくるのです。
「一致」の罠:
- 比喩: 95%の確率で答えが「はい」であり、2人の人間がほとんど毎回「はい」と言っている場合、彼らは完璧に一致しているように見えます。しかし、もし彼らが単に最も一般的な回答である「はい」を適当に選んでいるだけなら、彼らは本当に難しい問題について合意しているわけではありません。
- 結果: 3人の審判は80〜87%の割合で一致していましたが、これは一見素晴らしい数値に見えます。しかし、ロボットが頻繁に失敗した（90%以上）ため、この高い一致率は、単に二人とも「失敗」と予測していただけでした。特に「指示」に関する難しいケースを見ると、彼らは実際には多くの場合で意見が分かれていました。論文は、標準的な一致度の測定法は、一つの結果（失敗）が非常に一般的である場合、誤解を招く可能性があると警告しています。
トリックは伝播する:
- 比喩: 小さくて弱い犬を騙す方法を見つければ、そのトリックは巨大で強い犬にも通用するかもしれません。なぜなら、そのトリックは犬の大きさではなく、基本的な本能を突いているからです。
- 結果: 小さくてより弱いロボット（80億パラメータ）を壊すためにシステムが編み出したトリックは、より大きく賢いロボット（700億パラメータ）に対しても有効でした。これは、これらのトリックが、単なる小さなモデルのバグではなく、ロボットの思考における根本的な弱点を突いていることを示唆しています。

4. まとめ

論文は、AIを適切にテストするためには、以下のことが必要であると結論付けています：

審判のパネル: 偏り（バイアス）を捉えるために、一人ではなく複数を用意すること。
労力をカウントする: 単に「壊れた」と言うのではなく、「この特定のタイプのタスクを壊すのに5回の試行が必要だった」と伝えること。
道具を合わせる: タスクの種類（論理 vs ルール）に応じて、異なるトリックを使用すること。
数学に注意する: 高い一致度は、テストが簡単すぎる場合（あるいは今回のように失敗が非常に多い場合）、偽りのものである可能性がある。

著者らは、他の人々が自分たちのロボットをテストし、実世界で使用される前に安全で信頼できることを確認できるように、コードとデータを公開しました。

技術要約: AdversaBench

問題提起

大規模言語モデル（LLM）の敵対的評価をスケールアップさせるには、「困難な入力を生成すること」と「結果として生じた失敗が真実であることを確実に確認すること」という二重の課題が存在します。単一の自動判定器（ジャッジ）は高速ですが、自身の寛容さや、判断が分かれる境界事例を検知する能力に欠けています。さらに、標準的な検者間一致度指標であるCohenの $\kappa$ は、失敗率が高い（分布が偏っている）敵対的設定においては誤解を招く可能性があり、困難なケースにおける実質的な不一致を覆い隠してしまう可能性があります。現在のレッドチーミングは、ナイーブなプロンプティングや単一の判定器による検証に依存していることが多く、これは命令違反、推論エラー、またはツールの誤用といったニュアンスを大規模に捉えることができません。

手法

AdversaBenchは、これらのギャップに対処するために設計された、自動化されたレッドチーミング・パイプラインおよび信頼性研究です。本システムは、攻撃者（Attacker）、ターゲットモデル、およびマルチジャッジ・パネルを含むループで動作します。

システムアーキテクチャ

パイプライン: オーケストレーションにLangGraphを、モデル呼び出しにLangChainを使用しており、チェックポイントによる再開と堅牢なAPIレート制限処理をサポートしています。
ターゲットモデル: Llama 3.1 8B Instant（評価指標をストレス・テストし、失敗の発生率を高めるために意図的に弱いターゲットとして選択）。
攻撃者: 主にLlama 3.3 70Bを使用し、第2イテレーションから失敗が確認されない場合はGPT-4o-miniへとエスカレートします。
判定器（Judges）: 3つのモデル（Llama 3.3 70B、Cerebras GPT-OSS 120B、Qwen3 32B）のパネルが、レスポンスが正解（ground-truth）の仕様に違反しているかどうかを投票します。全会一致の合意が得られた場合はその結果を保存し、意見が分かれた場合はGPT-4o-miniのメタ判定器によって解決されます。

シード構築と変異

本研究では、3つのカテゴリ（Reasoning [推論] (15)、Instruction-Following [指示遂行] (15)、Tool-Use [ツール使用] (15)）にわたる45個のシードプロンプトを利用しました。これらは、時間的推論、厳格なフォーマット（例：正確なJSONキー）、否定的な制約、およびツールのエッジケースをカバーするように、初期のパイロット版から拡張されました。各シードには、ベースとなるプロンプト、曖昧さのないexpected_behavior（期待される挙動）の仕様、および参照回答が含まれています。

5つの構造化された変異オペレータが、 $\epsilon$ -greedy選択戦略（ $\epsilon=0.2$ ）を用いて、反復的に（各シードにつき最大5回まで）適用されます：

rephrase（言い換え）: シードの表面的な言い換え。
inject_distractor（妨害要素の注入）: 妥当ではあるが誤解を招く制約を追加する。
role_flip（役割の反転）: 敵対的なペルソナの下でタスクを再構成する。
constraint_add（制約の追加）: 相反する要件を付加する。
jailbreak_wrap（脱獄ラップ）: 脱獄スタイルのテンプレートの中にシードを埋め込む。

主な貢献

再現可能なパイプライン: $\epsilon$ -greedyによるオペレータ選択、攻撃者のエスカレーション、および判定のタイブレークのためのメタ判定器を備えた3つのジャッジ・パネルを特徴とする、LangGraphベースのシステム。
イテレーション・コスト指標: バイナリの失敗率とともに、シードを突破するために必要な平均攻撃イテレーション回数を報告することを提案。この指標は、集計された合格/不合格率では隠れてしまう「難易度」を明らかにします。
信頼性研究: 単一レスポンスのバイナリ判定に対する検者間信頼性分析（Cohenの $\kappa$ ）の適応。本研究は、偏った分布において高い生の合意度が存在しつつも、 $\kappa$ がゼロに近い、あるいは負の値になる可能性があることを示し、カテゴリごとに層別化した不一致率の方がより情報量の多い指標であることを論じています。
転移性の証拠: 弱い8Bモデルに対して生成された敵対的プロンプトが、大幅に強力な70Bモデルをも突破することを示すゼロショット転移実験。これは、変異がモデル固有の弱点ではなく、一般的な行動パターンを突いていることを示唆しています。

結果

成功率: すべての45個のシードが、確認された失敗を生み出しました。
オペレータの有効性: 有効性はカテゴリによって鋭く変化します。例えば、inject_distractorは、reasoningおよびtool-useのシードに対して平均報酬1.00を達成しましたが、instruction-followingのシードに対しては0.33にとどまりました。集計されたカウントは、これらのカテゴリ依存関係を隠蔽していました。
イテレーション・コスト: Instruction-followingのシードは、reasoningおよびtool-useのシード（平均1.1イテレーション）と比較して、著しく多くの労力（平均2.4イテレーション）を必要としました。生存曲線は、他のカテゴリがわずか10%であったのに対し、instruction-followingのシードの60%が第1イテレーション後も未突破であったことを示しました。
判定器の信頼性: ペアワイズの判定器間合意度は高かった（80–87%）ものの、失敗判定の出現率（90–97%）による影響で、Cohenの $\kappa$ はゼロに近いか、わずかに負の値（−0.05 to −0.11）となりました。不一致率はinstruction-followingにおいて最も高く（事例の33%）、一方でreasoningの失敗は全会一致でした（不一致0%）。
転移性: 検証済みの15個の敵対的プロンプトの予備的な手動レビューにより、論理的な罠や制約ベースの変異が、Llama 3.1 8BからLlama 3.3 70Bへと正常に転移したことが示されました。

意義と主張

本論文は、単純なバイナリの失敗率を超えて、より微細な視点を提供するAdversaBenchの価値を主張しています。以下の通り論じています：

オペレータの選択はカテゴリ依存であるべきである: 単一のオペレータがすべてのタスクタイプにおいて支配的になることはありません。集計による報告は、決定的な非効率性を隠してしまいます。
イテレーション・コストは重要な指標である: これは、成功率のみを報告する場合に見落とされる、モデルを突破する際の「難易度」を明らかにします。
マルチジャッジ・パネルはinstruction-followingに不可欠である: 単一の判定器は、他の判定器がパスした失敗を見逃すことがあり、このカテゴリにおける不一致率は、曖昧なケースにおける仲裁の必要性を浮き彫りにします。
$\kappa$ には文脈が必要である: 偏った敵対的設定において、ゼロに近い $\kappa$ は判定の一致性の欠如ではなく、出現率（prevalence）の信号です。カテゴリごとに層別化した不一致率の方が、判定器がどこで分岐するかを示す優れた指標となります。
汎用性: 変異は、小さなモデル固有の弱点ではなく、一般的な行動パターン（例：相反する制約を解決することの困難さ）を露呈させており、これは大きなモデルへの転移成功によって証明されています。

著者らは、再現可能なレッドチーミングおよび判定器の信頼性に関するさらなる研究を促進するために、コード、データセット、および分析スクリプトを公開すると結論付けています。