🤖 AI

What AI Red-Team Evaluations Can and Cannot Prove

本論文は、AIのレッドチーム評価における計算可能な「証拠的上限（evidential ceiling）」を確立しており、現在のベンチマークが高頻度で発生する危害に対しては安全性を効果的に証明できる一方で、統計的な固有の限界により、稀に発生する破滅的なリスクの安全性を証明するには根本的に不十分であることを示している。

原著者： Bandana Kaur

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bandana Kaur

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある謎を解こうとしている探偵だと想像してください。その謎とは、「この新しいロボットは、現実世界に放ปล่อยしても安全か？」というものです。これを知るために、あなたは単にロボットに「私は善良です」と言わせるのではなく、ロボットに意地悪なことや危険なことを言わせようと仕掛けるレッドチーミングのような、一連の巧妙なテストを行います。これがAI安全性評価の世界です。しかし、ここで問題が発生します。ロボットが安全であると確信するためには、どれだけの「仕掛け」を試す必要があるのでしょうか？もし10回の仕掛けに対して合格したとしても、それで十分でしょうか？もしロボットが100万回に1回の割合で危険な挙動を見せるとしたらどうでしょう？

ここに統計学が登場します。それは、暗い部屋の中を照らす懐中電灯のようなものです。小さな懐中電灯（小さなテスト）なら、床にある大きな目立つ岩（頻繁に起こる間違い）を簡単に見つけることができます。しかし、もしその危険が、たまにしか現れない、目に見えないほど微細な塵のようなものだとしたら、同じ小さな懐中電灯では、たとえそこに塵があったとしても完全に見逃してしまうかもしれません。科学者たちは長い間、これらのAI「安全性テスト」が本当に有用なのか、それとも単なる時間の無駄なのかについて議論してきました。ある者は、これらは何も証明していないと言う一方で、ある者は、これらはすべてを証明していると言います。この論文は、非常に具体的な方法を用いることで、その議論に決着をつけようとしています。それは、異なるサイズの「塵」を見るために、懐中電景がどれほど明るくある必要があるかを正確に計算することです。

APIsec Research LabsのBandana Kaur氏によって書かれたこの論文は、安全性テストは役に立たないわけではないが、魔法の杖でもない、と主張しています。テストには明確な限界があり、その限界は意見の問題ではなく、数学の問題なのです。著者は「エビデンデンシャル・シーリング（証拠の天井）」という概念を用いています。例えば、一度に一定量しか水を保持できないバケツを想像してください。もし、漏水が「小さい」ことを証明しようとしているなら、失敗がゼロであるクリーンなテスト（満水のバケツ）は非常に説得力があります。しかし、もし漏水が「極めて微小」であること（非常に稀な壊滅的失敗など）を証明しようとしているなら、その同じバケツでは、確信を持つための十分な証拠を捕まえるには小さすぎるかもしれません。

この論文の主な発見は、計算可能な「交差点（crossing point）」が存在するということです。もしある種の危害が十分に頻繁に発生する場合（例えば1%の割合で発生する場合）、約520個のプロンプトによる標準的なテストを行えば、「よし、このモデルはデプロイするのに十分安全である可能性が高い」と言うことができます。実際、520回のテストを実行して問題がゼロであった場合、それは単に1つの問題が見つかった場合よりも強い証拠となります。それは、清潔な部屋を見つけるようなものです。もし菌がいたるところにいると予想されている状況において、清潔な部屋であることは大きな驚きであり、何かが機能していることを証明します。

しかし、論文は稀な事象に対しては明確な一線を画しています。もし有害な挙動が極めて稀（例えば0.001%未満の確率）である場合、どれほど多くのプロンプトを試したとしても、「クリーンな結果（失敗ゼロ）」はほとんど何も教えてくれません。数学によれば、こうした稀で壊滅的なリスクに対しては、クリーンなテスト結果は弱い証拠となります。この領域では、たった一つの観測された失敗の方が、クリーンなテストよりも情報量が多いのです。なぜなら、クリーンなテストは単なる運が良かっただけかもしれないからです。論文は、こうした稀な事象に対して、現在の公開ベンチマークは「桁違いに不足している」、つまり、安全性を証明するには数千倍も規模が小さすぎるのだと計算しています。

また、著者はこれらのテストがどのように構築されているかも重要であると指摘しています。もしテストの質問がすべて非常に似通っている場合（例えば、同じ質問を少し言葉を変えて聞くような場合）、それは干し草の山の中から針を探しているのに、部屋の片隅しかチェックしていないようなものです。論文は、現在のテストはしばしば密集しており、見た目ほど効果的ではない可能性があると示唆しています。さらに、論文は単にテストを「増やす」ことが解決策であるという考えに異を唱えています。そうではなく、安全なモデルと不安全なモデルをより良く区別できる、よりスマートなテストが必要です。もし、あるテストが悪質なモデルを90%の確率で欺ける一方で、善良なモデルを10%しか欺けないのであれば、それは強力なツールとなります。しかし、もし両方を等しく欺いてしまうのであれば、それを何度実行したとしても、それは役に立ちません。

最後に、論文はAIラボが結果を報告する方法についての新しいルールを提案しています。単に「500回のテストを実行し、悪い結果は見つかりませんでした」と言うのではなく、自分たちのテストが「何を証明できるのか」を正確に報告すべきである、と。もし危害率が高いのであれば、安全性を主張できます。しかし、もし危害率が低く稀なものであるなら、自分たちのテストでは安全性を証明できなかったことを認め、他の種類の証拠が必要であることを認めるべきです。この論文は、テストをやめるべきだと言っているのではありません。テストが数学的に証明できないことを、あたかも証明できるかのように振る舞うのをやめるべきだと言っているのです。これは誠実さへの呼びかけです。自分の懐中電灯の限界を知り、部屋の隅しか照らしていないのに、部屋全体が見えると主張してはいけません。

技術要約：AIレッドチーミング評価ができること、できないこと

問題提起
現在のAI安全性対策は、モデルの有害な出力をテストするために精選された敵対的プロンプトを使用する、レッドチーミング評価に大きく依存している。これらの結果は、規制上の監督やデプロイメントの決定における主要な経験的根拠としてますます利用されるようになっている。しかし、定量的なベンチマーク出力には統計的な精度が欠けており、意味的に等価なプロンプト間での汎用性に失敗し、意味のあるシステム間比較をサポートできないという批判が高まっている。これらの批判は妥当であるが、本論文は、安全性ベンチマークが「無価値」であるという結論には反対している。むしろ、中心的な問題は、与えられた評価が「どの特定の命題」を支持できるかを判断するための形式的な枠組みがこの分野に欠けていることにある。これがないために、研究所は稀な壊滅的被害に対して安全性を過大に主張したり、高頻度の被害に対してベンチマークを十分に活用できなかったりしている。

手法
本論文は、評価の「証拠の天井（evidential ceiling）」を定義するための形式的な統計的枠組みを導入する。この天井とは、単一の結果が、 $H_0$ （許容可能なリスク）と $H_1$ （高まったリスク）の間の事後オッズをシフトさせる最大因子を表す。

証拠の天井の導出: 著者らは、クローズドフォームを用いて、ベンチマークのヌル結果（観察された有害事例がゼロである状態）に対する天井を定義する。尤度比アプローチを用いて、固定されたリソース予算（ $N_{max}$ ）と有害率（ $p$ ）が与えられた場合に、クリーンな実績（clean sheet）が提供し得る最大のエビデンスを導出する。
境界の計算: 著者らは、以下の2つのレジームを分ける臨界境界 $p_{min}$ $p_{min}$ を導出する。
- $p_{min}$ 以上の場合: 実現可能な規模のベンチマークは、特定の証拠基準に対してカテゴリーを認証することができる。このレジームでは、クリーンな実績は、単一の失敗事例よりも強いエビデンスとなる。
- $p_{min}$ 以下の場合: 実現可能な規模の受動的なベンチマークでは、指定された証拠の提示は不可能である。このレジームでは、単一の失敗事例がクリーンな実績よりも重みを持つ。
適応的エリシテーションへの一般化: この枠組みは、静的なベンチマークを超えて、適応的なレッドチーミングへと拡張される。著者らは、生の有害率を、「仮説条件付きエリシテーション率」（ $H_1$ の下での $q_1$ および $H_0$ の下での $q_0$ ）に置き換える。彼らは、証拠の価値は単なる攻撃成功率ではなく、これらの率の「識別性（discrimination）」（ $\kappa = |\log_2((1-q_1)/(1-q_0))|$ ）によって決定されることを示す。
実証的監査: 著者らは、8つの広く使用されている評価スイート（例：AdvBench、HarmBench、SafetyBench）を、これらの理論的境界に対して監査する。彼らは、統計的検定力、偽の認証確率、および分布の妥当性（ベンチマークのプロンプトとLMSYS-Chat-1Mからの実際のユーザークエリとの比較）を分析する。

主な貢献

クローズドフォームによる境界: 本論文は、認証可能か非認証可能かの境界となる計算可能な式を提供している。この境界は $1/n$ に比例して減少するため、より大規模なベンチマークは認証可能な有害範囲を広げるが、極端に稀な事象に対する根本的な限界を克服することはできない。
エビデンス強度の逆転: 著者らは、「クリーンな実績」と「単一の失敗事例」の相対的な証拠の強さは絶対的なものではないことを証明する。交差率（ $p_\times$ ）より上ではクリーンな実績の方が強いエビデンスとなり、以下では単一の失敗事例の方が強くなる。この交差点も計算可能である。
成功率よりも識別性: 適応的または自動化されたレッドチーミングにおいて、価値のある指標は、安全な仮説と不安全な仮説の下でのエリシテーション率の識別であり、生の攻撃成功率ではないことを本論文は確立している。安全なモデルと不安全なモデルの両方に対して等しくトリガーされる手順は、ゼロのエビデンスしか提供しない。
報告テンプレート: 研究所が、結果の証拠の価値を計れるよう、特定のパラメータ（例：有効サンプルサイズ、クラスター内相関、 $H_0$ および $H_1$ の下でのエリシテーション率）を公開することを求める最小限の報告テンプレートを提案する（表5）。

結果

高頻度の有害性に対する妥当性: 有害率が $10^{-2}$ (1%) 前後の有害カテゴリーについては、既存の公開ベンチマーク（例： $n=520$ の AdvBench）は、桁違いの安全性向上を主張するのに十分である。
稀な／壊滅的な有害性に対する不十分さ: 稀なカテゴリー（例： $p = 10^{-4}$ または $10^{-5}$ ）については、現在のベンチマークは数桁分不足している。本論文は、実現可能な規模（ $N_{max} \approx 10^5$ ）のベンチマークでは、これらの率における有害の不在を証明できないことを示している。
分布の乖離: 実証的分析により、ベンチマークのプロンプトは通常のデプロイメント・トラフィックから測定可能な形で分離されていることが示された（距離指標において3.1〜3.5倍の超過）。これは、敵対的なトラフィックへの距離を限定するものではないが、ベンチマークが通常のユーザー分布を代表していないことを裏付けている。
クラスタリング効果: 現実世界のベンチマークはクラスタリング（テンプレートから派生したプロンプト）を示しており、これが有効サンプルサイズ（ $n_{eff}$ ）を減少させ、認証可能な境界をさらに押し上げ、現在のスイートの稀な事象に対する有用性をさらに制限している。

意義と主張
本論文は、安全性ベンチマークは無情報なのではなく、「具体的かつ計算可能な一連の命題」について情報を与えるものであると主張している。その意義は、ベンチマークが機能するかどうかを問うことから、ベンチマークが「何を証明できるか」を定義することへと、規律を移行させる点にある。

著者らは、証明可能か否かの境界は、専門家の判断ではなく、計算の問題であると主張している。この境界を形式化することで、本論文は、研究所が評価を実行する「前」に、その設計が特定の認証主張をサポートしているかどうかを判断できる規律を提案している。もしある有害カテゴリーが計算可能な境界を下回る場合、その分野はヌル結果のベンチマークによる証明の試みを止め、代わりにベンチマーク以外の証拠に頼るべきである。本論文は、ベンチマークは無価値であるとする現在の「過剰な修正」は誤りであり、むしろベンチマークは、安全性レポートにおいて明示されるべき、計算可能な解像度を持つ精密な計器であると結論づけている。

関連論文