技術的サマリー：精度を超えて：LLM 安全判定者に対する信頼性テストとしてのポリシー不変性

1. 問題提起

安全クリティカルな領域（金融、医療、コード実行など）において自律エージェントとして大規模言語モデル（LLM）を配備するには、堅牢な安全評価が不可欠である。現在のベンチマーク（ASSEBench、R-Judge など）は、「LLM-as-a-Judge」というパラダイムに依存しており、ここで別の LLM が書かれた安全ポリシーに対してエージェントの軌跡を評価し、二値の判定（SAFE/UNSAFE）を生成する。これらの判定は、安全準拠の真実値（ground-truth）の代理として扱われる。

しかし、既存の評価は主に精度（人間のラベルとの一致）または表面的なプロンプト感応性（位置バイアス、フォーマットなど）に焦点を当てている。それはポリシー不変性という重要なギャップに対処できていない。信頼できる安全判定者は、その判定がエージェントの行動とポリシーの規範的内容のみに依存し、ポリシーの表現方法には依存しないことを保証しなければならない。もし判定者が、根本的な規範的意味に変更がないにもかかわらず、同義語による書き換え、構造的な順序変更、または例外の配置に基づいて判定を変更する場合、その結果として得られる安全スコアは、エージェントの行動と評価者のプロンプトエンジニアリングが混同されたものとなる。本論文は、ポリシー不変性がなければ、安全スコアは信頼できる真実値ではないと主張する。

2. 手法：ポリシー不変性フレームワーク

著者はポリシー不変性を 3 つの検証可能な原則として具体化し、GPT-5.4-mini、Claude-Haiku-4.5、DeepSeek-V3.2、Gemini-3-Flashという 4 つのエージェントクラス判定者を評価するためのストレステストプロトコルを設計した。評価には ASSEBench と R-Judge の軌跡を使用した。

2.1 3 つの不変性原則

1. ルブリック意味不変性（原則 1）：

   • 目的： 判定は、ポリシーの認証同等書き換えに対して安定して維持されるべきである。
   • 手法： ポリシーは、6 つの義務論的次元（強制力、範囲、例外セット、立証責任、デフォルト規則、暗示しきい値）において人間のアノテータによって検証された 3 種類の認証同等書き換えを用いて変換される：
     • T1（構文）： 受動態/能動態、節の順序変更。
     • T2（語彙）： 同じ義務論的ファミリー内での同義語置換（例："must not" $\to$ "is prohibited from"）。
     • T4（例外配置）： 例外節をインラインから先頭配置セクションへ移動させる。
   • 指標： 過剰反転率（$\Delta_{flip}$）。これは、書き換え下での反転率から、ベースラインの非決定性（ジッター）率を引いて計算される。

2. ルブリックしきい値不変性（原則 2）：

   • 目的： 判定は、ポリシーの規範的しきい値が意図的にシフトされた際に、方向的かつ比例的に変化するべきである。
   • 手法： 一方が厳格（例："must not"、"any violation"）で、他方が寛容（例："should avoid"、"clear and significant violations"）となるようなポリシーのペアを作成する。
   • 指標： 方向性比率（$R_{dir}$）。信頼できる判定者は、厳格から寛容へのシフトにおいて、UNSAFE から SAFE へ主に反転し、逆の反転はほぼゼロであるべきである。

3. 曖昧性認識キャリブレーション（原則 3）：

   • 目的： 不安定性は、明確なケースではなく、真に曖昧なケースに集中すべきである。
   • 手法： 観測された反転は以下に分解される：
     • 説明可能： 曖昧な項目（人間のアノテータが不一致を示す場合）または準同等変換における反転。
     • 不合理： 認証同等変換下での明確な項目（人間ラベルが全会一致）における反転。
   • 指標： 不合理反転率（$U_{rate}$）。内容保存型書き換え下での明確な項目におけるいかなる反転も、測定失敗である。

2.2 指標と報告

• ポリシー不変性スコア（PIS）： 3 つの原則を要約する複合指標：
  $$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$$
  ここで重みは $w_1=0.4, w_2=0.3, w_3=0.3$ であり、$S=5$ である。
• 判定者カード： PIS と原則ごとの内訳を、従来の精度指標 alongside に開示する標準化された報告テンプレート。

3. 主要な結果

本研究は、現在の安全判定者がポリシー不変性の欠如を、具体的かつ有害な方法で示していることを明らかにした。すなわち、意味のある規範的シフトと意味のない構造的書き換えに対して同程度の強さで反応し、両者を区別できないことである。

• 意味不変性の失敗：

  • Gemini-3-Flashは最も高い不安定性を示し、プールされた認証済み $\Delta_{flip}$ は**7.6%**であった（パース失敗を反転として補間すると 26.6% に上昇）。
  • DeepSeek-V3.2は、**T4（例外配置）下で特に9.1%**の反転率を示し、4 つのモデルのうち 3 つで最悪の違反者であった。
  • Claude-Haiku-4.5とGPT-5.4-miniもまた、有意な不安定性を示した（それぞれ 3.6% と 1.1%。ただし GPT の生反転率は高かったが、そのジッターも高かったため、過剰反転率は低下した）。
  • 決定的なことに、観測されたすべての反転の18% から 43%が、認証同等書き換え下での明確な項目で発生した。これは、安全スコアの無視できない部分が、エージェントの行動ではなく、ルブリックの表現方法によって測定されていることを示している。

• しきい値不変性の成功：

  • すべてのモデルは、厳格から寛容へのシフトに対してほぼ完璧な方向感応性を示した（$R_{dir} \approx 1.00$）。厳格から寛容への切り替えは、期待される方向に**32% から 71%**の判定を反転させた。
  • 診断： 判定者はポリシー内容を読み取っているが、意味的変化（しきい値シフト）と構文的変化（書き換え）を区別できない。両者を判定変更の同等に重要なトリガーとして扱う。

• PIS ランキング：

  • GPT-5.4-mini： PIS = 0.70（中程度の信頼性）。
  • Claude-Haiku-4.5： PIS = 0.47（脆弱）。
  • DeepSeek-V3.2： PIS = 0.28（信頼性なし）。
  • Gemini-3-Flash： PIS = 0.03 から 0.41（パース失敗の処理次第で、信頼性なしから脆弱）。
  • これは、精度のみのリーダーボードでは見えない、信頼性における桁違いのばらつきを表している。

4. 貢献

1. 概念フレームワーク： ポリシー不変性を LLM 安全判定者の最低要件として形式化し、内容保存型書き換えと規範的シフトを区別する。
2. ストレステストプロトコル： 認証同等書き換え、しきい値シフト、曖昧性分解を用いて判定者を監査する再現可能なプロトコル。
3. ポリシー不変性スコア（PIS）および判定者カード： 判定者の信頼性を定量化・報告し、精度指標が見逃すギャップを露呈させるツール。
4. 実証的証拠： 既存の安全スコアがエージェントの行動と評価者のプロンプトを混同していることを実証し、明確なケースにおける判定反転の最大 43% が測定失敗であることを示す。

5. 意義と主張

本論文は、エージェント安全評価の信頼性は、エージェントが何をしたかだけでなく、判定者がポリシーを安定して読み取れるかどうかに依存すると主張する。著者は以下を論じる：

• 現在のベンチマークは欠陥がある： ポリシー不変性をチェックせずに判定者の判定を真実値として扱うことで、既存のベンチマークは実際の安全性ではなくプロンプト感応性に基づいてモデルをランキングしている可能性がある。
• 信頼性は多次元的である： 固定されたルブリックにおいて正確であっても、判定が政策的な装飾的編集に基づいて変動するならば、その判定者は信頼できない。
• 実行可能な改善： 提案される判定者カードにより、ベンチマークは自身の評価者を監査できる。著者はプロトコルとコードを公開し、コミュニティが「判定者はどの程度正しいか？」というデフォルトの問いを、「判定者は正しい理由で正しいか？」という問いへとシフトすることを可能にする。

著者が認める限界：

• 本研究は単一の標準化されたベースポリシーを攪乱している。結果は、複雑な多節の配備ルブリックに対して線形的に拡張されるとは限らない。
• 評価は小規模でコスト最適化されたモデルに焦点を当てている。最先端規模の評価者は異なる脆弱性パターンを示す可能性がある。
• PIS の重みは、著者の失敗モードコストに関する事前分布を反映しており、下流で検証されたキャリブレーションではない。
• このフレームワークは現在、全体軌跡、英語、二値判定に対して動作する。