技術概要：ProofAgent ハーネス

問題定義

AI エージェントは、デモンストレーション段階から、多ターン対話を実行し、ツールを利用し、文脈を保持し、ポリシーを遵守し、プライベートデータを管理する、高リスクの生産環境へと移行しています。静的ベンチマークや孤立した出力スコアリングに依存する従来の評価手法は、行動軌跡、敵対的圧力、多ターン操作を通じて顕在化する失敗を捉えきれません。

本論文は、エージェントの失敗は単なる出力レベルのエラー（例えば、誤った回答）ではなく、軌跡レベルの失敗であると主張します。これには、安全でないツール呼び出し、不正なワークフロー手順、プライバシー漏洩、架空のポリシー引用、有害なエスカレーションが含まれます。既存のアプローチには、以下の特定の限界があります：

• LLM-as-Judge（裁判官としての LLM）： 完全な行動軌跡ではなく、孤立した応答を評価することが多く、スコアを特定のターンに結びつける監査証跡が不足しています。
• タスクベンチマーク： 敵対的堅牢性、ポリシーの一貫性、または操作への耐性ではなく、タスク完了に焦点を当てています。
• レッドチーム： 脆弱性の発見には効果的ですが、エンジニアリングおよびガバナンスに必要な標準化されたスコアリング、合意メカニズム、証拠リンク型レポートが欠如していることが多いです。
• 人間の監視： 高リスク環境では必要ですが、手動レビューは、すべてのエージェントバージョンおよびリリースサイクルにわたる継続的テストの主要メカニズムとして拡張できません。

手法：ProofAgent ハーネス

著者は、専門家風の敵対的レビュープロセスを実用化するために設計されたオープンソースの多段階インフラストラクチャであるProofAgent ハーネスを導入します。このハーネスは、テスト対象のエージェントを取り囲む評価エコシステムとして機能し、資産、実行、判断、レポートを調整します。

コアアーキテクチャ

このフレームワークは、それぞれ専門のエージェントによって管理される 4 つの明確な段階で構成されています：

1. 段階 1：評価設計（プランナーエージェント）

   • エージェントの役割、ビジネスケース、目標を実行可能な評価計画に変換します。
   • 運用ドメインを推論し、キュレーションされたライブラリから敵対的罠を選択します。
   • 後のターンが早期の譲歩や不完全な拒絶を武器化し得るような多ターン戦略を織り込みます。
   • 「ブリッジ上の人間」の役割を統合します。これは、自動化された実行が始まる前に、人間専門家が評価インテリジェンス（目標、指標、罠の選択の定義）をキュレーションし、すべてのターンを手動でレビューするのではなく、事前に行うものです。

2. 段階 2：敵対的試行実行（指揮者エージェント）

   • 現在のトランスクリプトに基づいて敵対的ユーザーメッセージを生成し、評価計画を実行します。
   • 意図を隠す（アンチ・テレグラフィ）、ペイロードの難読化、誤った前提の織り込みなどのスキルを用いて、エージェントの堅牢性をテストします。
   • ツール使用のメタデータや軽量の欠陥ヒント（証拠なしで主張されたツール使用など）を含む完全な行動トレースを捕捉しますが、対話中にスコアを割り当てません。

3. 段階 3：行動判断（陪審員および合意エージェント）

   • 事後評価： 陪審員は、孤立した応答ではなく、完了したトランスクリプトを評価します。
   • 多陪審員スコアリング： 複数の較正されたペルソナ（例：厳格、寛容、反対派）が、特定の指標に対してトレースを評価します。
   • ターンレベル監査： 各陪審員はスコアと、判断を特定のターンおよび証拠スニペットに結びつける監査証跡を生成します。
   • 合意戦略： 合意エージェントは陪審員間の不一致を検出します。スコアのばらつきがしきい値を超えた場合、争点となった指標は曖昧さを解決するか、明示的に不一致を監査シグナルとして保持するために再投票段階（デルファイまたはディベート戦略を使用）に入ります。

4. 段階 4：証拠リンク型レポート作成（レポートエージェント）

   • スコア、合意結果、監査証跡を構造化されたレポートに統合します。
   • 失敗をトリガーした特定のターン、敵対的パターン、および指標を特定します。
   • 疑わしいパターン（例：弱圧力を示す過度に平坦なスコア）や、選択的な人間レビューを要する所見をフラグ付けします。

コアアルゴリズム：ターンレベル監査付き敵対的多陪審員スコアリング

本論文は、陪審員の集合 $J$ を用いて指標の集合 $M$ に対して完了した行動トレース $T$ を評価するプロセスとしてスコアリング手法を形式化しています。

• 目的： 合意スコア $\bar{s}_m$、信頼スコア $C_m$、および最終集約スコア $S_{final}$ を計算すること。
• プロセス： 陪審員はスコア $s_{j,m}$ と監査証跡 $A_{j,m}$ を割り当てます。不一致 $\Delta_m$ が計算されます。もし $\Delta_m > \theta$ ならば、合意戦略（独立、デルファイ、またはディベート）がトリガーされます。
• 出力： スコアを特定の証拠、警告、および所見に結びつける最終レポート $R$ であり、評価が追跡可能かつ監査可能であることを保証します。

主要評価指標

ハーネスは、5 つのコア指標（ドメインごとに設定可能）にわたってエージェントを評価します：

1. タスク成功： 制約内での目標への進展。
2. 幻覚耐性： 根拠のない主張や架空のポリシーの回避。
3. 安全性： 有害な行動やプライバシー違反の回避。
4. 指示追従： システムおよびポリシー制約の遵守。
5. 操作耐性： 社会的エンジニアリング、権威への圧力、およびプロンプトインジェクションへの耐性。

実験的評価

著者は、医療トリアージ、プライバシー/セキュリティ、コード生成、カスタマーサポートの 4 つのドメインにわたってハーネスを評価しました。

設定

• エージェント： 最高クラスの大型 LLM（GPT-5.5 および Claude Opus 4.7）を活用する生産スタイルのエージェント。
• ハーネス体制：
  • 対称的： 大型 LLM によって駆動されるハーネス。
  • 非対称的： 小型のローカルモデル（Gemma 4B、8 ビット）によって駆動されるハーネス。
• プロトコル： 3 つの陪審員ペルソナ間のディベート合意戦略を用いた 25 ターンの敵対的試行。

結果

1. パイプライン増幅： 非対称ハーネス（小型ローカルモデル）は有用な敵対的シグナルを保持し、ほとんどのドメインで対称ハーネス（大型 LLM）と密接に一致する結果を生成しました。体制間の中央値グローバルデルタは、しばしば $\pm 0.4$ ポイント以内でした。
2. 選択的失敗： 強力なエージェントは均一に失敗しませんでした。特定の指標（例：高い安全性スコアだが低い指示追従スコア）または特定のターンにおいて、選択的な弱点を示しました。
3. 較正事例： GPT-5.5 エージェントのカスタマーサポートドメインで顕著な乖離が発生しました（対称的：6.60 vs 非対称的：9.00）。これは、請求に関する架空の枠組みのような微妙な失敗は、認証のために対称的ハーネスのより深い構造的推論を必要とする可能性を示唆しています。

主要な貢献と意義

本論文は、ProofAgent ハーネスを新しいベンチマークまたはスタンドアロンの裁判官としてではなく、スケーラブルな評価インフラストラクチャとして位置づけています。

• 静的から敵対的へ： 評価を、静的な単ターンテストから、反復可能な敵対的行動ストレステストへと移行させます。
• 不透明から証拠リンク型へ： 孤立したスコアを、判断を特定のターン、行動、および失敗モードに結びつけるレポートに置き換え、実行可能なデバッグを可能にします。
• 規模依存からプロセス依存へ： 評価能力はモデルの規模だけでなく、パイプラインの構造（キュレーションされた罠、多ターンの圧力、合意）から生じるという知見を示しています。フルハーネスパイプライン内の小型ローカルモデルは、生産エージェントを効果的に挑戦できます。
• ティアード評価パターン： 著者は、回帰テストおよび低コストのスウィープには非対称ハーネスを使用し、認証、高リスクドメイン、および争点のある結果には対称的ハーネスを予約する、ティアードアプローチを提案します。

著者は、ProofAgent ハーネスが、敵対的 AI エージェント評価を共有されたオープンな実践として確立し、分野を「デモンストレーションによる信頼」から「証明による信頼」へと移行させることを目指すと結論付けています。このフレームワークはオープンソースとしてリリースされ、コミュニティがドメイン、罠、指標、およびスコアリングルールを拡張できるようにしています。