技術的サマリー：AuditRepairBench

問題定義

本論文は、エージェント修復リーダーボードにおける特定の失敗モードを特定しています：評価者チャネルのランキング不安定性です。ベンチマークの安定性は、しばしば一般的な評価者のノイズや「LLM による判定」の信頼性のなさに帰せられますが、著者らは、エージェント修復システムが内部での候補修復の選択中に評価者由来のシグナル（例：判定者の根拠トークン、判決の信頼度、再ランキングのロジット）を参照する際に、リーダーボードの順序入れ替えの測定可能な割合が発生することを示しています。

評価者の設定が変更された場合（例：判定モデルや集約規則の交換）、これらの特定の評価者出力に内部選択ロジックを結合しているエージェントは、顕著な順位変動を経験します。これは一般的な不安定性とは異なり、エージェントの選択器と評価者の間のアーキテクチャ的な結合です。現在のベンチマークや評価手法はこの特定の相互作用チャネルを分離していないため、真の修復の改善と、評価者固有のシグナル漏洩のアーティファクトとの区別が困難です。

手法

著者らは、この不安定性を運用化し測定するために設計された、対実行トレースコーパスおよびモジュール型スクリーニングアーキテクチャであるAuditRepairBenchを導入します。

1. コーパスの定義

本リソースは以下の直積です：

• 60 のエージェントシステム：5 つの手法ファミリー（計画 - 実行、シェル - ツール、反復的改善、自律的探索、マルチエージェント議論）にまたがる。
• 80 のタスク：8 つのタスクファミリーから。
• 6 つの評価者ファミリー：プロプライエタリな LLM、オープンウェイト LLM、および様々な集約規則を持つルールベースの評価者を含む。
• 介入：5 つの登録済み介入ファミリー。
• 規模：576,000 の登録済みトレースセル、そのうち 96,000 が対トレースとして実行された。12,000 セルの「Lite」サブセットが、主要な低コストの入口点として機能する。

2. 運用目標と指標

核心的な指標は、セルレベルのフリップ関数（$\hat{q}(x)$）であり、これは介入（評価者から選択器への経路を遮断すること）が修復選択の勝者を変更する確率を表す事後期待値です。

• 介入：「ブラインド」演算子は、最終的な評価者とパイプラインの残りを固定したまま、選択器入力境界における評価者由来の特徴をゼロにします。
• 出力：システムが結合されている（順位変動が閾値を超える）、結合していない、または曖昧であるかを示す集合値ラベル（$L(x)$）。
• リーダーボード：スクリーンの不確実性を考慮し、点推定ではなく順位間隔を提供する集合値リーダーボード。

3. モジュール型スクリーニングアーキテクチャ

単一の学習モデルにベンチマークを縛らないため、スクリーニング決定は、4 つの異種実装の較正されたロジスティックスタッキングによって行われます：

1. 学習済みインフルエンスプロキシ：選択器状態の埋め込み（アテンション重み、活性化の大きさ）を分析し、経路の影響を推定する MLP。
2. ルールベースチャネル露出率：訓練されたモデルなしで、選択器入力に入る評価者由来トークンの比率を計算する静的/動的プログラム分析ツール。
3. 反事実的感度プロキシ：Kullback-Leibler 発散と argmax フリップ率を使用して、局所的な入力マスキング効果を計算する。
4. 希少人間監査プロキシ：少数の人間監査ケースで訓練された勾配ブースティング決定木であり、未到達セルへの決定を伝播させる。

4. 検証戦略

本論文は、多層的な検証プロトコルを採用しています：

• メカニズムに基づく検証：コードを明示的に変更して経路を遮断した 80 のソースレベルの「チャネル手術」ケースを、二重監査判断で検証。
• 独立した発見：パイプライン開発者から分離された 2 つの注釈者グループが、ブラインドプロトコル下で結合パターンを発見。
• 前方転送：外部領域（異なる評価者ファミリー、時間的ホールドアウト、クロスプラットフォームサブセット）での評価により、一般化可能性を評価。
• 不確実性の伝播：スクリーニング実装、モデルシード、閾値からの不確実性を階層的ブートストラップで伝播させ、順位間隔の 95% カバレッジを確保。

主要な結果

1. 検出性能

• 手術サブセット：エンサンブルスクリーニングは、80 のソースレベル手術ケースにおいて、経路ブロック AUROC 0.96を達成。
• 独立した発見：「メモリ報酬エコー」や「判決エントロピー漏洩」などの新しい結合タイプを含む、独立グループによって発見された 79 のケースにおいて、凍結されたエンサンブルはプールされたAUROC 0.83を達成。
• 保持済みカテゴリ：パブリックコードベースからの 180 の保持済み結合カテゴリにおいて、プールされた AUROC は0.88。
• 偽陽性：エンサンブルは、負の対照（勝者を変更するが評価者媒介ではない介入）において低い偽陽性率（0.07）を維持し、単純な勝者変更検出器を大幅に上回る。

2. 前方転送と安定性

• スクリーニングスコアは、外部領域に対して弱から中程度の前方転送を示し、シフトの重大度に応じてプールされた Spearman $\rho$は0.62 から 0.76の範囲にある。
• シフトがより外部になるにつれて（例：プロトコルシフトからクロスプラットフォームシフトへ）、信号は優雅に劣化し、これは汎用予測器ではなく、範囲限定の診断ツールと一致する。
• 信頼較正：本論文は、「フック完全性」（観測可能性）に基づいて階層化された信頼レベルを提供する。フック完全性が $\ge 0.90$ のシステムでは、外部転送 $\rho$ は0.74に達するが、観測可能性が低い場合は0.44まで低下する。

3. 実行可能性と修復

• ターゲット修復：スクリーニングガイドのブラインドパッチ（50 行未満のコード）は、タスク精度への影響を無視できる程度に抑えつつ、順位変動を55–74%（平均 62%）削減する。
• 比較：これに対し、一般的な再訓練は最大 13%、ランダムチャネルブラインドは最大 7% の削減に留まる。ユニバーサルチャネルブラインドは 44% の削減をもたらすが、タスク精度の大幅な低下（平均 -5.1% のパス率）を引き起こす。

4. 効率性

• AuditRepairBench-Lite：12,000 セルサブセット上のルールのみ構成は、フルベンチマークの 2,400 GPU 時間（対して 22 GPU 時間）と訓練モデルを一切必要とせず、Kendall $\tau = 0.88$でフルリーダーボードのランキングを維持する。

意義と主張

本論文は、AuditRepairBench をエージェント性能のランキングのための汎用ベンチマークではなく、特定の失敗モードに対する診断ツールとして位置づける。

• 運用範囲：本リソースは、明示的に「フック完全性」（静的 AST および動的汚染カバレッジ）が少なくとも 0.80 であることへの主張を制限する。潜在的な因果構成の回復や、メカニズムの普遍的な認証を主張するものではない。
• メカニズムの解釈可能性：主な価値は予測スコアそのものではなく、特定の結合チャネル（例：「根拠トークンの読み取り」）を特定する能力にあり、一般的な不安定性の修正では達成できない、ターゲット型で低コストの修復を可能にする。
• 多元的検証：異種実装を備えたモジュール型アーキテクチャと独立した発見プロトコルを使用することで、本論文はベンチマークのアイデンティティは単一の学習モデルではなく、プロトコルと事後分布であると主張し、特定の測定アーティファクトへの過学習のリスクを低減する。
• 謙虚さ：著者らは明示的に、前方転送シグナルは「弱から中程度」であり、本リソースが強い予見的妥当性を主張するものではないと述べている。目標は、すべてのエージェントシステムのための決定的な分類器ではなく、評価者 - 選択器結合を理解するための安定した監査可能なベースラインを提供することである。

要約すると、AuditRepairBench は、エージェントが評価者由来のシグナルに過度に依存することによって引き起こされる特定の不安定性を測定、検証、修復するための最初の運用フレームワークを提供し、より堅牢で透明性の高いエージェント修復リーダーボードへの道を開く。