技術的概要：連続的な AI エージェント評価のための分布フリー不確実性定量化

1. 問題定義

AI エージェントの評価は現在、「不確実性の危機」に直面している。既存の静的ベンチマーク（例：SWE-bench、GAIA、WebArena）は、決定的なものとして扱われる点推定値を生成するが、以下の要因に起因する暗黙的な不確実性を考慮できていない。

• 測定異質性: 品質に関する異なるプラットフォーム間の不一致。
• モデル仕様の違い: 重み付けスキームの違いによるランキングの転換。
• 時間的非定常性: エージェントの更新やリリースに伴うスコアの進化。

Chatbot Arena のような一部のフレームワークは、ブートストラップリサンプリングを通じて信頼区間を提供するが、有限サンプル保証を欠いており、しばしば単一の信号源のみに対処している。エージェントスコアに対する分布フリーの被覆保証、マルチエージェントパイプラインのための構成的不確実性の境界、および評価の信頼性が低い場合の原理的な棄権ルールを提供する既存のフレームワークは存在しない。

2. 手法：AgentPulse フレームワーク

著者は、不確実性を第一級の出力として扱う連続的評価フレームワークであるAgentPulseを提案する。このシステムは、19 のデータソースから毎時間収集された 4 因子の合成スコア（$AP$）を用いて 50 のエージェントを評価する。
$$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$$
ここで、$B$はベンチマーク性能、$A$は採用度（GitHub スター数、ダウンロード数）、$S$はセンチメント（9 プラットフォームから集約）、$E$はエコシステム健全性を表す。

このフレームワークは、以下の 4 つの核心的な方法論的柱を採用している。

2.1 分布フリー予測（分割コンフォーマルおよび ACI）

$h$時間先のスコアを予測するために、システムは平均回帰モデルを使用する。特定のデータ分布を仮定することなく被覆を保証するために：

• 分割コンフォーマル予測: スコア履歴を訓練（70%）と較正（30%）に分割する。非適合スコアを計算し、区間 $C_{1-\alpha}$ を構築するために分位数 $\hat{q}_{1-\alpha}$ を選択する。これは交換性の下で $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ を保証する。
• 適応的コンフォーマル推論（ACI）: エージェントのリリースによって引き起こされる分布のシフト（交換性の違反）に対処するため、ACI はオンラインで誤被覆レベル $\alpha_t$ を調整する。観測値が区間の外に出た場合、$\alpha$ を増大させ、被覆が回復するまで区間を広げる。

2.2 条件付き被覆（モンドリアン・コンフォーマル）

標準的なコンフォーマル予測は、全エージェントにわたる周辺被覆（平均）を提供するが、これは特定の不安定なエージェントの性能の低さを隠蔽する可能性がある。著者は、クロスソース標準偏差（$\sigma_{cross}$）に基づいてエージェントを「安定」グループと「不安定」グループに層別化するモンドリアン・コンフォーマル予測を実装する。各グループに対して個別の較正セットと分位数を計算し、標準的な手法では失敗する不安定なエージェントに対する条件付き被覆保証を確保する。

2.3 パイプラインのための構成的不確実性

マルチエージェントパイプライン（$a_1 \to a_2$）に対して、フレームワークは合成測定値の不確実性の境界を導出する。

• 独立性境界: $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$。
• 最悪ケース境界: $\sigma_{pipeline} \le \sigma_1 + \sigma_2$。
  これらの境界は、段階間相関 $\rho \in [-0.5, 0.9]$ 全体にわたるシミュレーションによって検証された。

2.4 選択的棄権と FDR 制御

ランキングの信頼性を管理するために：

• コンフォーマル棄権: 対比較において、スコア差 $\Delta_{ab}$ の信頼区間がゼロを含む場合、システムはランキングを棄権する。これにより誤ったランキング率を制御する。
• FDR 補正: リーダーボード規模の多重検定（1,225 対）に対して、偽発見率（FDR）を制御するために Benjamini-Hochberg（BH）手順を適用する。これにより、ランキングされた対全体の中で誤って順序付けられた対の割合が目標閾値以下に抑えられることを保証する。

3. 主要な結果

3.1 較正と被覆

• 較正誤差: コンフォーマル区間は、24 時間先においてすべての名义レベルで 0.02 未満の較正誤差を達成した。
• パラメトリック/ブートストラップとの比較: パラメトリック区間は体系的に過剰に保守的（必要以上に広い）であった。ブートストラップ区間は短期間では過剰に保守的であったが、時間的非定常性により 72 時間では被覆不足（名义 80% に対して 74% の被覆）となった。コンフォーマル手法は、72 時間で 79% の堅牢な被覆を維持した。
• 適応的対応: エージェントのリリース後、ACI は 6 時間以内に区間を**35%**正確に拡大し、48 時間かけて再収束した。一方、静的な手法は被覆の低下を被った。

3.2 条件付き被覆の改善

• 不安定なエージェント: 標準的なコンフォーマル予測の下では、不安定なエージェント（高い $\sigma_{cross}$）の平均被覆は**64.6%**であった（15 エージェント中 11 エージェントが 75% 未満）。
• モンドリアン補正: エージェントを層別化することにより、モンドリアン・コンフォーマルは不安定なエージェントの被覆を**80.4%**に引き上げた（15 エージェント中 2 エージェントのみが 75% 未満）。これは、その特定のグループに対してより広い区間を犠牲にしたものである。
• 全体的な分布: 50 エージェントにわたるエージェントごとの平均被覆は**80.4%**であり、90% のエージェントが [72%, 90%] の範囲内に収まっていた。

3.3 パイプラインとランキングの安定性

• パイプライン境界: シミュレーションにより、正の相関において真のパイプライン不確実性は独立性境界と最悪ケース境界の間に収まることが確認された。
• 棄権率: $\alpha=0.20$において、31% の対が棄権をトリガーした。FDR 制御のための BH 補正後、50% の対が自信を持ってランキングされ、残りは不確実としてフラグ付けされた。
• 信号の分岐: クロスソースのセンチメントの分岐は、ランキングの不安定性の強力な予測因子であった（$r=0.64, p<0.01$）。

3.4 検証

• 予測的妥当性: GitHub シグナルを除外したサブ合成スコアは、GitHub スター数（$\rho_s=0.52$）と Stack Overflow の質問数（$\rho_s=0.49$）を予測した。
• 循環性の制御: 検証により、このフレームワークが標準的なベンチマークを超えたシグナルを捉えていることが確認された（$\rho_s=0.52, p<0.01, n=35$）。
• ランキングの転換: 合成ランキングは、ベンチマークのみのランキングと有意に異なり、特に高い採用度を持つがベンチマークスコアが低いエージェントや、採用シグナルがゼロのクローズドソースエージェントにおいて顕著であった。

4. 意義と主張

本論文は、AgentPulseが、連続的かつマルチソースのエージェント評価に対して分布フリーの被覆保証を提供する最初のフレームワークであることで、AI 評価における重要なギャップを埋めると主張している。

著者は、彼らの貢献が分割コンフォーマル予測そのものの発明ではなく、以下の 4 つの明確な課題に特徴づけられるドメインへの厳密な適用にあることを強調している。

1. 構造化された交換性の違反: エージェントのリリースに対処するために ACI を通じて解決。
2. 条件付き被覆の失敗: $\sigma_{cross}$による層別化を伴うモンドリアン・コンフォーマルを通じて解決し、不安定なエージェントの信頼性を大幅に向上。
3. 構成構造: パイプラインのための検証済みの不確実性伝播境界を通じて解決。
4. リーダーボード規模の多重検定: FDR 制御付きの棄権を通じて解決。

この研究は、分布フリー手法が時間的非定常性下で標準的なリサンプリング（ブートストラップ）アプローチを上回ることを実証している。不確実性を主要な出力として扱うことで、このフレームワークは、静的な点推定からエージェントの品質の確率的な理解へと移行し、より信頼性が高く、動的で、ニュアンスに富んだ AI エージェントの評価を可能にする。

著者が認める限界:

• ACI は有界な分布シフトを仮定しており、無界なレジーム変化は収束を侵害する可能性がある。
• 構成境界は、負の段階間相関の下では反保守的（過小評価）になり得る。
• FDR 制御は、検定統計量間の独立性または正の回帰依存性を仮定している。
• 除去分析（$n=11$）は統計的検出力が不足していた。
• 現在の NLP 処理は英語のみに対応しており、クローズドソースのエージェントには採用シグナルが存在しない。