🤖 machine learning

On Randomness in Agentic Evals

この論文は、単一の実行結果に基づくエージェントシステムの評価が統計的ノイズに左右されやすく、信頼性のある進捗判定のためには複数回の実行や統計的検定力分析の導入が不可欠であると示唆しています。

原著者： Bjarni Haukur Bjarnason, André Silva, Martin Monperrus

公開日 2026-03-24

📖 1 分で読めます☕ さくっと読める

原著者： Bjarni Haukur Bjarnason, André Silva, Martin Monperrus

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI エージェント（自律的に行動する AI）の性能を測る方法に、大きな落とし穴がある」**という驚くべき発見を報告しています。

一言で言うと、**「AI のテストを 1 回だけやって『できた！』と喜ぶのは、サイコロを 1 回振って『6 が出たから、このサイコロは最高だ！』と言うのと同じくらい危険かもしれない」**という話です。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

1. 問題：「1 回だけ」のテストは嘘をついている

今までの AI の研究では、新しい AI を開発したら、課題を 1 つ与えて「1 回だけ」試して、成功すれば「合格（Pass）」、失敗すれば「不合格（Fail）」として、その結果を報告するのが普通でした。

しかし、この論文の著者たちは、**「同じ AI に同じ課題を 10 回も 20 回もやらせてみたら、結果が毎回バラバラだった！」**ことに気づきました。

ある回は「完璧に解決！」
別の回は「全く手が出ない」
また別の回では「途中で迷子になる」

これでは、**「1 回目にたまたま運が良かっただけ」なのか、「本当に AI が賢くなった」**のか、区別がつきません。
もし「前回の AI より 3% 良くなった！」と報告されても、それは単なる「運の差（ノイズ）」で、本当の技術進歩ではない可能性が高いのです。

2. 原因：最初の「小さな誤差」が雪だるま式に膨らむ

なぜ同じ AI が毎回違う結果を出すのでしょうか？
著者たちは AI の思考過程（トークンという文字の羅列）を詳しく調べました。すると、「最初の数文字（全体の 1% 未満）」で、AI の思考の分かれ道ができていたことがわかりました。

【例え話：道案内アプリ】
2 人の探検家（AI）が同じ目的地を目指します。

A さん：「まずは北へ進もうかな」
B さん：「いや、北じゃなくて東へ進もうかな」

この「北か東か」という最初のたった 1 歩の違いが、その後の行動を大きく変えてしまいます。

A さんは北へ進んだら道が閉鎖されていて、迷子になり、失敗。
B さんは東へ進んだら近道が見つかり、成功。

AI も同じで、最初の「思考の癖」や「言葉の選び方」が少し違うだけで、その後のツール操作やコード作成が全く違う道筋に進んでしまい、最終的に「成功」か「失敗」が逆転してしまうのです。
しかも、この違いは「温度（ランダム性の設定）」を 0 にして厳密にしようとしても、コンピューターの内部処理のわずかなズレで消えません。

3. 発見：「運」に左右される性能の幅

著者たちは、AI の性能を「ベストな場合」と「最悪な場合」で測ってみました。

ベストな場合（Pass@k）：「10 回やって、そのうち 1 回でも成功すれば OK」とすると、性能は50% 以上に見える。
最悪な場合（Pass^k）：「10 回やって、すべて成功しなければ NG」とすると、性能は15% 程度に落ちる。

つまり、**「同じ AI でも、運が良ければ 5 割の成功率、運が悪ければ 1 割の成功率」**という、30% 以上もの差が存在するのです。
現在の評価方法では、この「運の幅」を無視して、たまたま運が良かった 1 回の結果だけで「この AI はすごい！」と判断しているのが実情です。

4. 解決策：どうすれば正しい評価ができる？

この論文では、正しい評価のために 3 つの提案をしています。

「1 回」ではなく「複数回」テストする
- サイコロを 1 回振るのではなく、10 回、20 回振って「平均」や「ばらつき」を見るべきです。特に「少しだけ良くなった」と言いたい場合は、もっと多くの回数を試す必要があります。
「統計的な力」を計算する
- 「本当に 2% 良くなったと言えるか？」を数学的に計算して、必要なテスト回数を事前に決めておきましょう。
「ベスト」と「ワースト」の両方を報告する
- 「最高に頑張ればこれくらいできる（楽観値）」と、「最低限安定してこれくらいできる（悲観値）」の両方を示すことで、AI の本当の能力の幅（パフォーマンスの包絡線）を把握しましょう。

まとめ

この論文が伝えたかったのは、**「AI の進化を正しく測るには、単なる『1 回の成功』に踊らされないこと」**です。

今の状況：「たまたま運が良かっただけの成功」を「技術の進歩」と勘違いして、無駄な投資や間違った判断をしてしまっている。
必要なこと：「何回も試して、そのばらつき（ノイズ）を考慮した上で、本当に AI が賢くなったかどうかを判断する」こと。

これは、AI 開発者だけでなく、AI を使う企業や、AI の進歩をニュースで知る私たち全員にとって重要なメッセージです。「すごい！」と即座に判断する前に、「本当にそうか？何回も試したのか？」と疑う視点が、これからの AI 時代には必要だと言っています。

論文「ON RANDOMNESS IN AGENTIC EVALS」の技術的サマリー

この論文は、ICLR 2026 Agents in the Wild Workshop で発表された研究であり、自律エージェント（Agentic Systems）の評価における「ランダム性（不確実性）」が、性能スコアの信頼性と科学的進歩の解釈に与える重大な影響を実証的に分析したものです。

1. 問題定義

現在のエージェント評価の標準的な手法は、タスクごとの単一実行（single-run）に基づき、成功確率を表す指標であるpass@1を報告するものです。しかし、このアプローチには以下の重大な欠陥があります。

高バリアンスな推定: 1 回のバイナリ結果（成功/失敗）から真の成功確率を推定することは、統計的に非常にばらつき（バリアンス）が大きい。
ランダム性の無視: 温度パラメータ（temperature）が 0 以上の場合、サンプリングの確率性により同一エージェントでも異なる結果が生じる。さらに、温度 0 であっても、推論エンジンや環境相互作用（ツール実行、タイミングなど）による非決定性が存在する。
誤った進歩の解釈: 単一実行に基づく 2〜3 パーセントの改善報告は、アルゴリズムの真の進歩ではなく、評価プロセス自体の「ノイズ（偶然の好結果）」である可能性が高い。

2. 研究方法

著者らは、SWE-Bench-Verified（ソフトウェアエンジニアリング課題解決ベンチマーク）を用いて、大規模な実証実験を行いました。

実験規模:
- モデル: 3 種類（Qwen3-32B, DeepSWE-preview, Devstral-2）
- スケールフォールド: 2 種類（独自開発の nano-agent、トレーニングで使用された R2E-Gym）
- 実行回数: 各設定（モデル×スケールフォールド×温度）あたり 10 回独立実行。
- 総データ量: 60,000 件のエージェント軌道（トラジェクトリ）、255.8 億トークン、188 万回のツール呼び出し。
評価指標:
- pass@1: 単一実行の成功率（従来の指標）。
- pass@k: $k$ 回の試行のうち少なくとも 1 回成功する確率（楽観的 bound）。
- pass^k: $k$ 回の試行すべてが成功する確率（悲観的 bound、一貫性の指標）。
- First Token Divergence ( $\tau_{div}$ ): 2 つの軌道が初めて異なるトークンに到達する位置（バタフライ効果の起点）。
条件: 温度 0（理論上は決定論的）と、モデル推奨の温度（0.2〜1.0）の両方で実験を実施。

3. 主要な結果と発見

3.1 評価結果における顕著なバリアンス

単一実行の pass@1 スコアは、実行の選び方によって2.2〜6.0 パーセントポイント変動しました。

標準偏差は、温度 0 の設定であっても 1.5 パーセントポイントを超えました。
温度 0 の非決定性: 理論上は決定論的であるはずの温度 0 でも、浮動小数点演算の精度やハードウェア最適化、バッチ処理などの要因により、明確なバリアンスが観測されました。
統計的有意性の欠如: 単一実行で観測される 2〜3 ポイントの差は、多くの場合、統計的なノイズの範囲内であり、真のアルゴリズム改善を証明するものではありません。

3.2 パフォーマンスの境界（Optimistic vs Pessimistic）

pass@k と pass^k の比較により、エージェントの能力がランダムな探索にどの程度依存しているかが明らかになりました。

DeepSWE-preview（r2e-gym 上）: pass@1 は 34.4% でしたが、5 回試行すれば 52.9%（pass@5）まで向上する一方、5 回すべて成功する確率（pass^5）は 15.5% でした。
Devstral-2（nano-agent 上）: pass@1 は 63.5% でしたが、pass@5 は 76.2%、pass^5 は 49.1% でした。
結論: 楽観的 bound と悲観的 bound の間に最大24.9 パーセントポイントの差が生じており、エージェントの成功が確率的探索に大きく依存していることを示しています。

3.3 軌道の早期分岐（Early Divergence）

トークンレベルの分析により、異なる実行間での軌道分岐が非常に早期に発生することが判明しました。

分岐のタイミング: 多くの場合、全体のトークンの1% 以内（最初の数十トークン）で分岐が発生します。
バタフライ効果: 初期のわずかな違い（例：「ファイルを検索する」か「ディレクトリを検索する」という推論の違い）が、自己回帰的な条件付けを通じて増幅され、その後のツール呼び出しや戦略を根本的に変え、最終的に成功と失敗という対照的な結果を生み出します。
温度の影響: 温度 0 にすると分岐が遅くなる傾向はありますが、分岐を完全に抑制することはできず、依然として早期に発生します。

4. 提言と解決策

信頼性の高いエージェント評価を行うために、以下の 3 つの実践を推奨しています。

複数回実行による評価: 小さな改善（数パーセント）を測定する際、タスクごとに単一実行ではなく、複数の独立した実行から pass@1 を推定する。
統計的検定力分析の活用: 期待する効果量（改善幅）を検出するために必要な実行回数を、統計的検定力分析（Power Analysis）に基づいて決定する。
- 例：標準偏差 1.5% で 1% の改善を検出するには、約 36 回の実行が必要。2% の改善なら約 9 回。
パフォーマンス包絡線の可視化: pass@1 だけでなく、pass@k（楽観的 bound）とpass^k（悲観的 bound）を併せて報告し、エージェントの性能範囲と確率的依存度を完全に記述する。

5. 意義と結論

この研究は、エージェント AI の分野における評価手法の根本的な見直しを迫るものです。

科学的厳密性: 単一実行に基づくリーダーボードや論文の主張は、統計的ノイズに過ぎない可能性が高く、誤った技術選択やリソース配分を招くリスクがあります。
コスト対効果: 複数回の実行は計算コストを増大させますが、誤った判断による長期的なコスト（開発方向性の誤り、デプロイ失敗）を避けるためには不可欠です。
将来の展望: 複雑で長期的なタスク（Long-horizon tasks）が増えるにつれて、初期の分岐がもたらすバリアンス増幅効果はさらに深刻化すると予想されます。

要約すれば、エージェント評価における「ランダム性」は単なるノイズではなく、性能の重要な構成要素であり、これを無視した評価は科学的進歩の誤った解釈を招くため、統計的に厳密な評価手法への移行が急務です。