💻 computer science

Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps

本論文は、認知トラップを備えた SME 作成のプロンプトを用いて専門コンサルティングタスクにおける深層研究エージェントを評価するための厳密なベンチマークを導入し、ハルシネーション、算術誤り、一貫性のない推論といった固有の失敗モードにより、現在の最先端モデル（Claude、o3、Gemini）が均一に低い受入率を達成していることを明らかにする。

原著者： Tanmay Asthana, Aman Saksena, Divyansh Sahu

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tanmay Asthana, Aman Saksena, Divyansh Sahu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超賢い研究アシスタントのチームを雇って、複雑な仕事を任せる状況を想像してください。彼らは散らかった書類の山を読み、特定の数値を見つけ、計算を行い、CEO 向けの専門的なレポートを作成する必要があります。もし彼らがたった一つの数値を間違えれば、CEO は数十億ドル規模の過ちを犯す可能性があります。

この論文は、現在利用可能な最も高度な AI 研究アシスタント 3 種（Claude、o3、Gemini）に対する「厳格な採用面接」のようなものです。Deccan AI Research の著者らは、これらの AI が人間の管理コンサルタントが行うような詳細でリスクの高い仕事を本当に遂行できるのか、それとも単に簡単な雑学問題に答えるのが得意なだけなのかを確認したいと考えていました。

以下に、彼らの実験を簡単な比喩を用いて解説します。

1. テスト内容：「罠だらけ」の障害物競走

AI に対するこれまでのほとんどのテストは、「フランスの首都はどこか？」（事実の想起）と問うようなものでした。しかし、このテストは異なります。著者らは、実際のコンサルティング業務に基づいた「42 の複雑なシナリオ」を作成しました。

これらのシナリオは、AI を欺くように設計された「サバイバル・コース」と考えてください。AI に提示された書類には、「認知の罠」が含まれていました。

「赤いニシン（誤魔化し）」の罠： 100 ページのテキストで満たされたファイルですが、答えは 98 ページの小さな脚注に隠されています。
「矛盾」の罠： ある書類では価格が 50 ドルと記載されていますが、脚注には「ただし火曜日の場合は 60 ドル」とあります。
「数学の罠」： 平均値を求められますが、正しい方法は加重平均（各テストの重み付けに基づいて成績を計算するような）を必要とします。

AI が表面的に読み飛ばしたり、推測したりしただけでは、不合格となります。

2. 審査員：二段階の採点システム

この論文では、AI が AI を採点するだけではありませんでした。彼らは「二段階の採点システム」を採用しました。

第一段階：ロボットによるチェック（検証者）
これらは厳格な自動チェックです。AI はファイルを生成しましたか？正しい数値を使用しましたか？正しい出典を引用しましたか？AI が計算のステップを一つでも間違えれば、この層はそれを不合格と判定します。
第二段階：人間の専門家（SME）
15 年以上の経験を持つ実際の人間のコンサルタントが、AI のレポートを読み、以下の 5 つの項目で採点しました。
- データの完全性： 事実を捏造しましたか？
- 分析の厳密性： 論理は妥当ですか？
- 関連性： 質問に答えましたか、それともただ漫然と書き連ねましたか？
- 実行： 計算は正しかったですか？
- 形式： レポートは専門的で実用的ですか？

最終スコアは、これら二つの層を組み合わせました。テストに「合格」するには、AI はロボットによるチェックをクリアし、かつ人間の専門家を感銘させる必要がありました。

3. 結果：「合格率」は驚くほど低かった

合計 126 回の試行（42 タスク × 3 種類の AI）のうち、ほとんど誰も合格しませんでした。

Gemini は約 21% の確率で合格しました。
Claude と o3 はわずか 9.5% の確率で合格しました。

つまり、これらの AI のいずれかを百万ドル規模のコンサルティングプロジェクトに雇った場合、79% から 90% の確率で、使用可能かつ正確なレポートを提供できないことになります。

4. 各 AI の失敗の仕方（失敗の「個性」）

この論文は、各 AI がそれぞれ独自の失敗の仕方をしていることを発見しました。まるで 3 人の異なる学生が難しい試験を受けたようなものです。

Claude（自信に満ちた捏造者）
- 強み： 最終ファイル（Word ドキュメントや Excel シートなど）を実際に作成する能力が最も高かったです。提出を忘れることはほとんどありませんでした。
- 弱み： 嘘をつく可能性が最も高かったです。書類から答えを見つけられなかった場合、隙間を埋めるために自信を持って数値や出典を捏造しました。まるで、美しいエッセイを書いたが、すべての事実を捏造した学生のようです。
o3（慎重だが不器用な数学者）
- 強み： 推論を行った場合、その論理は最もクリーンであることが多かったです。
- 弱み： 頻繁にレポートの必須セクションを省略したり、連鎖的な計算ミスを犯したりしました。最初のステップで間違えると、その後の計算全体が誤ったものになります。また、ファイル作成の指示を無視して、単にテキストで回答するケースもありました。
Gemini（ジェットコースター）
- 強み： 機能した場合は、しばしば最も優秀でした。「完璧」なスコアを最も多く獲得しました。
- 弱み： 不安定でした。「ゼロ」スコアの数が最も多かったです。時にはクラッシュしたり、回答を拒否したり、壊れたコードを含むファイルを生成したりしました。まるで、試験で満点を取るか、あまりにもひどく失敗して出席さえしない学生のようです。

5. 大きな教訓

この論文は、これらの AI エージェントは印象的ではあるものの、まだ高リスクで意思決定に直結する業務には適していないと結論付けています。

人間のコンサルタントがミスをする場合、それは通常、些細な過ちです。しかし、これらの AI がミスをする場合、それはしばしば壊滅的な失敗となります。彼らは偽りの出典を捏造したり、ソフトウェアをクラッシュさせたり、ビジネス判断全体を変える重要な脚注を見落としたりする可能性があります。

著者らは現在、このテストのより大規模な第二版を準備していますが、現時点でのメッセージは明確です。**まだ、これらの AI に自社の数十億ドル規模の意思決定を任せてはいけません。**彼らはまだ、信頼できる研究者になる方法を学んでいる段階です。

技術サマリー：専門コンサルティング業務における深層研究エージェントの評価

問題定義

最先端の深層研究エージェント（DRA）は、厳密な評価が行われるよりも速いペースで企業ワークフローに導入されている。既存のベンチマーク（例：MMLU、GAIA、WebArena）は、主に事実の想起、単一ホップの質問応答、または汎用的なエージェントスキルを測定するものである。これらは、管理コンサルティングなどの専門分野において DRA がますます期待される、多ドキュメントにわたる意思決定レベルの構造化された成果物を捉えることに失敗している。この評価ギャップの代償は具体的である：研究成果物における単一の誤計算や幻覚（ハルシネーション）が、数十億規模の欠陥のある設備投資決定につながる可能性がある。現在の専門分野向けベンチマークは、複雑で構造化されたアーティファクトの生成ではなく、質問応答としての評価を枠組みとしており、同調性や長さバイアスといった較正問題に悩まされる LLM 判定者に依存することが多い。

手法

著者は、管理コンサルタントの週次業務に典型的な構造化された分析成果物を対象とした新しいベンチマークを導入する。本研究では、3 つの最先端エージェントを評価する：Claude Opus 4.6（ウェブ検索付き）、OpenAI o3-deep-research、およびGoogle Gemini 3.1 Pro deep-research。

ベンチマーク設計

コーパス: 管理コンサルティング分野の主題専門家（SME）によって作成された 42 の固有のプロンプト。
プロンプト分類体系: プロンプトはトピックではなく、認知能力によって 5 つのクラスに分類される：
1. 制約付き研究プロンプト（CRP）: ソースの規律（承認されたファイルに限定）をテストする。
2. 関連性圧縮プロンプト（RCP）: 雑多なコーパスからの信号抽出をテストする。
3. 構準則遵守プロンプト（SCP）: 複雑な出力スキーマ（JSON、表）に対するアルゴリズム的服従をテストする。
4. 潜在分解プロンプト（LDP）: 未記載の変数と中間ステップを推論する能力をテストする。
5. 失敗感受性プロンプト（FSP）: 小さな誤りが出力全体を無効にするような精度をテストする。
認知トラップ: 表面のパターンマッチングに依存するエージェントを罰するため、プロンプトには現実的な人間特有の誤り（一貫性のない単位、脚注の矛盾）と、単純な平均値ではなく加重平均を要求する決定論的な精度トラップが意図的に埋め込まれている。

評価フレームワーク

このベンチマークは、0〜100 スケールで検証者・評価基準スコア（VRS）を生成するための二層スコアリングシステムを採用している：

決定論的検証者: 真実の事実、引用の妥当性、構準則遵守のための、タスクあたり平均 13.8 件の二値化可能な自動化チェックのスイート。
SME 評価基準: 5 つの基準にわたる独立した人間 SME による 0〜3 の順序スコア：
- DI: データ完全性
- AR: 分析の厳密性
- RF: 関連性と焦点
- EP: 実行精度
- FD: 形式と納品性

受入基準（ACCEPT）: 応答が「生産準備完了」と見なされるのは、厳格な連言閾値を満たす場合のみである：平均評価基準スコア $\ge$ 2.5、検証者通過率 $\ge$ 80%、かつ単一の基準で 0 点が付けられていないこと。

主要結果

合計 126 回の試行（42 プロンプト × 3 エージェント）にわたる結果は、明確な失敗モードと低い全体的な受入率を明らかにしている：

受入率: すべてのエージェントが生産基準を満たすことに苦労している。
- Gemini: 21.4%（最高）
- o3: 9.5%
- Claude: 9.5%
厳格な VRS スコア:
- o3: 62.6（最高レベルの推論品質だが、構造的失敗が頻発）
- Gemini: 56.9
- Claude: 42.0
エージェント固有の失敗特性:
- Claude: 最も信頼性高く成果物アーティファクトを生成する（90% のファイル出力率）が、最も高い捏造特性（42 プロンプト中 22 で捏造データタグ）を有する。ファイルが読み取れないと主張し、架空の値を置き換えることがよくある。
- o3: 最もクリーンな推論平均を示すが、連鎖的な算術エラーに悩まされ、必要なセクションを頻繁に落としたり、出力ファイルを生成できなかったりする（30% の完了率）。
- Gemini: 二峰性のパフォーマンスを示す。プロンプトあたりの勝利数が最多（42 件中 19）だが、0 点の評価基準セルの数も最多（41）であり、優雅な劣化の欠如を示している。つまり、主導するか、システムタイムアウトやコードクラッシュなどの壊滅的な失敗に陥るかである。
プロンプトクラス別パフォーマンス:
- CRP（閉鎖コーパス）: すべてのエージェントが低く、統計的に有意な勝者はなかった。閉鎖コーパスに制限されていても、エージェントは外部引用を幻覚させることが多かった。
- SCP（構造）: o3 と Gemini は Claude を上回り、Claude は厳格な JSON/スキーマ遵守に大きく苦労した。

意義と主張

本論文は、同じ応答に対して決定論的 SME 評価付き検証者と独立した多基準順序評価基準を組み合わせ、専門的な研究の難しさをシミュレートするために認知トラップを埋め込んだ、最初のベンチマークを提供すると主張している。

方法論的貢献: LLM 判定者を人間 SME に置き換え、独立した評価基準層を追加することで、単一指標ベンチマークが見逃すエージェント固有の失敗（例：捏造対構造的崩壊）を露呈させる。
実証的発見: 現在の最先端 DRA は、意思決定レベルの業務にはまだ信頼性が不十分である。「受入」率は均一に低く（9.5%〜21.4%）、エージェントは明確で予測可能な方法で失敗する。
妥当性確認: ベンチマークの評価基準構成は、既存の評価基準ベースベンチマーク（例：APEX-v1、ProfBench）との整合性と、プロンプトごとの「最良」応答に対する人間専門家判断との高い一致（90.5%）によって検証されている。

著者は、DRA は有望さを示しているが、現在、データ完全性と構準則遵守、特に高リスクの企業展開に必要な信頼性、精度、堅牢性を欠いていると結論付けている。第 2 版（v2）は、コーパスと分野（投資銀行の追加）を拡大し、公式な評価者間信頼性統計を提供するために計画されている。