🤖 AI

Beyond Reactivity: Measuring Proactive Problem Solving in LLM Agents

本論文は、プロアクティビティ（能動性）を「未指定の課題の探索、特定、および解決」へと分解した新しいベンチマークであるPROBEを紹介するものであり、GPT-5やClaude Opus-4.1といった最先端のモデルでさえ、最高スコアがわずか40%にとどまり、高い自律的パフォーマンスを達成するのに苦慮していることを明らかにしている。

原著者： Gil Pasternak, Dheeraj Rajagopal, Julia White, Dhruv Atreja, Matthew Thomas, George Hurn-Maloney, Ash Lewis

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gil Pasternak, Dheeraj Rajagopal, Julia White, Dhruv Atreja, Matthew Thomas, George Hurn-Maloney, Ash Lewis

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：「指示待ち」から「ニーズの先読み」へ

想像してみてください。あなたのそばに、非常に賢く、動きも素早いパーソナルアシスタントがいるとします。現在、こうしたアシスタントのほとんどは、レストランの注文取りのようなものです。あなたはメニューを見て、何が欲しいかを決め、「ハンバーガーをください」と言わなければなりません。すると、アシスタントはハンバーグを取りに行きます。彼らは「リアクティブ（反応的）」です。つまり、あなたが指示を出した時にのみ動くのです。

この論文の著者たちは、もっと思慮深い執事のようなアシスタントを作れるかどうかを検証したいと考えています。優れた執事は、あなたを見守り、あなたが時計を見てため息をついていることに気づき、「会議まであと10分ですが、まだプレゼン資料の準備が終わっていませんね。すでにバッグに入れておきましたし、車も呼んでおきました」と言ってくれます。これが「プロアクティブ（先回り的）」な行動です。

この論文は問いかけています：現在のAIエージェントは、本当にこのようなことができるのでしょうか？ メールやカレンダー、書類の散らかった山を眺めて、指示される前に何が起きているのかを理解し、自ら解決できるのでしょうか？

問題点：「干し草の中の針」テスト

この検証を行うにあたり、研究者たちは既存のテストでは簡単すぎると気づきました。それは、アシスタントに「小さな引き出しの中から赤い靴下を探して」と頼むようなものです。現実の世界はもっと過酷です。それは、服が山積みになった倉庫の中から赤い靴下を探すようなもので、その靴下に関する情報は、数週間前のメモの中に紛れ込んでいるかもしれません。

これを解決するために、彼らはPROBE（Proactive Resolution of Bottlenecks：ボトルネックの先回り的解決）と呼ばれる新しいテストを構築しました。

PROBEの仕組み:

セットアップ: 彼らは、235人の異なる架空の人物（シニア会計士やプロジェクトマネージャーなど）のために、1,000通りの架空の「業務日」を作成しました。各人物には、何百ものメール、カレンダーの招待、テキストファイルを含む膨大なデジタル「データストア」が用意されています。
隠された問題: 各シナリオには、特定の「ボトルネック（障害）」が隠されています。例えば、重要なレポートに署名が足りない、あるいはファイルの形式が間違っていたために締め切りに間に合わなかった、といった具合です。
罠: 問題は一目では分かりません。証拠は5〜6つの異なるメールやカレンダーのイベントに分散しています。さらに、AIを混乱させるために、ランチや天気の話題など、何百もの「ディストラクター（注意をそらすための文書）」も用意されています。
ゴール: AIエージェントは以下のステップを踏まなければなりません：
- 探索 (Search): 干し草の中から関連する手がかりを探し出す。
- 特定 (Identify): 正確に何が問題なのかを突き止める（例：「締め切りが過ぎたのではなく、ファイル形式が間違っているのだ」）。
- 実行 (Act): 25種類の可能なアクションの中から、問題を解決するための「唯一の正しいアクション」を選択する（例：「ITチームにメールを送る」か「会議を再スケジュールの設定する」か）。

結果：「40%の天井」

研究者たちは、最もスマートなAIモデル（GPT-5やClaude Opusなど）と、さまざまな「エージェント・フレームワーク」（AIの思考プロセスをプログラミングする様々な手法）をテストしました。

衝撃的な結果: 最も優れたAIモデルでさえ、成功率はわずか**40%**でした。

これは、医学試験に例えると分かりやすいでしょう。もし、世界中の最も優秀な医師たちが、「何が問題かを教えられずに、患者の診断を行う」というテストを受けた際、正解率が40%しかなかったとしたら、私たちはまだ道のりが長いことを理解できるはずです。

どこで失敗したのか？

探索: 手がかりを見逃すことがよくありました。間違ったメールを見たり、カレンダーを無視したりしていました。
診断: 手がかりを見つけたとしても、誤った原因を推測することがありました。実際には「ファイルが足りない」ことが問題なのに、「仕事量が多すぎる」ことが問題だと判断してしまうようなケースです。
解決: 問題は分かっていても、間違った解決策を選んでしまうことがありました（例：単に水道屋を呼ぶべき場面で、警察を呼ぶような判断）。

人間との比較

研究者たちは、人間にもこのテストを受けてもらいました。

難点: テストがあまりに長く、一度に読み切ることができませんでした（10万語に及びます！）。
対策: 人間には、重要な部分を要約した「短縮版」を与えました。
結果: 人間は短縮版において、はるかに高い成績（成功率70〜80%程度）を収めました。これは、主な困難が論理そのものではなく、情報の長さと複雑さにあることを証明しています。AIは、膨大なデータの山の中で全てを把握し続けることに苦戦しているのです。

結論：私たちはまだ「リアクティブ」である

この論文は、AIは指示に従うことは得意になってきていますが、自ら問題を**予測（先読み）**することについては、依然として非常に苦手であることを結論づけています。

ギャップ: 「言われた通りに動くこと」と「何をすべきかを自分で判断すること」の間には、巨大な溝があります。
未来: 「執事」のレベルに到達するためには、AIはより長い文書を読み込み、時間の経過に伴う点と点を結びつけ、人間関係（誰にメールを送り、誰を無視すべきかなど）を理解する能力を高める必要があります。

要約すると: 私たちは非常にスマートなエンジンを作り上げましたが、それらはまだ、人間がハンドルを握り、どこを見るべきかを教えてやる必要があります。彼らはまだ、独りで車を運転する準備はできていないのです。

技術要約: PROBE – LLMエージェントにおける先行的問題解決の測定

1. 問題定義

現在の大規模言語モデル（LLM）エージェントは、主に**リアクティブ（反応型）であり、明示的なユーザー指示を受けてから動作します。コーディングやウェブナビゲーションといったリアクティブな領域では大きな進展が見られますが、ユーザーのニーズを予測し、問題を自律的に特定し、プロンプトなしで解決策を実行するプロアクティブ（先行的）**なエージェントへの移行については、依然として評価が不十分です。

既存のプロアクティビティに関するベンチマークには、以下の限界があります：

局所的なコンテキスト: 狭い、即時的な時間的コンテキストに依存しており、複数の文書にわたる長期的な分析を必要とする洞察を捉えることができません。
検索能力の欠如: 指定されていない問題を特定するために、「ユーザー・データストア」を検索するエージェントの能力を十分にテストできていません。
合成的な制約: 長期的なプロアクティビティに関する現実世界のデータ収集は、プライバシーへの懸念とアノテーションのオーバーヘッドによって阻害されています。

核心となる課題は、エージェントが以下のことができるかどうかを評価することです：(1) パーソナライズされたデータストアから未指定の問題を検索できるか、(2) 特定の「ボトルネック」（重要かつ実行可能な問題）を特定できるか、(3) 複数の妥当な選択肢の中から正しい解決策を実行できるか。

2. 手法: PROBE ベンチマーク

これらのギャップに対処するため、著者らはプロアクティビティを3段階のパイプラインとして定式化したベンチマーク、PROBE (Proactive Resolution of Bottlenecks) を導入します。

2.1 データ生成パイプライン

本ベンチマークは、プライバシーのリスクを回避しながら1,000の多様なテストサンプルを作成するために、合成データ生成パイプラインを利用しています。

ワールドモデルの構築: 実世界のLinkedInプロフィールから出発し、システムはシミュレーションされたユーザーのための包括的な「ワールドモデル」を構築します。これらのモデルは、職場の階層、コミュニケーションスタイル、ペインポイント、および利用可能なアクション空間をエンコードしています。
ボトルネックの生成: 各ユーザーに対して、システムは特定の「ボトルネック」を生成します。これは、ユーザーの文書履歴の中に隠された、重要かつ実行可能な問題（例：締め切りの失念、ドキュメントの欠落）です。
ドキュメントの合成: 各サンプルに対して、以下の要素からなるデータストア ( $D$ $D$ ) が作成されます：
- 真陽性 ( $T$ ): ボトルネックのエビデンスを含む文書。エビデンスはしばしば複数の文書に分散しており、合成と時間的な推論を必要とします。
- ディストラクター ( $K$ ): ノイズを導入するために、同程度の長さと関連性を持つ、現実的で無関係な文書（メール、カレンダーイベント）。
アクション空間: 一つのアクション ( $a^*$ ) がボトルネックを正しく解決する一方で、他のアクションは妥当ではあるものの最適ではない、という一連の候補アクション ( $A$ ) が定義されます。

2.2 タスクの定式化

エージェントはデータストア $D$ と利用可能なアクションの集合 $A$ を受け取ります。エージェントはタプル $\hat{O} = (\hat{T}, \hat{b}, \hat{a}, \hat{p})$ を出力しなければなりません：

$\hat{T}$ : 特定された関連文書のサブセット。
$\hat{b}$ : 特定されたボトルネックの説明。
$\hat{a}$ : 選択されたアクション。
$\hat{p}$ : 選択されたアクションのパラメータ。

2.3 評価指標

パフォーマンスは、3つの階層的なステージにわたって測定されます：

検索 (Search): 正しい文書 ( $T$ ) を取得するための適合率 (Precision)、再現率 (Recall)、およびF1スコア。
ボトルネックの特定 (Bottleneck Identification): LLM-as-a-judge フレームワークを通じて評価され、不可欠な詳細（根本原因、ブロッカー）および非不可欠な詳細の正確性をスコアリングします。
タスク実行 (Task Execution): 選択されたアクションの正当性と、そのパラメータの完全性をスコアリングします。

ディストラクターを除去した「短コンテキスト」サブセットにおける人間による評価では、アノテーターが約71%の特定スコアと約67%の実行スコアを達成しており、フルベンチマークの主な困難さは、タスクの曖昧さではなく、長コンテキストの推論と検索に起因することを検証しています。

3. 主な貢献

PROBE ベンチマーク: 長期的なマルチドキュメント・コンテキストにおける検索、特定、実行の統一されたフレームワークを通じて、プロアクティブな能力を体系的に評価する1,000のサンプルからなるデータセット。
包括的な評価: 最先端のクローズドソースモデル（GPT-5, Claude Opus 4.1など）およびオープンソースモデル（DeepSeek-R1, Kimi K-2）と、主要なエージェント・フレームワーク（ReACT, Reflexion, ReWOO）の厳格な評価。
失敗モードの分析: システムがどこで失敗するかを、検索エラー、推論エラー（根本原因の特定）、および実行エラー（パラメータ指定）に区別して詳細に分析。

4. 結果

評価により、現在のAIシステムにおけるプロアクティブなタスクの重大な能力の天井が明らかになりました。

低いエンドツーエンドのパフォーマンス: 最先端のモデルであっても、高い成功率を達成することに苦戦しています。最高のエンドツーエンドのパフォーマンス（タスク実行スコア）は 40% であり、GPT-5 と Claude Opus 4.1 の両方がこれを達成しました。
パイプラインのボトルネック:
- 検索: GPT-5 が F1 スコア 0.65 でリードしていますが、他のモデルは大幅に低下しています（例：GPT-OSS-20b は 0.04）。
- 特定: Claude モデル（Opus 4.1, Sonnet 4）は、GPT-5（0.42）と比較して推論においてわずかな優位性（0.43 スコア）を示しており、検索の強さと推論の深さの間のトレードオフを示唆しています。
- 実行: パフォーマンスは、特定から実行にかけて急激に低下します。モデルは問題を正しく特定しても、正しいアクションを選択できなかったり、パラメータを完全に提供できなかったりすることがよくあります。
- エージェント・フレームワーク: 標準的なフレームワーク（ReACT, Reflexion, ReWOO）は、アウトオブザボックスのLLMよりも著しくパフォーマンスが低く、実行スコアは 0.01 から 0.11 の範囲です。これは、大規模で非構造化されたデータストア内で明確な検索ターゲットがない場合、反復的な検索ツールに依存していることが原因であると考えられます。
失敗モード:
- 根本原因の特定: 特定のエラーのうち 73.8% を占める支配的な失敗モードです。トップモデルであっても、根本原因を誤認することが頻繁にあります。
- 対人推論: モデルは人間関係や役割についての推論に苦労しており（失敗率は 46.9%～78.0%）、ボトルネックを正しい人物に帰属させることに失敗することが多いです。
- パラメータ指定: 重要なパラメータの欠落（65%～79%）や、パラメータ入力の誤りが高く、問題の診断と正確な解決策の策定との間のギャップを示しています。

5. 意義と主張

本論文は、PROBE が現在の自律的なエージェント・システムにおける根本的な限界、すなわち 「長期的なコンテキストを、実行可能でパラメータ化された解決策へと確実に変換できない能力」 を露呈していると主張しています。

リアクティブを超えて: 結果は、単にモデルをスケールさせたり、標準的なエージェント・ループ（ReACT など）を使用したりするだけでは、真のプロアクティビティには不十分であることを強調しています。「リアクティブ」なツールと「プロアクティブ」なアシスタントの間のギャップは依然として非常に大きいです。
忠実なエビデンスの使用: 著者らは、今後の進歩は「忠実なエビデンスの使用」、すなわち、解決を試みる前に複数のソースから情報を合成してボトルネックを正確に特定する能力にかかっていると主張しています。現在のモデルは、十分なエビデンスなしに解決策を推測するという「ショートカット」を行うことが多く、それが高い特定スコアと低い実行スコアをもたらしています。
研究の方向性: 論文では、以下の分野を含む将来の研究方向を特定しています：
- 時間的ダイナミクスと進化するユーザーモデルを組み込んだベンチマークの開発（固定されたワールドモデルを超えて）。
- アクションがエージェントの状態を変更する、マルチステップ・ワークフローへの拡張。
- 対人推論および根本原因分析能力の向上。

要約すると、本論文は、LLMがリアクティブなタスクにおいて多大な進歩を遂げた一方で、真のプロアクティブな自律性を実現するには、長コンテキストの検索、マルチドキュメントの合成、および精密なアクション・プランニングという複雑な課題を解決する必要があり、現在の最先端モデルはまだこれをマスターしていないと断じています。