ProEvent: An Event-centric Benchmark for Proactive Agents
本論文は、インスタントメッセージングのチャットからユーザーのイベントを自律的に追跡するプロアクティブなエージェントの能力を評価するための、初のイベント中心のベンチマークであるProEventを紹介しており、現在の大規模言語モデルがタイミング、イベントのキャンセル、および暗黙的な推論において著しく苦戦していることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたの指示を待つだけでなく、まるで鷹のようにあなたの生活を見守り、あなたが言葉を発する前に何を必要としているかを察知する、超スマートなデジタルアシスタントがいることを。これは「プロアクティブ・エージェント（先回り型エージェント）」という夢の姿です。ボタンを押すまで待機している普通のロボットとは違い、プロアクティブ・エージェントは、ニンニクの香りがした瞬間に野菜を刻み始めるシェフや、空が灰色になった瞬間に傘を差し出してくれる友人のような存在です。コンピュータサイエンスにおける現在の大きな課題は、こうしたデジタル脳に、人間の生活の混沌とした複雑さに混乱することなく、どのようにこの動きを教えるかということです。コンピュータが厳格なルールに従うのが得意であることは分かっていますが、現実の世界は、隠れたヒントや、重なり合う会話、そして「キャンセル」と言わずに予定を変更する人々で溢れています。もしこれらのエージェントを真に役に立つものにしたいのであれば、彼らはテキストメッセージから、ハイキング旅行や会議といった将来の計画を追跡し、いつ発言し、いつ黙っているべきかを正確に判断できなければなりません。
そこで登場するのが、研究者たちが設計した、これらのデジタルアシスタントが本当に実社会への準備ができているかをテストするための新しい「訓練場」、PROEVENTです。PROEVENTを、プレイヤーがAIとして人間のカレンダーを管理しようとする、巨大でハイリスクなビデオゲームのレベルだと考えてください。研究者たちは、AIに整然とした予定リストを与えるのではなく、乱雑でリアルなチャットのストリームを流し込みます。AIは友人、同僚、家族の間で行われる会話を聞き、どのようなイベントが計画されているかを把握し、それに応じてカレンダーを更新しなければなりません。しかし、ここにはひねりがあります。チャットには、とりとめもない雑談や、途中で計画を変更する人々、そしてキャンセルのように聞こえるものの実際にはそうではないメッセージなどが満載なのです。AIは、探偵であり、書記であり、そしてタイムマネージャーでもあることが求められます。
研究者たちは、非常にリアルな数千件の偽のチャットログを作成することで、このテストを構築しました。彼らは異なる性格や目標を持つ「キャラクター」をプログラムし、人々が会議の時間を交渉したり、体調不良のために予定をキャンセルしたり、あるいは実際には行われない予定を立てようとしたりする複雑なシナリオをシミュレートしました。さらに、AIが気を散らされないかを確認するために、「ノイズ（本筋とは関係のないランダムなメッセージ）」さえも追加しました。目的はシンプルでした。AIはこれらのチャットを読むだけで、正しく時刻表を作成し、更新できるのか？ということです。
8つの異なる強力なAIモデルをこのテストに投入したところ、結果は「悪くない」と「なんてことだ」が入り混じったものでした。最大の驚きは、AIが**過剰に熱心すぎる（おせっかいすぎる）**傾向があることでした。動く葉っぱに反応して吠え続ける犬のように、これらのAIは何も変わっていないときでも、常にカレンダーを更新しようとしていました。実際、DeepSeek-V3.2のようなモデルでは、静かにしていなければならない場面でも、96%以上の確率で変更を試みていました。彼らはチャンスを逃すことを恐れるあまり、結果として混乱を生み出していたのです。
もう一つの大きな障壁は、キャンセルです。ユーザーが「気分が良くないので、行けないかもしれません」と言ったとき、人間ならそれがキャンセルであることを理解します。AIは、削除が必要である可能性を察知すること（実際のキャンセルの約半分を捉えること）には比較的優れていましたが、それを「確信」することには苦戦しました。彼らは、まだ進行中のイベントを頻繁に削除したり、間違った計画を削除したりしました。論文によれば、GPT-5.1と名付けられた最も高度なモデルでさえ、このトリッキーなシナリオにおいて正解を出せたのはわずか**26.7%**でした。つまり、約4回に3回の割合で、AIはスケジュールを台無しにしていたのです。
この研究はまた、これらのデジタル脳に奇妙な盲点があることも明らかにしました。彼らは**「誰を助けているのか」**を本当には理解していないのです。ユーザーが「パーティーには行けません」と言ったとき、AIはしばしばユーザーの名前をゲストリストから外すだけで、パーティー自体はカレンダーに残してしまいます。それはまるで、客が「お腹いっぱいです」と言ったときに、名前を予約から外すだけで、テーブルのセッティングはそのままにしておくウェイターのようなものです。AIは、イベントを外部からの視点で見ており、ユーザーの立場に立って「ああ、*私（ユーザー）*が行けないのだから、このイベントは私にとって終了なのだ」と気づくことができていません。
要するに、これらのAIエージェントは賢くなりつつありますが、まだあなたのプロアクティブなライフマネージャーを務める準備はできていないようです。彼らは動きが早すぎ、複雑な会話に混乱し、「たぶん」と「いいえ」の違いを理解するのに苦労しています。研究者たちは、PROEVENTを通じてAIがどこで失敗するかを明確に示すことで、次世代のモデルがより忍耐強く、より正確になり、最終的には、いつ傘を差し出すべきかを心得ている、助けになる人間の友人のようになれることを期待しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。