技術要約: MOMENTO

問題提起

近年のエージェンティックAI（Agentic AI）の進歩は、単一セッションの隔離された環境において、推論、ツール利用、およびマルチステップのプランニングにおける強力な能力を実証してきた。しかし、既存のベンチマークは現実世界のデプロイメントを反映できていない。実際には、ユーザーは数日から数週間にわたってエージェントと対話し、進化する目標、蓄積された履歴、そして過去の決定事項を統合してパーソナライズされた目的を達成する必要がある。現在の評価フレームワークは、これらのクロスセッションの依存関係を無視しており、エージェントをステートレスな実体として扱ったり、単なる事実の想起のみを評価したりしている。これは、検索されたコンテキストがより良いタスク決定を駆動するかどうかではなく、単なる情報の保持に留まっているという点で、現在のエージェントの能力と、メモリが重大なツール介在型アクションをサポートしなければならない現実的な長期的（long-horizon）な人間・エージェント間インタラクションとの間に大きな乖スのを生じさせている。

メソドロジー

このギャップに対処するため、著者らは、マルチセッションかつマルチモーダルなサービス環境における持続的なエージェンティック・タスク完了のために設計されたベンチマークおよび評価フレームワークであるMOMENTOを導入する。

フレームワーク・アーキテクチャ

システムは、2つのエージェントによるロールプレイング・シミュレーションを通じて動作する：

1. ユーザー・エージェント ($\pi_u$): ユーザー・ポリシー ($\Phi_u$) に基づいて自然な会話応答を生成することで、人間の行動をシミュレートする。このポリシーは、ペルソナ、長期目標、および嗜好を定義する。このエージェントは、セッション間の時間的整合性を維持するために、共有メモリ・モジュールからコンテキストを検索する。
2. アシスタント・エージェント ($\pi_a$): ユーザーの入力に応答し、マルチセッションの要約を検索し、外部ツールを呼び出し、最終的な応答を生成する責任を負う。このエージェントは、過去のセッションと現在のリクエスト間の依存関係を解決するために、時間的推論を実行しなければならない。

エージェンティック・メモリ

MOMENTOの核となるコンポーネントは、128kトークンのコンテキスト内で動作するエージェンティック・メモリ・モジュール ($M$) である。これはハイブリッド・アプローチを採用している：

• 長期想起 (Long-term Recall): LLMによって生成されたSQLクエリを使用して、データベースから関連する過去のセッションを検索する。これにより、セマンティックなマッチングと、時間的制約および構造的条件を組み合わせた、クロスセッションの依存関係に関する明示的な推論が可能になる。
• 短期圧縮 (Short-term Compression): インコンテキストの対話履歴を管理する。詳細な記述のために直近のコンテキストの8割をそのまま保持する一方で、古いプレフィックスをコンパクトな要約に凝縮することでオーバーヘッドを削減する。

ベンチマーク構築

MOMMOENTOは、現実的なインタラクション履歴をシミュレートするために、人間によるロールプレイングを通じて生成された161のタスク・インスタンスで構成されている。タスクは、パーソナル・アシスタンス、プランニング、スケジューリング、レコメンデーションなどのシナリオに及び、多くの場合、WorldCuisinesデータセットの食品関連エンティティを含む。このデータセットは、進化する嗜好、暗黙的な参照、矛盾する更新、および時間的に分散した情報を組み込んでおり、リアリズムを高めている。環境は、予約管理、検索、注文、メンバーシップ管理、およびText-to-SQLアクセスをカバーする26のツールを提供する。

評価指標

パフォーマンスは、主に以下の3つの指標で測定される：

1. DB STATE: 最終的なデータベースの状態がユーザーの目標と一致しているかを確認する。
2. OUTPUT: アシスタントの応答がユーザーのリクエストを満たしているかを測定する。
3. TOOL RECALL: 正しいツールが正しい順序で呼び出されているかを評価する。
   タスクは、これら3つの指標すべてが満たされた場合にのみ成功とみなされる。また、複数の試行における一貫性を測定するために、PASS@KおよびPASS^Kも報告される。

主な貢献

• 初の持続的なマルチセッション・ベンチマーク: MOMENTOは、クロスセッションのコンテキストが意思決定への第一級の入力となる、持続的なエージェンティック・タスク完了を評価する初のフレームワークであり、単一セッションや単純な事実想起の評価を超えたものである。
• 現実的なシミュレーション: 本ベンチマークは、ロールプレイに基づくユーザー・シミュレーションを通じて生成された、進化するユーザー目標と潜在的なメモリ依存関係を備えた、時間的に分離された大規模なインタラクション・データセットを利用している。
• 公開リリース: さらなる研究を促進するため、データセットはCC-BY-SA、ソースコードはApache 2.0ライセンスの下で公開されている。

結果と分析

著者らは、QWEN3.6やGEMMA4のバリアントを含む、いくつかの最先端のオープンウェイト視覚言語モデル（VLM）を評価した。

• パフォーマンス: GEMMA4-31B-ITは、最も高いPASS@3およびPASS^3スコアを獲得し、繰り返しの試行において優れた一貫性を示し、全体として最強のパフォーマンスを発揮した。GPT-5.4-MINIは、DB STATEのような特定の指標でわずかなリードを示したが、全体的なタスク成功率においてGEMMA4-31B-ITを上回ることはなかった。
• 不安定性: すべてのモデルにおいて、PASS@3とPASS^3の間の大幅な格差は、マルチステップのタスク実行における蔓延する不安定性を浮き彫りにしている。
• エラー分析: 主要な失敗モードはTOOL RECALLであり、具体的にはユーザー状態の誤推定である。エージェントは、過去のセッション履歴を現在のコンテキストの信頼できるプロキシとして扱う傾向があり、検証なしに暗黙の仮定を形成してしまう。その結果、エージェントはアクションを実行する前に、必要な検証や検索（例：メンバーシップ状況や現在の注文状態の確認）を頻繁に省略してしまう。この失敗は、履歴が状態の連続性という誤った感覚を生み出すマルチセッションの設定によって、構造的に引き起こされている。

重要性

本論文は、MOMENTOが、現在のエージェントの能力と、現実的な長期的（long-horizon）な人間・エージェント間インタラクションの要求との間の大きな隔たりを明らかにしていると主張している。主要な発見は、現在のエージェントの失敗はツールの可用性の欠如によるものではなく、過去のセッションからの古い情報を再検証できないことにあるという点である。過去の履歴を、再検証が必要な情報ではなく静的な真実として扱うことで、エージェントは推論チェーンにおける重要なステップを見逃している。著者らは、MOMENTOが、時間的依存関係や進化するユーザー目標を正確にナビゲートできる、持続的でメモリに基づいたエージェンティック・システムの将来の研究に向けた必要な基礎を提供すると考えている。

限界

著者らは、MOMENTOが以前のベンチマークと同様に、LLMベースのユーザー・シミュレータに依存していることを認めている。これによりスケーラブルなデータ収集が可能になる一方で、シミュレートされたユーザーが必ずしも現実的な人間の行動を完全に示すとは限らない。今後の課題として、行動のギャップをさらに埋めるための、より強力な制約付きシミュレーション手法、ロール固有のファインチューニング、または実際の人間とのインタラクションの探索が示唆されている。