テクニカルサマリー：PAUSE – ユーザー中心のパーソナルAIアシスタント向けベンチマーク

問題提起

パーソナルAIアシスタントは、日常的なユーザー活動をサポートするために、統合されたサービス環境内で動作するツール拡張型エージェントとして、ますます導入が進んでいます。現実的なデプロイメントには、これらのエージェントが、持続的なユーザー状態を推論し、ユーザー固有の設定（権限、サブスクリプション、アカウント設定）を尊重し、複数のサービスにわたる長期的な制約を伴うインタラクションを維持できることが求められます。

既存のツール利用型大規模言語モデル（LLM）向けのベンチマークは、この文脈において重大な限界を抱えています。初期のベンチマークはAPIのカバレッジやツール呼び出しの正確性に焦点を当てており、より最近の取り組み（MCPベースのベンチマークなど）は多様なツールを取り入れることでスケールを拡大しました。しかし、これらのアプローチは、サービスコンテキストを断片化したり、ユーザーの状態を抽象化してしまったりすることがよくあります。これらは、アクセスが権限やシステム構成によって制限される「統一されたユーザー中心のサービス環境」において動作しなければならない、ユーザー向けシステムとしてのエージェントを評価できていません。その結果、現在のベンチマークは、一貫した状態を維持する能力、隠れた構成依存関係を推論する能力、あるいはユーザーと結合したインタラクションを長期間維持する能力を十分に評価できていません。

メソドロジー

PAUSE ベンチマーク

PAUSEは、状態保持型のサービス統合環境におけるパーソナルAIアシスタントを評価するために設計された、ユーザー中心のベンチマークです。本ベンチマークは、異種混合のデータソース、外部デバイスの統合、および権限に敏感なリソースを持つことから、個人のヘルスケア管理の領域に具体化されています。

主要なシステム特性:

• 統一された環境: すべてのサービスは、共有された持続的なシステム構成（権限、ウォレットの状態、サブスクリプション）の下で動作しており、これはアシスタントからは大部分が不可視であり、推論される必要があります。
• ユーザー中心の制約: アシスタントは重要なシステム構成を直接変更することはできず、制約を解決するためにユーザーと対話しなければなりません（例：デバイスを接続するための許可を求める、またはウォレットへのチャージを依頼するなど）。
• タスクの多様性: 本ベンチマークは、以下の3つのカテゴリにわたる180のタスクを含んでいます。
  1. データおよびログの追跡 (Easy): 直接的なデータ取得。
  2. データおよびログの追跡 (Hard): システム構成の推論（例：切断されたソースの接続、サブスクリプションのアップグレード）を必要とするマルチステップの実行。
  3. ショッピング: 長いコンテキストにおけるマルチ制約最適化（製品選択、予算管理、クーポン利用）。

合成パイプライン

PAUSEは、一貫性のある環境と注釈付きタスクを生成するために、スケーラブルなマルチエージェント合成パイプラインを採用しています。

1. ユーザー中心のタスク生成: タスクは、具体的なユーザー所有のリソースを表す合成されたテンプレート・サンプリング・データに基づいています。LLMが、基礎となる状態に基づいて、高レベルの記述と明示的なターゲット条件（$\tau$）を生成します。
2. ガイド付き軌跡ロールアウト: 最先端のLLMがシステムおよびシミュレートされたユーザーエージェントと対話し、実際の実行軌跡を収集します。ロールアウト・プロンプト（$P_{rollout}$）は、行動を導くオラクル・ポリシーとして機能します。
3. ターゲット整合検証: コミッティ形式のLLMが、軌跡をフィルタリングし、好ましいパスを選択し、定義されたターゲットセット $\tau$ に対して整合性を確認します。実行可能な参照軌跡がないタスクは破棄されます。

評価フレームワーク

PAUSEは、タスクの特性に合わせて調整されたマルチレジーム評価フレームワークを採用しています。

• オープンエンド型タスク (データ/ログ追跡): ハイブリッドアプローチを用いて評価します。
  • ターゲットベース: LLM-as-judgeが、明示的なターゲット（$\tau$）に対するタスク完了度を評価します。
  • 軌跡レベル: 決定論的な指標（適合率、再現率、F1スコア）を用いて、モデルのツール呼び出しシーケンスと参照軌跡の重なりを測定します。
• 制約集中的なタスク (ショッピング): 参照軌跡に依存せず、決定論的な状態ベースの検証（例：製品ID、数量、予算の実現可能性）を通じて評価します。

主な貢献

1. 包括的なユーザー中心のベンチマーク: PAUSEは、持続的なユーザー状態と権限によって制限されたリソースを持つ統一環境におけるアシスタントを評価するベンチマークを導入しており、ワークフロー中心やツール孤立型の設定を超えた評価を実現しています。
2. マルチレジーム評価フレームワーク: オープンエンド型のタスクに対しては、LLMによる意味論的判断と軌跡レベルの行動重複を組み合わせた原則的な戦略を用い、制約集中的なタスクに対しては決定論的な状態検証を用いる戦略を採用しています。
3. スケーラブルな合成パイプライン: 一貫性のある環境状態、現実的なインタラクション軌跡、およびターゲットに整合した注釈を大規模に生成するマルチエージェント・パイプラインにより、ベンチマークの拡張性をサポートしています。

実験結果

著者らは、多様な最先端のプロプライエタリおよびオープンソースモデル（GPT-5、Gemini-3、DeepSeek-V3.2を含む）を評価しました。

• 性能ギャップ: 最先端のプロプライエタリモデルであっても、状態保持の推論と構成の認識を必要とするシナリオでは、70%のタスク完了率に達することに失敗しました。
• タスクの難易度: 「Hard」タスクでは、「Easy」タスクと比較して性能が大幅に低下しました。トップティアのモデルは容易な検索タスクでは飽和に近い性能を示しましたが、暗黙的なシステム制約の推論を必要とするハードなタスクでは顕著な低下が見られました。
• エラー分析:
  • 強力なモデル (例: Gemini-3-Flash): 失敗は主にシステム構成の推論（例：データソースが切断されていることを推論できないこと）に集中していました。基本的なツール使用は堅牢でした。
  • 弱いモデル: データの一貫性、リソースのナビゲーション、および時間的推論に加え、システム構成のエラーにも苦戦しました。
• アブレーション研究: システム構成に関する明示的なポリシーガイダンスを提供することで、すべてのモデルにおいて性能が向上し、特に強力なモデルにおけるシステム関連のエラーが減少しました。これは、強力なモデルは明示的なポリシーを活用できる一方で、より深いレベルの推論における限界が依然として存在することを示唆しています。
• 評価の信頼性: LLM-as-judgeによる評価は、人間による注釈と高い一致度（80–87%）を示し、複雑でオープンエンドなエージェントタスクに対する信頼できるプロキシとしての妥当性が検証されました。

意義と主張

本論文は、PAUSEが現在のAIアシスタントにおける一貫した解釈可能な失敗パターンを明らかにしていると主張しており、効果的なツール呼び出しだけでは、現実的なサービス環境における堅牢なパフォーマンスには不十分であることを示しています。本ベンチマークは、以下の明確な能力ギャップを浮き彫りにしています。

1. 暗黙的なシステム構成（例：権限、サブスクリプション）に対する推論。
2. エージェントが状態の制約を解決するためにユーザーと連携しなければならない、長期的なユーザー結合型インタラクションの維持。
3. 異種混合のサービスにわたる一貫した状態の維持。

著者らは、PAUSEを単なる評価ツールとしてではなく、モデルの分析、蒸留、および統一されたユーザー中心のサービス環境で動作できるエージェントの開発に向けた、将来の研究の基盤として位置付けています。この研究は、単にツール呼び出しを実行するだけでなく、隠れた依存関係を推論し、状態遷移を管理できるエージェントの必要性を強調しています。