テクニカルサマリー：APeB – 大規模言語モデルエージェントのパーソナライゼーション能力のベンチマーク

1. 問題提起

大規模言語モデル（LLM）を活用したエージェントは、ユーザーが未定義で曖昧なクエリを発行した際のパーソナライゼーションにおいて、重大な課題に直面しています。現実世界のシナリオでは、ユーザーの目的は明示的であることは稀であり、嗜好はノイズが多く多様なインタラクション履歴（例：動画、ライブ配信、商品閲覧）から推論されるべき潜在的なものです。さらに、正解はグローバルに最適化されたものではなく、ユーザー中心のものであり、エージェントには潜在的な意図に基づいて、密接に競合する選択肢を識別する能力が求められます。

既存のベンチマークは、以下の理由により、この能力を十分にテストできていません。

• 曖昧な初期段階の意図ではなく、ユーザーによって洗練されたクエリに依存している。
• 現実世界の行動におけるノイズや多様性が欠如した、簡略化または浄化された履歴を使用している。
• 微細な嗜好の識別を必要としない、容易に分離可能な候補を扱っている。

その結果、現在の評価は、意味的なマッチングと真のパーソナライゼーションを混同しており、エージェントのワークフロー（例：ReAct）が、意図を効果的に推論し、アクションを特定のユーザーの嗜好に適合させることができるかどうかを評価できていません。

2. メソドロジー：APeB ベンチマーク

著者らは、**パーソナライズされた製品検索（PPS）タスクを通じて、エージェントによるパーソナライゼーションを評価するために設計されたテストベッドであるAPeB（Agent Personalized Benchmark）**を導入します。APeBは、コンテンツ消費から製品購入に至るエンドツーエンドのフローを捉えた、主要なコンテンツコマースプラットフォームの実際の行動ログから構築されています。

2.1 データ構築

• ソース: 30日間のリテンションセッション・ウィンドウから収集された5,648件の非自明なショッピングセッション（最大60日間のセッション前履歴を含む）。
• セッションの定義: 「検索から注文まで」のセッションは、検索クエリで始まり、購入（$\Delta \le 30$分）で終わる時間限定のウィンドウとして定義されます。
• 非自明なフィルタリング: セッションは、以下の条件を満たす高負荷なショッピング体制を代表するようにフィルタリングされています。
  1. 反復的なクエリの洗練: 少なくとも2つの異なる検索クエリ（$|Q_{search}| \ge 2$）。
  2. 広範なブラウジング: 購入前に製品やメディアを実質的に探索していること（$|P_{view}| + |V_{view}| \ge \tau_v$）。
  3. 意図と注文の整合性: 最終的な購入が、ユーザーが表明した意図および探索された候補と意味的に一致していること。

2.2 ベンチマークの構成要素

各リテンションセッションについて、APeBは3つのコアコンポーネントを構築します。

1. 不均質な履歴 ($H_u$): 製品のインタラクション（閲覧、いいね、カート投入）や、OCR/ASRコンテンツを含むメディアのインタラクション（動画、ライブ配信）を含む、多様なシグナルを含む長期的なインタラクションログ。
2. クエリ・スペクトラム:
   • 意図クエリ ($q_{intent}$): 購入と意味的に一致する最も初期のクエリであり、漠然とした初期段階の目標を表す（例：「キャンパス OOTD」）。
   • 洗練されたクエリ ($q_{refined}$): 購入直前の最後のクエリであり、明確に指定された意図を表す（例：「オーバーサイズ ロングスリーブ ネイビーブルー」）。
3. ハード候補セット ($C_{hard}$): ユーザーが閲覧したが購入しなかった製品と、最終的に購入したアイテムのセット。これらは意味的に近く、粗い意味的マッチングではなく、微細な属性の識別を必要とします。

2.3 評価プロトコル

モデルは、入力 $(q, H_u, C_{hard})$ が与えられた条件下で、ハード候補セット内で購入されたアイテムをランク付けする能力について評価されます。

• 指標: Hit@1 および Hit@5。
• ルーブリック分析: 中間的な推論ステップ（クエリ推論、嗜好の質、推奨の質、エージェントの推論）は、特定の失敗モードを診断するために、LLM-as-a-Judge を用いてスコアリングされます。

3. 主な貢献

1. APeB ベンチマーク: ノイズの多い不均質な履歴、曖昧から洗練への検索軌跡、および密接に競合する候補を共同で評価する初のベンチマークです。これは、レコメンデーションシステム（次アイテム予測）とエージェントによる推論（マルチステップ計画）の間のギャップを埋めるものです。
2. LLM エージェントの経験的分析: 最先端のLLM（GPT-4/5、Qwen3、DeepSeek-R1、Geminiを含む）およびエージェント・ワークフロー（ReAct、Deerflow）の包括的な評価により、モデルは明示的なクエリにはうまく対処できるものの、初期段階の意図発見と嗜好の回復には大きく苦戦することが明らかになりました。
3. 失敗モードの診断: ルーブリック分析により、性能の差は主に履歴の活用不足によって引き起こされていることが特定されました。モデルは、計画を導くためのノイズの多い履歴から関連する嗜好を抽出することに失敗しており、マルチステップの推論（ReAct）は、曖昧な意図の下でこれらのエラーを増幅させることがよくあります。
4. VQRA パイプライン: 著者らは、評価前に選択された履歴コンテキストに基づいて意図クエリを書き換える、共通のバックボーンを使用したシンプルなパイプラインである VQRA (Vague Query Refinement Agent) を提案しています。このアプローチは一貫した改善をもたらし、明示的な履歴活用モジュールがパーソナライズされたエージェントにとって極めて重要であることを示しています。

4. 実験結果

• 性能のギャップ: 意味的な整合性が支配的な設定（洗練されたクエリまたはランダムな候補）では、LLMは特化したPPSベースライン（UniSAR）を大幅に上回ります。しかし、ユーザーモデリングと意図の洗練を必要とするタスク（意図クエリとハード候補）では、LLMはゼロショットの UniSAR のレベルまで低下し、ReAct ワークフローによる改善も限定的です。
• 履歴の活用: LLMは意図クエリの下での履歴による恩恵を受けるのが困難です。履歴を追加することで洗練されたクエリの性能は向上しますが、意図クエリにおいては限定的な向上にとどまり、現在のLLMワークフローは、ノイズの多い未指定のコンテキストから回復可能な嗜好を自然に抽出できていないことを示唆しています。
• 候補の難易度: LLMはランダムな候補（粗い意味的マッチング）に対してはベースラインを上回りますが、ハードな候補（ユーザーが閲覧したアイテム）の間で微細な属性を区別することには失敗します。これは、現在のモデルが、意味的な手がかりが不十分な場合に、真のパーソナライゼーション能力を欠いていることを示しています。
• VQRA の有効性: VQRA を実装することで、様々なバックボーンにおいて Hit@1 が向上し、明示的な履歴に基づいたクエリの洗練が、モデルによる潜在的な意図の推論と適切な候補の選択を助けることが確認されました。

5. 意義と主張

本論文は、APeB が現実的なパーソナライゼーションの制約下でエージェントシステムを評価するための必要なテストベッドであると主張しています。その主な意義は、現在のLLMエージェントの限界を明らかにすることにあります。それらは明確な目標を持つタスクの実行には長けていますが、潜在的な意図の推論およびノイズの多い履歴からの嗜好の回復には苦戦します。

著者らは、パーソナライゼーション能力のギャップは単なるモデル規模の不足ではなく、履歴活用モジュールの構造的な欠陥であると結論付けています。シンプルな VQRA パイプラインの成功は、将来のパーソナライズされたエージェントには、プロンプト内の暗黙的なコンテキストだけに頼るのではなく、ユーザー固有の履歴シグナルに明示的に計画とアクションを接地させるための専用のメカニズムが必要であることを示唆しています。

認められた制限事項:

• ベンチマークは単一のプラットフォームから派生しており、他の電子商取引エコシステムへの転用可能性が限定される可能性があります。
• 評価は静的かつオフラインであり、リアルタイムの在庫やマルチターンの動的な相互作用を反映していません。
• 観察された購入は嗜好のプロキシ（代理指標）として機能しますが、ランキングの露出や在庫状況によってバイアスがかかる可能性があります。
• ルーブリック分析は LLM-as-a-Judge に依存しており、系統的なバイアスが生じる可能性があります。