テクニカル・サマリー：エキスパートユーザーを超えて — エージェントは単に好みを引き出すのではなく、ユーザーが好みを構築するのを支援すべきである

1. 問題提起

現在のエージェント型レコメンダーシステム（例：ChatGPT Shopping Research、Amazon Rufus）およびそれらを評価するために使用されるベンチマークは、ある決定的な非現実的仮定に基づいています。それは、ユーザーはエキスパートであり、明確な質問を通じて完全に指定可能な、定型的で静的な好みを持っているという仮定です。実際には、非エキスパートのユーザーは、関連するすべての特徴量を定義するためのドメイン知識を欠いていることがよくあります。彼らは、特定の属性（例：ハイキングブーツの「ラグの深さ」や、生地の「ビスコース対リヨセル」など）に関する質問に答えることができない場合があります。なぜなら、彼らはまだそれらの特徴が何を意味し、ユーザー体験にどのように影響するのかを理解していないからです。

本論文は、エージェントが明確化のための質問のみに依存する場合、ユーザーが推奨事項を評価するために必要な「好み」を構築するのを支援できないと主張しています。その結果、たとえエージェントが理想的なアイテムを見つけることに成功したとしても、ユーザーの嗜好状態が未発達であるために、それを最良の選択肢として識別できない可能性があります。これは、単なるエージェントの検索能力の失敗ではなく、人間とエージェントからなる「チーム」としてのパフォーマンスの失敗につながります。

2. メソドロジー

2.1 COPREF モデル

著者らは、好みが取得されるものではなく、対話を通じて構築されるという、ユーザーとエージェントの相互作用の形式モデルである COPREF (Co-constructed Preferences) を導入します。

• 嗜好状態 ($S_t$): ターン $t$ においてユーザーが形成した特徴量 $F$ の部分集合。この状態は、エージェントのアクションに基づいて、不完全な初期状態 ($S_1$) から進化していきます。
• SEC フレームワーク: 情報経済学（Search-Experience-Credence：探索・経験・確信）に基づき、モデルは特徴量を3つのタイプに分類し、それぞれに対して異なるエージェントの対話アクションを必要とします。
  1. 探索的特徴 ($F_s$ - Search Features): ユーザーは自身の好みを把握している（例：価格、サイズ）。これらは明確化のための質問によってアンロックされます。
  2. 経験的特徴 ($F_e$ - Experience Features): ユーザーは決定するために具体的な例を見る必要がある（例：「このパターンは派手すぎるか？」）。これらは例示の選択肢によってアンロックされます。
  3. 確信的特徴 ($F_c$ - Credence Features): ユーザーはその特徴を理解するためにドメイン知識を必要とする（例：「ヨークパネルとは何か？」）。これらは技術的な説明によってアンロックされます。
• メカニズム: 特徴量がユーザーの嗜好状態に追加されるのは、エージェントがその特徴のSECタイプに対応する特定の対話アクションを実行した場合のみです。

2.2 COSHOP ベンチマーク

このモデルの下でエージェントを評価するために、著者らは3つのドメインにわたるエージェント型レコメンダーシステムのインタラクティブ・ベンチマークである COSHOP を導入します。

• データセット: H&M（ファッション）、MovieLens（映画）、Goodreads（書籍）。
• ユーザー・シミュレーション: 典型的なシミュレーターのようにペルソナを一度プロンプトするのではなく、COSHOP は現在の嗜好状態 $S_t$ に明示的に固定されたシミュレーター（gpt-oss-120b ベース）を使用します。シミュレーターのSEC分割（どの特徴が探索・経験・確信であるか）は、ユーザーの過去の購入・評価データに基づいてパーソナライズされます。
• インタラクション・プロトコル:
  1. 会話: エージェントとユーザーが最大5ターン会話を行う（予算：質問20回、提示アイテム10個）。
  2. リサーチ: エージェントがカタログを検索する（予算：250回の検索）。
  3. レポート: エージェントが $k=5$ 個の推奨事項を生成する。
  4. 選択: ユーザーは最終的な嗜好状態 $S_{T+1}$ に基づいて1つのアイテムを選択する。
• 指標:
  • 状態の完全性 (State Completeness): 回復されたユーザーのフル・プリファレンス・セットの割合。
  • エージェント・リコール (Agent Recall): ターゲットとなるアイテム $x^*$ がトップ-$k$ の推奨事項に含まれているか。
  • チーム精度 (Team Accuracy): ユーザーがレポートから $x^*$ を正常に選択できたか。これは主要な指標であり、リコールとユーザーの嗜好の豊かさの両方によって制限されます。

2.3 ヒューマン・スタディによる検証

$n=25$ 名の参加者を対象とした研究により、COPREF の核心的な主張が検証されました。

• 非エキスパートのユーザーは、探索、経験、確信の特徴量の混合を保有している（探索的特徴のみを持つユーザーはいなかった）。
• 適切な対話アクション（経験のための例示、確信のための説明）は、以前は定式化されていなかった好みを「アンロック」することに成功した。
• SEC 分類は個人によって異なる。ある特徴が「確信的」であるか「経験的」であるかは普遍的なものではなく、ユーザーの特定のドメイン知識に依存する。

3. 主な貢献

1. COPREF モデル: 「エキスパートユーザー」という仮定に異を唱え、質問、例示、または説明のいずれを必要とするかを区別することで、好みの構築を形式化したモデル。
2. COSHOP ベンチマーク: 非エキスパートのユーザーとの間で好みを共同構築する能力を評価するための、オープンソースのインタラクティブ・ベンチマーク。単なる検索ではなく「チーム精度」を測定する。
3. 実証的分析: 5つの最先端言語モデル（GPT および Claude ファミリー）の包括的な評価を行い、現在のエージェントがユーザーの知識を効果的に拡張できていないことを示した。

4. 結果

5つの最先端モデル（gpt-5.2、claude-sonnet-4.6、gpt-oss-120b を含む）を COSHOP で評価した結果、以下の知見が得られました。

• パフォーマンスの低下: モデルは、事前に完全に指定された好みを与えられた場合には高いスコア（例：claude-sonnet-4.6 で 94.3%）を記録しますが、COSHOP における チーム精度 は大幅に低下します（全モデル・全ドメインを通じて最大 56%）。
• 失敗モード:
  1. 未発達な嗜好状態: エージェントは、経験的および確信的特徴をアンロックするために必要な対話アクション（例示や説明）を実行できていません。その結果、たとえレポート内にターゲットのアイテムが存在していても、ユーザーはターゲットを他のディストラクター（紛らわしいアイテム）から区別することができません。
  2. 質の低いレポート: エージェントは、最終的なレポートにおいてアイテムの特徴を省略したり誤って表現したりすることが多く、ユーザーが正しく評価することを妨げています。
• インタラクション戦略:
  • モデルは、例示や説明を提供するよりも、明確化のための質問（しばしば冗長または確認的なもの）に過度に依存する傾向があります。
  2. いかなるモデルも、確信的特徴に対して積極的に技術的な説明を提供することはありませんでした。
  3. 大きなモデル（例：gpt-5.2）は、「実行バイアス」を示し、リサーチフェーズに移行するために会話を早期に終了させ、タスクを未指定のままにしてしまいました。
  4. 小さなモデルは、会話の予算を使い果たしましたが、新しい特徴を導入できず、既知の属性をループする傾向がありました。
• 介入: エージェントにユーザー履歴を提供しても、パフォーマンスは有意に向上しませんでした。しかし、エージェントのアイテム説明を完全なカタログデータで上書きした（完璧なレポート品質をシミュレートした）ところ、チーム精度が大幅に向上しました。これにより、レポートの質と嗜好状態の開発が主要なボトルネックであることが確認されました。

5. 意義と主張

本論文は、現在のエージェント型レコメンダーシステムの主な限界は、検索やアイテムの取得能力ではなく、ユーザーが意思決定に必要な知識を得るための教育を行う能力にあると主張しています。

• パラダイムの転換: 著者らは、この分野がエージェントを「好みの抽出器（静的な好みを取得するもの）」と見る視点から、「好みの構築者（ユーザーの知識を能動的に構築するもの）」と見る視点へと移行しなければならないと主張しています。
• チーム精度: 成功は、人間とエージェントの共同能力によって測定されるべきです。完璧なアイテムを見つけたとしても、ユーザーが「なぜそれが完璧なのか」を理解するのを助けられなかったエージェントは、タスクに失敗したと言えます。
• 今後の方向性: 今後の研究は、ユーザーがドメイン知識を欠いていることを認識し、単なる明確化のための質問だけに頼るのではなく、例示や説明を積極的に展開できるようにエージェントを訓練することに焦点を当てるべきであると示唆しています。また、COPREF モデルをレコメンデーション設定以外、他のタスク指向ドメインへ拡張することも求めています。

著者らは、自らのモデルが（単一ステップのアンロックや単調な状態成長を想定するなど）好みの構築を簡略化していること、そしてこのような好条件の下でも最先端のモデルが適応に苦慮していることを指摘し、謙虚な姿勢を保っています。