技術的サマリー：RecoAtlas

問題定義

大規模言語モデル（LLM）に基づく推薦エージェントは、単純なランキングリストではなく、自然言語による正当化を伴うアイテム群を含む構造化されたレポートを生成するタスクが増えています。既存の評価パラダイムは、この設定の複雑さを十分に捉えきれていません。現在のベンチマークは、しばしば単一の正解アイテムを含む小さく事前に選択された候補セットの再ランキングに問題を還元しており、大規模カタログからの検索能力や一貫した複数アイテムセットの構築能力ではなく、局所的な再ランキングのみを評価しています。さらに、「LLM-as-a-Judge」に依存する評価は、レポートが一貫しており正当化が適切かどうかを評価する意味的な妥当性を主に測定するだけで、推薦されたアイテムが実際のユーザー行動や有用性と一致しているかどうかを検証していません。その結果、意味的に妥当であっても、ユーザーがほとんど購入しない、または組み合わせない製品を推薦するレポートが存在し得ます。意味的一貫性と行動的有効性を区別しつつ、セットレベルの有用性、相補性、多様性においてエージェントを評価する、オープンで行動に基づくベンチマークが不足しています。

手法

著者らは、ショッピングエージェントを行動に基づくセットレベルの目標の下で評価するために設計されたベンチマークおよびツールキット「RecoAtlas（Recommendation Agent Tool-Level Assessment for Shopping）」を導入します。このフレームワークは、エージェントが大規模な製品カタログを検索し、特定のツールを呼び出し、正当化を伴う固定サイズのショッピングレポート（例：$K=20$ アイテム）を構築しなければならない制御されたツール環境内で動作します。

タスクファミリー

RecoAtlas は、クエリとアイテムの関連性を両方とも要求するが、アイテム間の構造が異なる 2 つの主要なタスクタイプを定義します。

1. 比較ショッピング：ユーザーは広範なニーズに対する代替品を求めています。目標は、ニアダブル（ほぼ重複）を避けて関連するアイテムを提供することであり、非冗長性/多様性を強調します。
2. バンドルショッピング：ユーザーは一貫したセットやキット（例：「ギタリスト向けスターターパック」）を求めています。目標は、相補的な役割を果たし、互いに機能するアイテムを提供することであり、相補性を強調します。

評価指標

RecoAtlas は、レポートの品質を単一のスカラーに縮小することを避けるために、3 つの補完的かつ独立した評価ビューを採用します。

1. 正確な回復（SetHit@K）：最終レポートで回復された、保持された正解アイテム（ユーザーインタラクションデータから導出）の割合を測定します。バンドルタスクでは、単一のアイテムではなく、ターゲットセットの回復を測定します。
2. 学習された報酬モデル：ユーザーインタラクションデータ（購入と共購入）でトレーニングされた 3 つの行動に基づく代理指標が、コンポーネントレベルのスコアを提供します。
   • 関連性：マルチネガティブ BPR 損失でトレーニングされたクエリ - アイテム双方向エンコーダー。
   • 相補性：コントラスト学習の InfoNCE 損失を用いて共購入データでトレーニングされたアイテム - アイテム双方向エンコーダーであり、頻繁に一緒に購入されるアイテムを特定します。
   • 多様性（非冗長性）：サブカテゴリ内のコサイン類似度に基づくスコアであり、ニアダブルにペナルティを課します。
3. LLM ジャッジ：関連性、相補性、多様性、および説明の質の別々の評価。これらは、意味的妥当性と行動的有用性の間の潜在的な乖離を浮き彫りにするために、行動に基づく指標とは区別して保持されます。

ツールスイート

中心的な特徴は、エージェントが呼び出せる（エピソードあたり最大 10 回まで）推薦固有のツールの提供です。

• 検索ツール：関連性に基づいてアイテムを取得します（意味的バージョンと行動整合バージョン）。
• 相補性ツール：行動的に互換性のあるアイテムでアイテムセットを拡張します。
• 代替性ツール：サブカテゴリと類似度のしきい値に基づいてニアダブルを剪定します。
  ベンチマークには、エージェントの堅牢性を診断するために制御されたエラー（例：低品質の候補を返す、または重複を剪定しない）を注入する不良ツールバリエーションが含まれています。

主要な貢献

1. 大規模カタログ、セットレベルのベンチマーク：短い候補リストの再ランキングに依存する先行研究とは異なり、RecoAtlas は、提供された候補リストなしで大規模カタログを検索し、固定サイズの複数アイテムレポートを構築し、正解アイテムのセットを回復しなければならないエージェントを評価します。
2. 行動に基づく評価者とツールスイート：このフレームワークは、正確な回復、学習された報酬モデル、および LLM による判定を組み合わせます。エージェントの推論、信号の利用、およびツール使用ポリシーをテストするために、意味的、行動整合的、および不良のツールスイートを独自に提供します。
3. 診断的実証研究：モデルファミリー、タスクタイプ、ツールの品質全体でアブレーション研究を実施し、RecoAtlas がエージェントシステムにとって意味のあるベンチマークの特性を示すことを実証します。

実験結果

実験は、3 つの Amazon 製品カテゴリ（楽器、電子機器、ビデオゲーム）において、各種の独自およびオープンウェイト LM バックボーン（例：GPT-4.1、Qwen3、Nemotron）を使用して行われました。

• 意味的妥当性対有用性：LLM ジャッジと有用性指標の間には大きな不一致が観察されました。意味的ツールを使用するエージェントは、行動整合ツールを使用するエージェントに比べて LLM ジャッジのスコアはしばしば高く、SetHit@20（行動的有用性）は著しく低くなりました。これは、意味的妥当性が行動的有用性の信頼できる代理指標ではないことを確認します。
• ツールの必要性：ツールなしのコンテキスト内 LLM は性能が低く（SetHit@20 $\approx$ 0.01–0.03）、検索ツールの追加は比較ショッピングの性能を向上させましたが、バンドルショッピングには不十分でした。完全な有用性には、検索、相補性、および代替性のツールの組み合わせが必要であり、バンドル性能は相補性ツールに大きく依存していました。
• スケーリング則：性能はモデル容量とテスト時の計算量とともにスケールしました。推論を有効化された大規模モデル（例：32B パラメータ）は、小規模モデルや推論なしのモデルに対して、特にバンドルタスクで大幅な改善を示しました。
• タスク固有の能力：比較ショッピングは関連性検索が支配的でしたが、バンドルショッピングは一貫したセットを構築するための異なるエージェント能力を必要としました。オープンウェイトモデル（例：Nemotron 49B、Mistral Small 24B）は、相補性信号をより積極的に利用することで、バンドルタスクにおいて独自モデルを上回る性能を示すことがありました。
• 堅牢性：エージェントは性能と堅牢性の間のトレードオフを示しました。クリーンなツールでの積極的なツール使用は性能を向上させましたが、エージェントを不良ツールに対してより敏感にしました。一方、保守的なエージェントはノイズ下でもより高い割合の性能を維持しました。

意義と主張

本論文は、RecoAtlas が、単に妥当な推薦だけでなく、一貫性があり、行動に基づく推薦セットを最適化するショッピングアシスタントの開発と評価の基盤を提供すると主張しています。

著者らは、RecoAtlas を、オンライン A/B テストを代替するのではなく補完する、再現可能なオフラインテストベッドとして位置づけています。意味的一貫性と行動的有用性を分離し、制御されたツール環境を導入することで、RecoAtlas は、性能向上がより強力な推論、より良い信号、またはより効果的なツール使用ポリシーに起因するかどうかの診断を可能にします。このフレームワークは拡張可能に設計されており、新しいタスクの生成や、強化学習や教師あり微調整などの最適化戦略の適用を可能にしつつ、最終評価のための保持分割を維持します。