技術概要：ShopGym

問題定義

e コマース Web エージェントの評価は、現実性と実験的制御の間のトレードオフという根本的な方法論的ボトルネックに直面しています。既存のアプローチは、それぞれ重大な限界を有する 2 つのカテゴリーに分類されます。

1. ライブストアフロント: 自然なレイアウトや相互作用パターンを提供し高い現実性を有する一方で、非定常的です。カタログ、デザイン、A/B テストのバリエーションは時間とともに変化するため、トレーニングや評価の再現性が保証されず、異なる実行やエージェント間での公平な比較が困難です。
2. ハンドビルド型サンドボックス: 制御性と再現性を提供しますが、多様性の欠如という問題を抱えています。手動で構築された環境は、レイアウト、カタログ構造、ポリシーの狭い範囲しかカバーしておらず、現実世界の e コマースの複雑さを捉えきれていません。

この分野には、現実的でありながら多様性、制御性、検査可能性、再現性を兼ね備えた評価環境を構築するためのスケーラブルな方法論が存在しません。

方法論：ShopGym フレームワーク

このギャップを埋めるため、著者らはShopGymを導入しました。これは、ShopArena（シミュレーション環境生成）とShopGuru（グラウンディングされたタスク生成）という 2 つの相乗的なコンポーネントからなる統合フレームワークです。

1. ShopArena: スケーラブルなシミュレーション環境生成

ShopArena は、ライブのシードストアフロントを、2 フェーズのパイプラインを通じて自己完結型で匿名化されたサンドボックスショップに変換します。

• 探索フェーズ（ライブから仕様へ）:
  • システムは、1 つ以上のライブシードストアフロントを自律的にブラウズします。
  • ナビゲーション、アフォーダンス、ページ構成、カタログ統計などの構造的・行動的シグナルを抽出しつつ、ブランド名、商品詳細、URL を厳密に匿名化します。
  • これらのシグナルは、人間が読み取れる中間的な**設計仕様（$M$）**に合成されます。この仕様は探索と生成の間の唯一のインターフェースとして機能し、複数のソースからの構造的な多様性を統合するマルチシード構成や、ソースを再探索することなく行う手動編集を可能にします。
• 生成フェーズ（仕様からサンドボックスへ）:
  • ステージングされたコード合成パイプラインが、仕様$M$を実行可能なサンドボックスショップに変換します。
  • カタログ合成: 設計マニュアルと$M$からの統計に基づき、合成商品データ（名称、説明、画像）を生成します。
  • ソースコード合成: 複数のエージェントによって駆動される実行・検証ループを使用します。実行エージェントがコードベースを編集し、別の検証エージェント（ルールベースのチェックとマルチモーダル視覚検査を組み合わせる）がフィードバックを提供します。このループはショップが機能的になるまで反復し、安定性を確保するとともに、長期的なコード生成で一般的に発生するコンテキストウィンドウの劣化を防ぎます。
  • その結果得られる合成ショップは、シードストアフロントの構造的、行動的、統計的性質を保持しつつ、合成されたブランドアイデンティティとイメージを使用します。

2. ShopGuru: グラウンディングされたタスク生成

ShopGuru は、生成されたサンドボックスショップのデータ（カタログ、ナビゲーショングラフ、ポリシー）に直接グラウンディングされたベンチマークタスクを合成します。

• ショートホライズンタスク: 原始的なスキルを評価するために、決定論的かつルールベースのスクリプトを通じて生成されます。
  • 商品発見: 正確検索と代替検索。
  • フィルタ選択: コレクションの閲覧と特定フィルタの適用（商品可用性を確認することで実現可能性を確保）。
  • 情報収集: ポリシーページ（配送、返品）の特定。
• ロングホライズンタスク: LLM（例：GPT-5、Gemini 3 Pro）によって生成され、複雑な人間のショッピングジャーニー（例：フィルタ $\to$ ソート $\to$ 検査 $\to$ ポリシーの迂回 $\to$ カートへの追加）をシミュレートします。
  • ポリッシュループ: LLM の幻覚（存在しないバリエーションの要求など）を軽減するため、バリデーター駆動のループが生成されたタスクを反復的に洗練します。バリデーターはグラウンディングの不一致（未知の商品、実現不可能なフィルタ）をチェックし、実行可能なエラーを LLM にフィードバックして再生成を促します。

主要な貢献

1. 方法論的特定: 本論文は、現実性と制御性のトレードオフを中核的なボトルネックとして特定し、現実的かつ制御可能な環境のスケーラブルな構築を、欠落している能力として提唱します。
2. ShopArena パイプライン: ライブストアフロントを、仕様合成と段階的なコード生成を通じて匿名化された自己完結型サンドボックスショップに変換する新規パイプライン。これにより、多様で再現性のある環境が可能になります。
3. ShopGuru タスクジェネレーター: ルールベースおよび LLM 駆動のポリッシュループによって検証された、ショートホライズンのスキル評価とロングホライズンの E2E ショッピングジャーニーの両方を生成するグラウンディングされたタスク生成システム。
4. 検証: 合成ショップがライブストアフロントからの意味のある評価シグナルを保持していることを示す実証的証拠。

結果と検証

著者らは、6 つのサンドボックスショップ（3 つは完全な合成、3 つは実商品データを使用するが合成ブランディングを用いた「ツイン」ショップ）全体で 224 件の生成タスクを用いて ShopGym を検証しました。

• 構造的妥当性: 合成ショップと実ショップの比較により、観測および相互作用の複雑さ（アクセシビリティツリーの深さ、一意の対話要素）が同等であることが示されました。合成ショップは、外部リンクやマーケティングノイズの意図的な除外により、状態遷移がわずかに少なくなりましたが、異なる UI 状態のカバレッジは同程度を維持していました。
• 行動的検証: 合成「ツイン」ショップにおけるエージェントの性能（GPT-5 や Gemini 3 などのモデルを使用）は、対応するライブストアフロントにおける性能と正の相関を示しました。これは、合成環境が評価に必要な難易度と行動シグナルを保持していることを示しています。
• タスクの複雑さ: 最先端モデルは、生成されたロングホライズンタスクで低い成功率を達成しました（例：GPT-5-mini で約 48%、BrowserGym ハネスにおける GPT-5 で約 62%）。これは、タスクが現在のエージェントを挑発するのに十分な複雑さを持っていることを示しています。

意義と主張

本論文は、ShopGym がライブウェブの現実性とサンドボックスの制御性の間に実用的な中間地帯を提供すると主張しています。自己完結型で、検査可能、リセット可能、かつ安定した評価アーティファクトを生成することにより、ShopGym は、e コマース Web エージェントのより再現性が高く解釈可能な評価のためのスケーラブルな基盤を提供します。

著者らは謙虚に、ShopGym は在庫の流動、パーソナライゼーション、遅延といった現実世界の非定常性の源泉を排除するため、ライブウェブ評価を完全に代替するものではないと指摘しています。しかし、それは標準化されたベンチマーキングのためのより強力な方法論として機能し、研究者がエージェントの能力を環境ノイズから分離することを可能にします。本フレームワークは、不正な自動化やデータ再配布に対するセーフガードを備え、責任ある研究利用をサポートするように設計されています。