🤖 AI

ShopGym: An Integrated Framework for Realistic Simulation and Scalable Benchmarking of E-Commerce Web Agents

Ce papier présente ShopGym, un cadre intégré comblant le fossé entre l'évaluation réaliste et contrôlable des agents de commerce électronique en convertissant des vitrines en direct en environnements bac à sable reproductibles (ShopArena) et en synthétisant des tâches de référence ancrées (ShopGuru), démontrant que les boutiques synthétiques préservent les propriétés structurelles clés et sont corrélées aux performances des agents sur des sites réels.

Auteurs originaux : Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment faire des achats en ligne. Pour ce faire efficacement, vous avez besoin d'un terrain d'entraînement. L'article « ShopGym » soutient que les terrains d'entraînement actuels sont défectueux et propose une nouvelle solution, meilleure.

Voici la décomposition du problème et de leur solution, en utilisant des analogies simples.

Le Problème : Le Dilemme du « Magasin Réel » contre le « Magasin de Jouets »

Actuellement, les chercheurs ont deux mauvaises options pour tester les robots d'achat :

Le « Magasin Réel » (Trop Chaotique) : Imaginez essayer d'enseigner à un robot comment faire des courses dans un vrai supermarché animé. Le problème est que le magasin change tous les jours. Les étagères sont réorganisées, les prix changent, la disposition évolue, et parfois le magasin lance un test secret pour certains clients mais pas pour d'autres.
- Le Résultat : Si le robot échoue aujourd'hui, vous ne savez pas si c'est parce que le robot est mauvais ou parce que le magasin a changé sa disposition. Vous ne pouvez pas répéter le test exactement de la même manière demain. C'est comme essayer de corriger un test de mathématiques d'un élève pendant que le professeur continue de changer les chiffres au tableau.
Le « Magasin de Jouets » (Trop Simple) : L'alternative est un magasin factice construit à la main, comme un jeu de Lego. Il est très stable ; les étagères ne bougent jamais.
- Le Problème : C'est trop simple. Il ne contient que quelques types de boîtes et une toute petite sélection de jouets. Les achats réels impliquent des milliers de produits, des filtres complexes et des mises en page de sites web étranges. Un robot qui maîtrise le magasin Lego pourrait tout de même se perdre dans un vrai supermarché.

Le Goulot d'Étranglement Central : Nous avons besoin d'un terrain d'entraînement qui ressemble à un vrai magasin (pour que le robot apprenne de vraies compétences) mais qui se comporte comme un magasin de jouets (pour que nous puissions le tester équitablement et à plusieurs reprises).

La Solution : ShopGym

Les auteurs ont construit ShopGym, un cadre qui agit comme une « Usine de Jumeaux Numériques ». Il comporte deux parties principales : ShopArena et ShopGuru.

1. ShopArena : L'« Usine de Jumeaux Numériques »

Imaginez cela comme une machine qui prend une photo d'un vrai magasin en désordre et imprime une réplique parfaite, propre, mais visuellement identique.

Comment cela fonctionne :
- L'Explorateur : Une équipe d'agents IA visite un vrai site web (le « Magasin Semence »). Ils n'achètent rien ; ils prennent simplement des notes. Ils cartographient la navigation, comptent les produits et notent le fonctionnement des filtres. Crucialement, ils retirent tous les vrais noms (comme « Nike » ou « Coca-Cola ») et les remplacent par de faux noms (comme « Marque X » ou « Boisson Y »).
- L'Architecte : Cette équipe rédige un « plan » (une spécification) basé sur ces notes.
- Le Constructeur : Une autre équipe d'agents IA lit le plan et construit de zéro un nouveau site web autonome. Il ressemble et se comporte exactement comme le vrai magasin, mais il est composé de données synthétiques.
La Magie : Parce qu'il est construit à partir d'un plan, vous pouvez le réinitialiser à zéro instantanément. Vous pouvez exécuter le même test 1 000 fois, et le magasin aura exactement le même aspect à chaque fois. Mais parce qu'il a été construit à partir de la structure d'un vrai magasin, il est tout aussi complexe que la chose réelle.

2. ShopGuru : Le « Créateur d'Examens »

Une fois le magasin factice construit, vous devez soumettre le robot à un test. ShopGuru est l'enseignant qui rédige les questions de l'examen.

Tâches à Court Horizon (Le QCM) : Ce sont des questions simples, en une seule étape, comme « Trouvez la chemise rouge » ou « Vérifiez la politique de livraison ». Elles testent les compétences de base.
Tâches à Long Horizon (Le Projet Final) : Ce sont des histoires complexes. Par exemple : « Vous êtes une personne avec trois chiens. Trouvez de la nourriture pour chien, puis trouvez de la litière pour chat, vérifiez ensuite si vous êtes éligible à la livraison gratuite, et enfin mettez les deux dans votre panier. »
La Vérification de Sécurité : ShopGuru ne devine pas au hasard. Il vérifie ses propres questions contre la base de données du magasin factice pour s'assurer que les réponses existent réellement. Il ne demandera pas au robot de trouver un « grille-pain violet » si le magasin ne vend pas de grille-pain.

Comment Ils L'Ont Testé

Pour prouver que leur idée fonctionne, ils ont fait deux choses :

Vérification Structurelle : Ils ont comparé les magasins « Jumeaux Numériques » aux vrais magasins en utilisant un graphe (comme une carte des connexions). Ils ont constaté que les magasins factices avaient le même nombre de pages, la même profondeur de menus et la même complexité que les vrais.
Vérification Comportementale : Ils ont fait fonctionner des robots IA de premier plan à la fois sur les vrais magasins et sur les faux magasins « Jumeaux ».
- Le Résultat : Les robots ont performé de manière presque identique sur les deux. Si un robot était bon pour faire des courses sur le vrai magasin, il l'était aussi sur le faux. S'il avait des difficultés sur le vrai, il avait des difficultés sur le faux.

La Conclusion

ShopGym résout le compromis entre « Réalisme » et « Contrôle ».

Il offre aux chercheurs un environnement stable, réinitialisable et équitable (comme un niveau de jeu vidéo).
Mais parce qu'il est construit à partir de données réelles, il préserve la complexité et la difficulté des achats dans le monde réel.

Cela signifie que nous pouvons enfin entraîner et tester les robots d'achat d'une manière qui soit scientifique, reproductible et réellement utile pour le monde réel, sans le chaos des sites web en direct qui changent sous nos pieds.

Résumé Technique : ShopGym

Énoncé du Problème

L'évaluation des agents web de commerce électronique fait face à un goulot d'étranglement méthodologique fondamental : un compromis entre réalisme et contrôle expérimental. Les approches existantes se divisent en deux catégories, chacune présentant des limitations significatives :

Boutiques en direct : Bien qu'elles offrent un réalisme élevé avec des mises en page et des schémas d'interaction naturels, elles sont non stationnaires. Les catalogues, les designs et les variantes de tests A/B évoluent au fil du temps, rendant l'entraînement et l'évaluation irréproductibles et difficiles à comparer équitablement entre différentes exécutions ou agents.
Bacs à sable construits à la main : Ils offrent un contrôle et une reproductibilité, mais souffrent d'un manque de diversité. Les environnements construits manuellement ne couvrent qu'un éventail restreint de mises en page, de structures de catalogues et de politiques, échouant à capturer la complexité du commerce électronique réel.

Le domaine manque d'une méthodologie évolutive pour construire des environnements d'évaluation qui soient simultanément réalistes, diversifiés, contrôlables, inspectables et reproductibles.

Méthodologie : Cadre ShopGym

Pour combler cette lacune, les auteurs présentent ShopGym, un cadre intégré comprenant deux composantes synergiques : ShopArena (génération d'environnements de simulation) et ShopGuru (génération de tâches ancrées).

1. ShopArena : Génération Évolutives d'Environnements de Simulation

ShopArena transforme des boutiques sources en direct en boutiques bac à sable autonomes et anonymisées via un pipeline en deux phases :

Phase d'Exploration (Du direct à la spécification) :
- Le système navigue de manière autonome sur une ou plusieurs boutiques sources en direct.
- Il extrait des signaux structurels et comportementaux (navigation, affordances, organisation des pages, statistiques du catalogue) tout en anonymisant strictement les noms de marques, les détails des produits et les URL.
- Ces signaux sont synthétisés en une Spécification de Conception ( $M$ ) lisible par l'homme et intermédiaire. Cette spécification sert d'unique interface entre l'exploration et la génération, permettant la composition multi-graines (fusion de la diversité structurelle de plusieurs sources) et l'édition manuelle sans réexplorer la source.
Phase de Génération (De la spécification au bac à sable) :
- Un pipeline de synthèse de code en étapes convertit la spécification $M$ en une boutique bac à sable exécutable.
- Synthèse du Catalogue : Génère des données de produits synthétiques (noms, descriptions, images) basées sur le manuel de conception et les statistiques de $M$ .
- Synthèse du Code Source : Utilise une Boucle d'Exécution–Vérification pilotée par plusieurs agents. Un Agent d'Exécution modifie la base de code, tandis qu'un Agent de Vérification distinct (combinant des vérifications basées sur des règles et une inspection visuelle multimodale) fournit des retours. Cette boucle itère jusqu'à ce que la boutique soit fonctionnelle, assurant la stabilité et empêchant la dégradation de la fenêtre de contexte courante dans la génération de code à long horizon.
- Le résultat est une boutique synthétique qui préserve les propriétés structurelles, comportementales et statistiques des boutiques sources, mais utilise une identité de marque et des images synthétiques.

2. ShopGuru : Génération de Tâches Ancrées

ShopGuru synthétise des tâches de référence directement ancrées dans les données des boutiques bac à sable générées (catalogue, graphe de navigation, politiques).

Tâches à Court Horizon : Générées via des scripts déterministes basés sur des règles pour évaluer des compétences primitives :
- Découverte de produits : Recherche exacte et par substitution.
- Sélection de filtres : Navigation dans les collections et application de filtres spécifiques (en vérifiant la faisabilité par la disponibilité des produits).
- Recherche d'informations : Localisation des pages de politique (livraison, retours).
Tâches à Long Horizon : Générées par un LLM (par exemple, GPT-5, Gemini 3 Pro) pour simuler des parcours d'achat humains complexes (par exemple, filtrer $\to$ $\to$ trier $\to$ $\to$ inspecter $\to$ $\to$ détour vers une politique $\to$ $\to$ ajouter au panier).
- Boucle de Polissage : Pour atténuer les hallucinations du LLM (par exemple, demander des variantes inexistantes), une boucle pilotée par un validateur affine itérativement les tâches générées. Le validateur vérifie les incohérences d'ancrage (produits inconnus, filtres irréalisables) et renvoie des erreurs actionnables au LLM pour régénération.

Contributions Clés

Identification Méthodologique : L'article identifie le compromis réalisme-contrôle comme un goulot d'étranglement central et plaide pour la construction évolutive d'environnements réalistes et contrôlables en tant que capacité manquante.
Pipeline ShopArena : Un pipeline novateur qui convertit les boutiques en direct en boutiques bac à sable anonymisées et autonomes via la synthèse de spécifications et la génération de code en étapes, permettant des environnements diversifiés et reproductibles.
Générateur de Tâches ShopGuru : Un système de génération de tâches ancrées produisant à la fois des évaluations de compétences à court horizon et des parcours d'achat E2E à long horizon, validés par une boucle de polissage basée sur des règles et pilotée par un LLM.
Validation : Des preuves empiriques montrant que les boutiques synthétiques préservent des signaux d'évaluation significatifs issus des boutiques en direct.

Résultats et Validation

Les auteurs ont validé ShopGym en utilisant 224 tâches générées réparties sur six boutiques bac à sable (trois entièrement synthétiques, trois boutiques « jumeaux » utilisant des données de produits réelles mais un branding synthétique).

Validité Structurelle : Les comparaisons entre les boutiques synthétiques et réelles ont montré une complexité d'observation et d'interaction comparable (profondeur de l'arbre d'accessibilité, éléments interactifs uniques). Les boutiques synthétiques ont présenté légèrement moins de transitions d'état en raison de l'exclusion intentionnelle des liens externes et du bruit marketing, mais ont maintenu une couverture similaire des états d'interface utilisateur distincts.
Validation Comportementale : La performance des agents (utilisant des modèles comme GPT-5 et Gemini 3) sur les boutiques « jumeaux » synthétiques était positivement corrélée à la performance sur les boutiques en direct correspondantes. Cela indique que les environnements synthétiques conservent la difficulté et les signaux comportementaux nécessaires à l'évaluation.
Complexité des Tâches : Les modèles de pointe ont obtenu des taux de réussite faibles sur les tâches générées à long horizon (par exemple, ~48 % pour GPT-5-mini, ~62 % pour GPT-5 sur l'infrastructure BrowserGym), démontrant que les tâches sont suffisamment complexes pour défier les agents actuels.

Importance et Revendications

L'article affirme que ShopGym offre un compromis pratique entre le réalisme du web en direct et le contrôle du bac à sable. En produisant des artefacts d'évaluation qui sont autonomes, inspectables, réinitialisables et stables, ShopGym offre une base évolutive pour une évaluation plus reproductible et interprétable des agents web de commerce électronique.

Les auteurs notent modestement que ShopGym ne remplace pas complètement l'évaluation sur le web en direct, car il élimine des sources de non-stationnarité réelle (par exemple, le turnover des stocks, la personnalisation, la latence). Cependant, il sert de méthodologie plus robuste pour le benchmarking standardisé, permettant aux chercheurs d'isoler les capacités des agents du bruit environnemental. Le cadre est conçu pour soutenir une utilisation responsable de la recherche, avec des garde-fous contre l'automatisation non autorisée et la redistribution des données.