🤖 AI

ShopGym: An Integrated Framework for Realistic Simulation and Scalable Benchmarking of E-Commerce Web Agents

Dit artikel introduceert ShopGym, een geïntegreerd kader dat de kloof tussen realistische en controleerbare evaluatie van e-commerce-agenten overbrugt door live webwinkels om te zetten in reproduceerbare sandbox-omgevingen (ShopArena) en gefundeerde benchmarktaken te synthetiseren (ShopGuru), waarbij wordt aangetoond dat synthetische winkels belangrijke structurele eigenschappen behouden en correleren met de prestaties van agenten op realistische sites.

Oorspronkelijke auteurs: Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot online winkelen aan te leren. Om dit effectief te doen, heb je een trainingsomgeving nodig. Het paper "ShopGym" betoogt dat de huidige trainingsomgevingen defect zijn, en stelt een nieuwe, betere oplossing voor.

Hier is de uiteenzetting van het probleem en hun oplossing, met eenvoudige analogieën.

Het Probleem: Het Dilemma "Levende Winkel" versus "Speelgoedwinkel"

Op dit moment hebben onderzoekers twee slechte opties om winkelrobots te testen:

De "Levende Winkel" (Te Chaotisch): Stel je voor dat je probeert een robot winkelen aan te leren in een echte, drukke supermarkt. Het probleem is dat de winkel elke dag verandert. De schappen worden opnieuw ingericht, de prijzen veranderen, de indeling verschuift, en soms voert de winkel een geheime test uit voor sommige klanten maar niet voor anderen.
- Het Resultaat: Als de robot vandaag faalt, weet je niet of dat komt omdat de robot slecht is of omdat de winkel zijn indeling heeft veranderd. Je kunt de test morgen niet exact op dezelfde manier herhalen. Het is alsof je een wiskundetoets van een leerling moet beoordelen terwijl de leraar de getallen op het bord blijft veranderen.
De "Speelgoedwinkel" (Te Eenvoudig): Het alternatief is een nepwinkel die met de hand is gebouwd, zoals een Lego-set. Het is zeer stabiel; de schappen bewegen nooit.
- Het Probleem: Het is te eenvoudig. Het heeft slechts een paar soorten dozen en een kleine selectie speelgoed. Echt winkelen omvat duizenden producten, complexe filters en vreemde website-indelingen. Een robot die de Lego-winkel onder de knie heeft, kan zich nog steeds verliezen in een echte supermarkt.

De Kernbeperking: We hebben een trainingsomgeving nodig die aanvoelt als een echte winkel (zodat de robot echte vaardigheden leert) maar zich gedraagt als een speelgoedwinkel (zodat we het eerlijk en herhaaldelijk kunnen testen).

De Oplossing: ShopGym

De auteurs hebben ShopGym gebouwd, een raamwerk dat fungeert als een "Digitale Tweelingfabriek". Het heeft twee hoofdonderdelen: ShopArena en ShopGuru.

1. ShopArena: De "Digitale Tweelingfabriek"

Denk hierbij aan een machine die een foto maakt van een echte, rommelige winkel en een perfect, schoon, maar er exact gelijkend exemplaar afdrukt.

Hoe het werkt:
- De Ontdekker: Een team van AI-agenten bezoekt een echte website (de "Zaadwinkel"). Ze kopen niets; ze maken alleen notities. Ze in kaart brengen de navigatie, tellen de producten en noteren hoe de filters werken. Cruciaal is dat ze alle echte namen (zoals "Nike" of "Coca-Cola") verwijderen en vervangen door nepnamen (zoals "Merk X" of "Drank Y").
- De Architect: Dit team schrijft een "blauwdruk" (een specificatie) op basis van die notities.
- De Bouwer: Een ander team van AI-agenten leest de blauwdruk en bouwt vanaf nul een gloednieuwe, zelfstandige website. Het ziet eruit en gedraagt zich exact als de echte winkel, maar het is gemaakt van synthetische data.
De Magie: Omdat het is gebouwd vanuit een blauwdruk, kun je het direct tot nul resetten. Je kunt dezelfde test 1.000 keer uitvoeren, en de winkel ziet er elke keer exact hetzelfde uit. Maar omdat het is gebouwd op de structuur van een echte winkel, is het net zo complex als het echte ding.

2. ShopGuru: De "Examenmaker"

Zodra de nepwinkel is gebouwd, moet je de robot een toets geven. ShopGuru is de leraar die de toetsvragen schrijft.

Korte-termijn Taken (De Populair Toets): Dit zijn eenvoudige, één-staps vragen zoals: "Zoek het rode overhemd" of "Controleer het verzendbeleid". Deze testen basisvaardigheden.
Lange-termijn Taken (Het Eindproject): Dit zijn complexe verhalen. Bijvoorbeeld: "Je bent een persoon met drie honden. Zoek hondenvoer, zoek dan kattenbakvulling, controleer vervolgens of je in aanmerking komt voor gratis verzending, en zet tot slot beide in je winkelwagen."
De Veiligheidscontrole: ShopGuru gokt niet zomaar. Het controleert zijn eigen vragen tegen de database van de nepwinkel om ervoor te zorgen dat de antwoorden echt bestaan. Het vraagt de robot niet om een "paarse broodrooster" te vinden als de winkel geen broodroosters verkoopt.

Hoe Ze Het Testen

Om te bewijzen dat hun idee werkt, deden ze twee dingen:

Structurele Check: Ze vergeleken de "Digitale Tweeling"-winkels met de echte winkels met behulp van een grafiek (zoals een kaart van verbindingen). Ze ontdekten dat de nepwinkels hetzelfde aantal pagina's hadden, dezelfde diepte aan menu's, en dezelfde complexiteit als de echte winkels.
Gedragscheck: Ze draaiden top-tier AI-robots op zowel de echte winkels als de neppe "Tweeling"-winkels.
- Het Resultaat: De robots presteerden bijna identiek op beide. Als een robot goed was in winkelen op de echte winkel, was het goed op de neppe. Als het moeite had op de echte, had het moeite op de neppe.

De Conclusie

ShopGym lost de afweging "Realisme versus Controle" op.

Het geeft onderzoekers een stabiele, resetbare en eerlijke omgeving (zoals een videospellevel).
Maar omdat het is gebouwd op echte data, behoudt het de complexiteit en moeilijkheidsgraad van echt winkelen.

Dit betekent dat we eindelijk winkelrobots kunnen trainen en testen op een manier die wetenschappelijk, reproduceerbaar en echt bruikbaar is voor de echte wereld, zonder de chaos van live websites die onder onze voeten veranderen.

Technische Samenvatting: ShopGym

Probleemstelling

De evaluatie van e-commerce webagenten staat voor een fundamenteel methodologisch knelpunt: een afweging tussen realisme en experimentele controle. Bestaande benaderingen vallen in twee categorieën, elk met aanzienlijke beperkingen:

Live Winkelschermen: Hoewel ze hoog realisme bieden met natuurlijke lay-outs en interactiepatronen, zijn ze niet-stationair. Catalogi, ontwerpen en A/B-testvarianten veranderen in de loop van de tijd, waardoor training en evaluatie niet reproduceerbaar zijn en moeilijk eerlijk te vergelijken tussen verschillende runs of agenten.
Handmatig Gebouwde Zandbakken: Deze bieden controle en reproduceerbaarheid, maar lijden onder een gebrek aan diversiteit. Handmatig samengestelde omgevingen dekken slechts een smal scala aan lay-outs, catalogusstructuren en beleidsregels, en slagen er niet in de complexiteit van echte e-commerce vast te leggen.

Het vakgebied mist een schaalbare methodologie om evaluatieomgevingen te construeren die tegelijkertijd realistisch, divers, controleerbaar, inspecteerbaar en reproduceerbaar zijn.

Methodologie: ShopGym Framework

Om deze kloof te dichten, introduceren de auteurs ShopGym, een geïntegreerd framework dat bestaat uit twee synergetische componenten: ShopArena (generatie van simulatieomgevingen) en ShopGuru (gegronde taakgeneratie).

1. ShopArena: Schaalbare Generatie van Simulatieomgevingen

ShopArena transformeert live seed-winkelschermen naar zelfstandige, geanonimiseerde zandbakwinkels via een tweefasige pijplijn:

Verkenningstfase (Live naar Specificatie):
- Het systeem browsautonoom één of meer live seed-winkelschermen.
- Het extraheert structurele en gedragsmatige signalen (navigatie, affordances, pagina-organisatie, catalogusstatisieken) terwijl het strikt namen van merken, productdetails en URL's anonimiseert.
- Deze signalen worden samengevoegd tot een menselijk leesbare, tussenliggende Ontwerpspecificatie ( $M$ ). Deze specificatie fungeert als de enige interface tussen verkenning en generatie, wat multi-seed-compositie mogelijk maakt (het samenvoegen van structurele diversiteit uit meerdere bronnen) en handmatige bewerking zonder herverkenning van de bron.
Generatiefase (Specificatie naar Zandbak):
- Een gefaseerde pijplijn voor codesynthese converteert de specificatie $M$ naar een uitvoerbare zandbakwinkel.
- Catalogussynthese: Genereert synthetische productdata (namen, beschrijvingen, afbeeldingen) gebaseerd op het ontwerphandleiding en statistieken uit $M$ .
- Broncodesynthese: Gebruikt een Uitvoering-Verificatielus aangedreven door meerdere agenten. Een Uitvoeringsagent bewerkt de codebase, terwijl een aparte Verificatieagent (combinerend regelgebaseerde checks en multimodale visuele inspectie) feedback geeft. Deze lus herhaalt zich totdat de winkel functioneel is, waarbij stabiliteit wordt gewaarborgd en contextvenster-degradatie wordt voorkomen die vaak voorkomt bij codegeneratie met lange horizon.
- Het resultaat is een synthetische winkel die de structurele, gedragsmatige en statistische eigenschappen van de seed-winkelschermen behoudt, maar synthetische merkidentiteit en beeldmateriaal gebruikt.

2. ShopGuru: Gegronde Taakgeneratie

ShopGuru synthetiseert benchmarktaken die direct gegrond zijn in de gegenereerde data van de zandbakwinkels (catalogus, navigatiegraaf, beleidsregels).

Korte-horizonttaken: Gegenereerd via deterministische, regelgebaseerde scripts om primitieve vaardigheden te evalueren:
- Productontdekking: Exact zoeken en zoeken op substitutie.
- Filterselectie: Bladeren door collecties en specifieke filters toepassen (waarbij haalbaarheid wordt gegarandeerd door beschikbaarheid van producten te controleren).
- Informatiezoeken: Zoeken naar beleidspagina's (verzendkosten, retourneren).
Lange-horizonttaken: Gegenereerd door een LLM (bijv. GPT-5, Gemini 3 Pro) om complexe menselijke winkelreizen te simuleren (bijv. filter $\to$ $\to$ sorteren $\to$ $\to$ inspecteren $\to$ $\to$ omleiding naar beleid $\to$ $\to$ toevoegen aan winkelmandje).
- Polijstlus: Om hallucinaties van de LLM te mitigeren (bijv. het aanvragen van niet-bestaande varianten), doorloopt een door een validator aangedreven lus de gegenereerde taken iteratief. De validator controleert op grondingsmismatches (onbekende producten, onhaalbare filters) en voert actieerbare fouten terug naar de LLM voor regeneratie.

Belangrijkste Bijdragen

Methodologische Identificatie: Het artikel identificeert de afweging tussen realisme en controle als een kernknelpunt en pleit voor schaalbare constructie van realistische, controleerbare omgevingen als de ontbrekende capaciteit.
ShopArena-pijplijn: Een innovatieve pijplijn die live winkelschermen omzet in geanonimiseerde, zelfstandige zandbakwinkels via specificatiesynthese en gefaseerde codegeneratie, waardoor diverse en reproduceerbare omgevingen mogelijk worden.
ShopGuru-taakgenerator: Een gegrond systeem voor taakgeneratie dat zowel korte-horizont vaardigheidsevaluaties als lange-horizont E2E-winkelreizen produceert, gevalideerd door een regelgebaseerde en door LLM aangedreven polijstlus.
Validatie: Empirisch bewijs dat aantoont dat synthetische winkels betekenisvolle evaluatiesignalen van live winkelschermen behouden.

Resultaten en Validatie

De auteurs hebben ShopGym gevalideerd met 224 gegenereerde taken over zes zandbakwinkels (drie volledig synthetisch, drie "tweeling"-winkels met echte productdata maar synthetische branding).

Structurele Validiteit: Vergelijkingen tussen synthetische en echte winkels toonden vergelijkbare complexiteit van observatie en interactie (diepte van toegankelijkheidsboom, unieke interactieve elementen). Synthetische winkels vertoonden iets minder staatsovergangen vanwege de opzettelijke uitsluiting van externe links en marketingruis, maar behielden een vergelijkbare dekking van verschillende UI-staten.
Gedragsvalidatie: De prestaties van agenten (met modellen zoals GPT-5 en Gemini 3) op synthetische "tweeling"-winkels correleerden positief met de prestaties op de overeenkomstige live winkelschermen. Dit geeft aan dat de synthetische omgevingen de moeilijkheidsgraad en gedragsmatige signalen behouden die nodig zijn voor evaluatie.
Taakcomplexiteit: Frontier-modellen behaalden lage successpercentages op de gegenereerde lange-horizonttaken (bijv. ~48% voor GPT-5-mini, ~62% voor GPT-5 op de BrowserGym-harnas), wat aantoont dat de taken complex genoeg zijn om huidige agenten uit te dagen.

Betekenis en Aanspraken

Het artikel beweert dat ShopGym een praktisch middenpad biedt tussen realisme van het live-web en controle van een zandbak. Door evaluatieartefacten te produceren die zelfstandig, inspecteerbaar, resetbaar en stabiel zijn, biedt ShopGym een schaalbare basis voor meer reproduceerbare en interpreteerbare evaluatie van e-commerce webagenten.

De auteurs merken bescheiden op dat ShopGym live-web-evaluatie niet volledig vervangt, omdat het bronnen van echte niet-stationariteit verwijdert (bijv. voorraadchurn, personalisatie, latentie). Het dient echter als een sterkere methodologie voor gestandaardiseerd benchmarken, waardoor onderzoekers agentcapaciteiten kunnen isoleren van omgevingsruis. Het framework is ontworpen om verantwoord onderzoeksgebruik te ondersteunen, met waarborgen tegen ongeautoriseerde automatisering en dataherverdeling.