🤖 AI

ShopGym: An Integrated Framework for Realistic Simulation and Scalable Benchmarking of E-Commerce Web Agents

Este artigo apresenta o ShopGym, um framework integrado que preenche a lacuna entre a avaliação realista e controlável de agentes de comércio eletrônico ao converter lojas virtuais ao vivo em ambientes de sandbox reproduzíveis (ShopArena) e sintetizar tarefas de benchmark fundamentadas (ShopGuru), demonstrando que lojas sintéticas preservam propriedades estruturais-chave e correlacionam-se com o desempenho de agentes em sites do mundo real.

Autores originais: Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

Publicado 2026-05-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a fazer compras online. Para fazer isso de forma eficaz, você precisa de um campo de treinamento. O artigo "ShopGym" argumenta que os campos de treinamento atuais estão quebrados e propõe uma nova e melhor solução.

Aqui está a análise do problema e da solução deles, usando analogias simples.

O Problema: O Dilema da "Loja Real" vs. a "Loja de Brinquedos"

Atualmente, os pesquisadores têm duas opções ruins para testar robôs de compras:

A "Loja Real" (Muito Caótica): Imagine tentar ensinar um robô a fazer compras em um supermercado real e movimentado. O problema é que a loja muda todos os dias. As prateleiras são reorganizadas, os preços mudam, o layout se altera e, às vezes, a loja está executando um teste secreto para alguns clientes, mas não para outros.
- O Resultado: Se o robô falhar hoje, você não sabe se é porque o robô é ruim ou porque a loja mudou seu layout. Você não pode repetir o teste exatamente da mesma forma amanhã. É como tentar corrigir uma prova de matemática de um aluno enquanto o professor continua mudando os números no quadro.
A "Loja de Brinquedos" (Muito Simples): A alternativa é uma loja falsa construída à mão, como um conjunto de Lego. É muito estável; as prateleiras nunca se movem.
- O Problema: É muito simples. Tem apenas alguns tipos de caixas e uma seleção minúscula de brinquedos. As compras reais envolvem milhares de produtos, filtros complexos e layouts de sites estranhos. Um robô que domina a loja de Lego ainda pode se perder em um supermercado real.

O Gargalo Central: Precisamos de um campo de treinamento que pareça uma loja real (para que o robô aprenda habilidades reais), mas aja como uma loja de brinquedos (para que possamos testá-lo de forma justa e repetida).

A Solução: ShopGym

Os autores construíram o ShopGym, um framework que atua como uma "Fábrica de Gêmeos Digitais". Ele tem duas partes principais: ShopArena e ShopGuru.

1. ShopArena: A "Fábrica de Gêmeos Digitais"

Pense nisso como uma máquina que tira uma foto de uma loja real e bagunçada e imprime uma réplica perfeita, limpa, mas com aparência idêntica.

Como funciona:
- O Explorador: Uma equipe de agentes de IA visita um site real (a "Loja Semente"). Eles não compram nada; apenas tiram notas. Eles mapeiam a navegação, contam os produtos e anotam como os filtros funcionam. Crucialmente, eles removem todos os nomes reais (como "Nike" ou "Coca-Cola") e os substituem por nomes falsos (como "Marca X" ou "Bebida Y").
- O Arquiteto: Esta equipe escreve um "plano" (uma especificação) baseado nessas notas.
- O Construtor: Outra equipe de agentes de IA lê o plano e constrói um novo site, autônomo, do zero. Ele parece e se comporta exatamente como a loja real, mas é feito de dados sintéticos.
A Magia: Como é construído a partir de um plano, você pode redefini-lo para zero instantaneamente. Você pode executar o mesmo teste 1.000 vezes, e a loja terá exatamente a mesma aparência todas as vezes. Mas, como foi construído a partir da estrutura de uma loja real, é tão complexo quanto a coisa real.

2. ShopGuru: O "Criador de Exames"

Uma vez que a loja falsa é construída, você precisa dar um teste ao robô. ShopGuru é o professor que escreve as perguntas do exame.

Tarefas de Curto Prazo (O Quiz Rápido): São perguntas simples e de um único passo, como "Encontre a camisa vermelha" ou "Verifique a política de frete". Elas testam habilidades básicas.
Tarefas de Longo Prazo (O Projeto Final): São histórias complexas. Por exemplo: "Você é uma pessoa com três cachorros. Encontre ração para cães, depois encontre areia para gatos, verifique se você se qualifica para frete grátis e, finalmente, coloque ambos no carrinho."
A Verificação de Segurança: ShopGuru não apenas adivinha. Ele verifica suas próprias perguntas contra o banco de dados da loja falsa para garantir que as respostas realmente existam. Ele não pedirá ao robô para encontrar uma "torradeira roxa" se a loja não vende torradeiras.

Como Eles Testaram

Para provar que sua ideia funciona, eles fizeram duas coisas:

Verificação Estrutural: Eles compararam as lojas "Gêmeos Digitais" com as lojas reais usando um gráfico (como um mapa de conexões). Eles descobriram que as lojas falsas tinham o mesmo número de páginas, a mesma profundidade de menus e a mesma complexidade que as reais.
Verificação Comportamental: Eles executaram robôs de IA de ponta tanto nas lojas reais quanto nas lojas falsas "Gêmeo".
- O Resultado: Os robôs performaram quase identicamente em ambos. Se um robô era bom em fazer compras na loja real, era bom na falsa. Se ele tinha dificuldades na real, tinha dificuldades na falsa.

A Conclusão

O ShopGym resolve o trade-off entre "Realismo vs. Controle".

Ele oferece aos pesquisadores um ambiente estável, redefinível e justo (como um nível de videogame).
Mas, como é construído a partir de dados reais, preserva a complexidade e a dificuldade das compras do mundo real.

Isso significa que finalmente podemos treinar e testar robôs de compras de uma maneira que seja científica, reproduzível e realmente útil para o mundo real, sem o caos de sites ao vivo mudando sob nossos pés.

Resumo Técnico: ShopGym

Declaração do Problema

A avaliação de agentes web de comércio eletrônico enfrenta um gargalo metodológico fundamental: um compromisso entre realismo e controle experimental. As abordagens existentes dividem-se em duas categorias, cada uma com limitações significativas:

Lojas Ao Vivo: Embora ofereçam alto realismo com layouts e padrões de interação naturais, são não estacionárias. Catálogos, designs e variantes de testes A/B mudam ao longo do tempo, tornando o treinamento e a avaliação irreproduzíveis e difíceis de comparar de forma justa entre diferentes execuções ou agentes.
Ambientes de Areia Construídos Manualmente: Estes fornecem controle e reprodutibilidade, mas sofrem de falta de diversidade. Ambientes construídos manualmente cobrem apenas uma gama estreita de layouts, estruturas de catálogo e políticas, falhando em capturar a complexidade do comércio eletrônico do mundo real.

O campo carece de uma metodologia escalável para construir configurações de avaliação que sejam simultaneamente realistas, diversas, controláveis, inspecionáveis e reproduzíveis.

Metodologia: Framework ShopGym

Para abordar essa lacuna, os autores introduzem o ShopGym, um framework integrado composto por dois componentes sinérgicos: ShopArena (geração de ambiente de simulação) e ShopGuru (geração de tarefas fundamentadas).

1. ShopArena: Geração Escalável de Ambientes de Simulação

O ShopArena transforma lojas de sementes ao vivo em lojas de areia autossuficientes e anonimizadas por meio de um pipeline de duas fases:

Fase de Exploração (Ao Vivo para Especificação):
- O sistema navega autonomamente por uma ou mais lojas de sementes ao vivo.
- Extrai sinais estruturais e comportamentais (navegação, affordances, organização de páginas, estatísticas de catálogo) enquanto anonimiza estritamente nomes de marcas, detalhes de produtos e URLs.
- Esses sinais são sintetizados em uma Especificação de Design ( $M$ ) legível por humanos e intermediária. Esta especificação atua como a única interface entre exploração e geração, permitindo composição multi-semente (mesclando diversidade estrutural de múltiplas fontes) e edição manual sem reexplorar a fonte.
Fase de Geração (Especificação para Areia):
- Um pipeline de síntese de código em etapas converte a especificação $M$ em uma loja de areia executável.
- Síntese de Catálogo: Gera dados sintéticos de produtos (nomes, descrições, imagens) com base no manual de design e estatísticas de $M$ .
- Síntese de Código-Fonte: Utiliza um Loop de Execução–Verificação impulsionado por múltiplos agentes. Um Agente de Execução edita a base de código, enquanto um Agente de Verificação separado (combinando verificações baseadas em regras e inspeção visual multimodal) fornece feedback. Este loop itera até que a loja esteja funcional, garantindo estabilidade e prevenindo a degradação da janela de contexto comum na geração de código de longo horizonte.
- O resultado é uma loja sintética que preserva as propriedades estruturais, comportamentais e estatísticas das lojas de sementes, mas utiliza identidade de marca e imagens sintéticas.

2. ShopGuru: Geração de Tarefas Fundamentadas

O ShopGuru sintetiza tarefas de benchmark diretamente fundamentadas nos dados das lojas de areia geradas (catálogo, grafo de navegação, políticas).

Tarefas de Curto Horizonte: Geradas por scripts determinísticos e baseados em regras para avaliar habilidades primitivas:
- Descoberta de Produtos: Busca exata e por substitutos.
- Seleção de Filtros: Navegação por coleções e aplicação de filtros específicos (garantindo viabilidade verificando a disponibilidade de produtos).
- Busca de Informações: Localização de páginas de políticas (envio, devoluções).
Tarefas de Longo Horizonte: Geradas por um LLM (por exemplo, GPT-5, Gemini 3 Pro) para simular jornadas complexas de compras humanas (por exemplo, filtrar $\to$ $\to$ ordenar $\to$ $\to$ inspecionar $\to$ $\to$ desvio de política $\to$ $\to$ adicionar ao carrinho).
- Loop de Polimento: Para mitigar alucinações do LLM (por exemplo, solicitar variantes inexistentes), um loop impulsionado por validadores refina iterativamente as tarefas geradas. O validador verifica incompatibilidades de fundamentação (produtos desconhecidos, filtros inviáveis) e alimenta erros acionáveis de volta ao LLM para regeneração.

Contribuições Principais

Identificação Metodológica: O artigo identifica o compromisso realismo-controle como um gargalo central e argumenta pela construção escalável de ambientes realistas e controláveis como a capacidade faltante.
Pipeline ShopArena: Um pipeline inovador que converte lojas ao vivo em lojas de areia autossuficientes e anonimizadas via síntese de especificação e geração de código em etapas, permitindo ambientes diversos e reproduzíveis.
Gerador de Tarefas ShopGuru: Um sistema de geração de tarefas fundamentadas que produz tanto avaliações de habilidades de curto horizonte quanto jornadas de compras E2E de longo horizonte, validadas por um loop de polimento baseado em regras e impulsionado por LLM.
Validação: Evidência empírica mostrando que lojas sintéticas preservam sinais de avaliação significativos de lojas ao vivo.

Resultados e Validação

Os autores validaram o ShopGym usando 224 tarefas geradas em seis lojas de areia (três totalmente sintéticas e três lojas "gêmeas" usando dados reais de produtos, mas com marcação sintética).

Validade Estrutural: Comparações entre lojas sintéticas e reais mostraram complexidade comparável de observação e interação (profundidade da árvore de acessibilidade, elementos interativos únicos). As lojas sintéticas exibiram ligeiramente menos transições de estado devido à exclusão intencional de links externos e ruído de marketing, mas mantiveram cobertura similar de estados distintos de UI.
Validação Comportamental: O desempenho do agente (usando modelos como GPT-5 e Gemini 3) em lojas "gêmeas" sintéticas correlacionou-se positivamente com o desempenho nas lojas ao vivo correspondentes. Isso indica que os ambientes sintéticos retêm a dificuldade e os sinais comportamentais necessários para avaliação.
Complexidade da Tarefa: Modelos de fronteira alcançaram baixas taxas de sucesso nas tarefas de longo horizonte geradas (por exemplo, ~48% para GPT-5-mini, ~62% para GPT-5 no harness BrowserGym), demonstrando que as tarefas são suficientemente complexas para desafiar agentes atuais.

Significado e Alegações

O artigo alega que o ShopGym fornece um meio-termo prático entre o realismo da web ao vivo e o controle de areia. Ao produzir artefatos de avaliação que são autossuficientes, inspecionáveis, redefiníveis e estáveis, o ShopGym oferece uma base escalável para uma avaliação mais reproduzível e interpretável de agentes web de comércio eletrônico.

Os autores notam modestamente que o ShopGym não substitui completamente a avaliação em web ao vivo, pois remove fontes de não estacionariedade do mundo real (por exemplo, rotatividade de estoque, personalização, latência). No entanto, serve como uma metodologia mais forte para padronização de benchmarks, permitindo que pesquisadores isolem capacidades de agentes do ruído ambiental. O framework foi projetado para apoiar o uso responsável da pesquisa, com salvaguardas contra automação não autorizada e redistribuição de dados.