Resumo Técnico: SimGym – Uma Framework para Simulação de Testes A/B em E-Commerce

1. Declaração do Problema

Os testes A/B permanecem o padrão-ouro para avaliar modificações em lojas virtuais de e-commerce, como alterações de interface e tema. No entanto, os testes tradicionais incorrem em custos significativos: desviam tráfego real para variantes potencialmente subótimas, exigem semanas para alcançar significância estatística e arriscam degradar a experiência do usuário antes que tratamentos mal-sucedidos sejam detectados. Essas limitações frequentemente forçam os comerciantes a adotar estratégias avessas ao risco, favorecendo mudanças incrementais em detrimento de redesenhos ousados, o que restringe a inovação.

Embora avanços recentes em Modelos de Linguagem de Grande Porte (LLMs) e Modelos Visão-Linguagem (VLMs) tenham demonstrado a capacidade de agentes navegarem em interfaces complexas e exibirem comportamentos realistas de usuários, trabalhos existentes carecem de uma framework de ponta a ponta para testes A/B sintéticos em cenários reais de e-commerce. Pesquisas anteriores abordaram ou a geração de personas, a interação com navegadores ou a avaliação de forma isolada, ou confiaram em conjuntos de dados estáticos e benchmarks offline que falham em capturar a natureza visual e dinâmica de lojas virtuais ao vivo. Crucialmente, nenhuma abordagem existente validou rigorosamente se agentes simulados podem prever mudanças reais em métricas de conversão (por exemplo, taxas de adição ao carrinho) resultantes de intervenções reais na interface.

2. Metodologia: A Framework SimGym

O SimGym é uma framework modular projetada para simular testes A/B usando agentes de navegador impulsionados por VLMs operando em um ambiente de navegador ao vivo. A framework consiste em três componentes principais:

2.1 Pipeline de Geração de Personas Fundamentado em Tráfego

Para garantir que compradores sintéticos reflitam a heterogeneidade de usuários reais, o SimGym deriva arquétipos e intenções de compradores diretamente de dados de fluxo de cliques de produção específicos do comerciante, em vez de depender de personas artesanais ou genéricas. O pipeline opera em seis etapas:

1. Agrupamento de Sessões: As sessões são representadas como vetores de características (engajamento, profundidade de exploração, progressão no funil, valor econômico) e agrupadas usando k-means++ para identificar padrões recorrentes de compra.
2. Extração de Preferências de Produtos: Usando um VLM (GPT-5), o sistema extrai preferências de produtos estruturadas (categorias e itens específicos) para cada cluster.
3. Geração de Intenção de Compra: Uma intenção de compra estruturada é criada para cada agente, compreendendo um alvo de produto (amostrado das preferências do cluster) e um guia de decisão de compra.
4. Agregação de Comportamento: Resumos cruzados de sessões (resultados do funil, valores do carrinho, históricos de interação) são computados para cada cluster.
5. Construção de Arquétipo de Comprador: Perfis multidimensionais são construídos ao longo de cinco dimensões contínuas: Sensibilidade ao Preço, Profundidade de Exploração, Foco em Premium, Foco em Desempenho e Foco em Ética. Estes são derivados de estatísticas agregadas e análise de palavras-chave.
6. Composição de Prompt: A persona final do agente emparelha uma intenção de compra com um arquétipo de comprador, criando um perfil que reflete interesses em produtos observados e traços comportamentais.

2.2 Arquitetura de Agente Multimodal em Navegador Ao Vivo

Diferentemente de simulações offline, os agentes do SimGym interagem diretamente com lojas virtuais ao vivo. A arquitetura emprega um loop observar-planejar-agir:

• Percepção Web Multimodal: Em cada etapa de decisão, o VLM recebe duas modalidades:
  • Estrutura Textual: Uma árvore de acessibilidade derivada do DOM fornecendo hierarquia semântica e IDs de referência únicos para direcionamento de ações.
  • Percepção Visual: Uma captura de tela da página capturando layout, imagens, tipografia e ênfase visual.
• Planejamento de Ação: O agente atua como um planejador de alto nível, gerando uma resposta restrita por esquema contendo raciocínio, uma decisão de término e uma ação proposta (por exemplo, clicar, rolar) com base no estado atual, memória da sessão e restrições da persona.
• Gerenciamento de Memória: Uma memória de sessão episódica acumula toda a trajetória de navegação (contexto de navegação, observações, raciocínio, ações, resultados). Isso permite que o agente mantenha coerência temporal, evite comportamentos redundantes e rastreie páginas visitadas.
• Guardrails: Para garantir confiabilidade, o sistema impõe proteção contra loops, orçamentos de etapas/tempo, lógica de retry do modelo e propagação de erros para lidar com estados de página inesperados ou falhas de execução de forma graciosa.

2.3 Protocolo de Avaliação

O protocolo valida se agentes simulados preveem a direção e a magnitude das mudanças comportamentais observadas no tráfego humano real.

• Construção da Verdade Terrena: Um conjunto de dados de 50 pares de variantes de loja virtual controle/tratamento é curado. Os pares são selecionados com base em tráfego suficiente e diferenças visuais/disposicionais substanciais, filtrando fatores de confusão como promoções sobrepostas ou alterações de preços.
• Métricas:
  • Validade Direcional: Medida pela Taxa de Alinhamento (porcentagem de lojas onde o sinal do $\Delta$A2C simulado corresponde ao sinal do $\Delta$A2C humano observado).
  • Validade de Magnitude: Medida pelo Coeficiente de Correlação de Pearson entre as mudanças de A2C simuladas e observadas entre as lojas.

3. Contribuições Principais

1. Framework de Ponta a Ponta: O SimGym é a primeira framework unificada integrando geração de personas fundamentada em tráfego, interação multimodal em navegador ao vivo e validação preditiva rigorosa para testes A/B sintéticos.
2. Síntese Fundamentada em Tráfego: O pipeline transforma dados brutos de fluxo de cliques em arquétipos e intenções de compradores diversos e específicos da loja, garantindo que a população simulada espelhe distribuições empíricas de clientes sem ajuste manual.
3. Interação Multimodal Ao Vivo: A arquitetura do agente combina percepção web visual e estrutural com memória episódica, permitindo sessões de compra coerentes em interfaces heterogêneas e dinamicamente mutáveis.
4. Validação Empírica: A framework é validada contra testes A/B reais de mudanças de tema impulsionadas visualmente, demonstrando forte alinhamento entre resultados simulados e observados.

4. Resultados Experimentais

A framework foi avaliada em 50 lojas virtuais reais em 16 países e 11 categorias de produtos, usando 600 agentes por loja.

• Desempenho Geral: Usando Gemini 3 Flash com integração visual, o SimGym alcançou um alinhamento direcional de 77% com as mudanças observadas de adição ao carrinho (A2C) humanas e uma correlação de Pearson de 0,55.
• Necessidade Multimodal: Remover a entrada visual (Gemini 3 Flash apenas texto) reduziu o alinhamento para 70% e a correlação para 0,49, confirmando que recursos visuais (layout, imagens) fornecem sinais comportamentais críticos não capturados apenas pela estrutura DOM.
• Importância da Persona: Estudos de ablação mostraram que a Persona Completa (arquétipo + intenção) é essencial. Remover o arquétipo de comprador (Apenas Intenção de Compra) fez o alinhamento cair para 44% e a correlação para próximo de zero. Usar apenas um alvo de produto (Apenas Produto) resultou em alinhamento ao nível de acaso (51%).
• Necessidade de Memória: Remover a memória de sessão episódica fez o alinhamento direcional cair para 42% e a correlação para 0,00, pois os agentes ficaram presos em loops de navegação e falharam em rastrear o contexto de navegação.
• Eficiência: O SimGym reduz ciclos experimentais de semanas para menos de uma hora (aproximadamente 5,3 minutos por loja com 600 agentes usando Gemini 3 Flash).
• Robustez do Modelo: Embora modelos proprietários tenham apresentado o melhor desempenho, modelos de código aberto (GPT-OSS) ainda alcançaram 59% de alinhamento, sugerindo a robustez da framework através de diferentes capacidades de modelos.

5. Significado e Alegações

O artigo afirma que o SimGym fornece uma base rigorosa para conduzir testes A/B sintéticos em casos de uso reais de e-commerce. Ao alcançar forte alinhamento direcional (77%) e correlação significativa (0,55) com mudanças comportamentais humanas reais, a framework demonstra que agentes sintéticos podem prever efetivamente o impacto de alterações na interface.

O significado principal reside em permitir experimentação rápida sem expor compradores reais a variantes candidatas. Essa capacidade permite que comerciantes testem redesenhos ousados e mudanças de tema impulsionadas visualmente com menor risco, potencialmente desbloqueando inovação que atualmente é sufocada pelos custos e riscos dos testes A/B tradicionais. Os autores posicionam o SimGym como um possível "loop interno" para exploração automatizada de UI, onde mudanças candidatas podem ser propostas, filtradas e priorizadas em simulação antes da implantação.

Os autores permanecem modestos quanto à generalização, observando que o estudo está atualmente limitado a uma única plataforma majoritária de e-commerce e que o impacto do alinhamento pós-treinamento em traços humanos permanece uma área aberta para validação futura.