Resumen Técnico: SimGym – Un Marco para la Simulación de Pruebas A/B en Comercio Electrónico

1. Enunciado del Problema

Las pruebas A/B siguen siendo el estándar de oro para evaluar modificaciones en las tiendas virtuales de comercio electrónico, como cambios en la interfaz de usuario (UI) y en los temas. Sin embargo, las pruebas tradicionales incurren en costos significativos: desvían tráfico real hacia variantes potencialmente subóptimas, requieren semanas para alcanzar significancia estadística y arriesgan degradar la experiencia del usuario antes de detectar tratamientos fallidos. Estas limitaciones a menudo obligan a los comerciantes a adoptar estrategias aversas al riesgo, favoreciendo cambios incrementales sobre rediseños audaces, lo que restringe la innovación.

Si bien los avances recientes en Modelos de Lenguaje Grande (LLM) y Modelos Visión-Lenguaje (VLM) han demostrado la capacidad de los agentes para navegar interfaces complejas y exhibir comportamientos de usuario realistas, el trabajo existente carece de un marco integral para pruebas A/B sintéticas en entornos de comercio electrónico del mundo real. Investigaciones anteriores han abordado la generación de personajes, la interacción con el navegador o la evaluación de forma aislada, o han dependido de conjuntos de datos estáticos y puntos de referencia fuera de línea que no capturan la naturaleza visual y dinámica de las tiendas virtuales en vivo. Crucialmente, ningún enfoque existente ha validado rigurosamente si los agentes simulados pueden predecir cambios reales en las métricas de conversión (por ejemplo, tasas de añadir al carrito) resultantes de intervenciones reales en la interfaz.

2. Metodología: El Marco SimGym

SimGym es un marco modular diseñado para simular pruebas A/B utilizando agentes de navegador impulsados por VLM que operan en un entorno de navegador en vivo. El marco consta de tres componentes principales:

2.1 Pipeline de Generación de Personajes Basado en Tráfico

Para asegurar que los compradores sintéticos reflejen la heterogeneidad de los usuarios reales, SimGym deriva arquetipos e intenciones de compradores directamente de datos de flujo de clics de producción específicos del comerciante, en lugar de depender de personajes diseñados a mano o genéricos. El pipeline opera en seis etapas:

1. Agrupación de Sesiones: Las sesiones se representan como vectores de características (participación, profundidad de exploración, progresión del embudo, valor económico) y se agrupan utilizando k-means++ para identificar patrones de compra recurrentes.
2. Extracción de Preferencias de Producto: Utilizando un VLM (GPT-5), el sistema extrae preferencias de producto estructuradas (categorías y artículos específicos) para cada grupo.
3. Generación de Intención de Compra: Se crea una intención de compra estructurada para cada agente, que comprende un objetivo de producto (muestreado de las preferencias del grupo) y una guía de decisión de compra.
4. Agregación de Comportamiento: Se calculan resúmenes cruzados de sesiones (resultados del embudo, valores del carrito, historiales de interacción) para cada grupo.
5. Construcción de Arquetipo de Comprador: Se construyen perfiles multidimensionales a lo largo de cinco dimensiones continuas: Sensibilidad al Precio, Profundidad de Exploración, Enfoque en Premium, Enfoque en Rendimiento y Enfoque en Ética. Estos se derivan de estadísticas agregadas y análisis de palabras clave.
6. Composición del Prompt: El personaje final del agente empareja una intención de compra con un arquetipo de comprador, creando un perfil que refleja los intereses de producto observados y los rasgos conductuales.

2.2 Arquitectura de Agente Multimodal en Navegador en Vivo

A diferencia de las simulaciones fuera de línea, los agentes de SimGym interactúan directamente con tiendas virtuales en vivo. La arquitectura emplea un bucle de observar-planificar-actuar:

• Percepción Web Multimodal: En cada paso de decisión, el VLM recibe dos modalidades:
  • Estructura Textual: Un árbol de accesibilidad derivado del DOM que proporciona una jerarquía semántica y IDs de referencia únicos para la orientación de acciones.
  • Percepción Visual: Una captura de pantalla de la página que captura la disposición, las imágenes, la tipografía y el énfasis visual.
• Planificación de Acciones: El agente actúa como un planificador de alto nivel, generando una respuesta restringida por un esquema que contiene razonamiento, una decisión de terminación y una acción propuesta (por ejemplo, hacer clic, desplazarse) basada en el estado actual, la memoria de la sesión y las restricciones del personaje.
• Gestión de Memoria: Una memoria episódica de sesión acumula la trayectoria completa de navegación (contexto de navegación, observaciones, razonamiento, acciones, resultados). Esto permite al agente mantener la coherencia temporal, evitar comportamientos redundantes y rastrear las páginas visitadas.
• Límites de Seguridad: Para garantizar la fiabilidad, el sistema hace cumplir la protección contra bucles, presupuestos de pasos/tiempo, lógica de reintento del modelo y propagación de errores para manejar estados de página inesperados o fallos de ejecución con elegancia.

2.3 Protocolo de Evaluación

El protocolo valida si los agentes simulados predicen la dirección y la magnitud de los cambios de comportamiento observados en el tráfico humano real.

• Construcción de la Verdad Terrenal: Se curó un conjunto de datos de 50 pares de variantes de tiendas virtuales de control/tratamiento. Los pares se seleccionaron basándose en tráfico suficiente y diferencias visuales/disposición sustanciales, filtrando al mismo tiempo factores de confusión como promociones superpuestas o cambios de precios.
• Métricas:
  • Validez Direccional: Medida por la Tasa de Alineación (porcentaje de tiendas donde el signo del $\Delta$A2C simulado coincide con el $\Delta$A2C humano observado).
  • Validez de Magnitud: Medida por el Coeficiente de Correlación de Pearson entre los cambios de A2C simulados y observados a través de las tiendas.

3. Contribuciones Clave

1. Marco Integral: SimGym es el primer marco unificado que integra la generación de personajes basada en tráfico, la interacción multimodal en navegador en vivo y la validación predictiva rigurosa para pruebas A/B sintéticas.
2. Síntesis Basada en Tráfico: El pipeline transforma datos crudos de flujo de clics en arquetipos e intenciones de compradores diversos y específicos de la tienda, asegurando que la población simulada refleje las distribuciones empíricas de clientes sin ajuste manual.
3. Interacción Multimodal en Vivo: La arquitectura del agente combina la percepción web visual y estructural con memoria episódica, permitiendo sesiones de compra coherentes a través de interfaces heterogéneas y dinámicamente cambiantes.
4. Validación Empírica: El marco se valida frente a pruebas A/B del mundo real de cambios de temas impulsados visualmente, demostrando una fuerte alineación entre los resultados simulados y los observados.

4. Resultados Experimentales

El marco se evaluó en 50 tiendas virtuales reales de 16 países y 11 categorías de productos, utilizando 600 agentes por tienda.

• Rendimiento General: Utilizando Gemini 3 Flash con integración visual, SimGym logró una alineación direccional del 77% con los cambios observados en añadir al carrito (A2C) por humanos y una correlación de Pearson de 0.55.
• Necesidad Multimodal: Eliminar la entrada visual (Gemini 3 Flash solo texto) redujo la alineación al 70% y la correlación a 0.49, confirmando que las características visuales (disposición, imágenes) proporcionan señales conductuales críticas no capturadas por la estructura del DOM sola.
• Importancia del Personaje: Los estudios de ablación mostraron que el Personaje Completo (arquetipo + intención) es esencial. Eliminar el arquetipo de comprador (Solo Intención de Compra) redujo la alineación al 44% y la correlación a casi cero. Usar solo un objetivo de producto (Solo Producto) resultó en una alineación al nivel del azar (51%).
• Necesidad de Memoria: Eliminar la memoria episódica de la sesión hizo que la alineación direccional cayera al 42% y la correlación a 0.00, ya que los agentes se quedaban atrapados en bucles de navegación y fallaban al rastrear el contexto de navegación.
• Eficiencia: SimGym reduce los ciclos experimentales de semanas a menos de una hora (aproximadamente 5.3 minutos por tienda con 600 agentes usando Gemini 3 Flash).
• Robustez del Modelo: Si bien los modelos propietarios obtuvieron el mejor rendimiento, los modelos de código abierto (GPT-OSS) aún lograron una alineación del 59%, lo que sugiere la robustez del marco a través de diferentes capacidades de modelos.

5. Significado y Afirmaciones

El artículo afirma que SimGym proporciona una base rigurosa para realizar pruebas A/B sintéticas en casos de uso reales de comercio electrónico. Al lograr una fuerte alineación direccional (77%) y una correlación significativa (0.55) con cambios de comportamiento humano reales, el marco demuestra que los agentes sintéticos pueden predecir efectivamente el impacto de los cambios en la interfaz.

El significado principal radica en permitir la experimentación rápida sin exponer a compradores reales a variantes candidatas. Esta capacidad permite a los comerciantes probar rediseños audaces y cambios de temas impulsados visualmente con menor riesgo, desbloqueando potencialmente la innovación que actualmente se ve sofocada por los costos y riesgos de las pruebas A/B tradicionales. Los autores posicionan a SimGym como un posible "bucle interno" para la exploración automatizada de UI, donde los cambios candidatos pueden proponerse, filtrarse y priorizarse en simulación antes del despliegue.

Los autores permanecen modestos respecto a la generalización, señalando que el estudio está actualmente limitado a una sola plataforma importante de comercio electrónico y que el impacto de la alineación post-entrenamiento en rastros humanos sigue siendo un área abierta para validación futura.