Resumen Técnico: Modelado de Trayectorias de Clientes con Aprendizaje por Refuerzo para Perspectivas Prácticas en Retail

1. Declaración del Problema

El objetivo central de la optimización de la disposición de tiendas minoristas es maximizar las ganancias, impulsadas principalmente por compras impulsivas (compras espontáneas influenciadas por la ubicación y exposición de los productos). Para optimizar las disposiciones, los minoristas deben comprender los patrones de movimiento de los clientes (trayectorias). Sin embargo, recopilar datos de trayectorias del mundo real es costoso y a menudo inviable, particularmente para minoristas más pequeños.

En consecuencia, la industria depende de aproximaciones heurísticas de bajo costo:

• Problema del Viajante de Comercio (TSP): Asume que los clientes toman la ruta globalmente más corta.
• Vecino Más Próximo Probabilístico (PNN): Modela una ruta estocástica y codiciosa donde el siguiente artículo se elige basándose en la proximidad.

La Brecha: Investigaciones anteriores indican que las trayectorias reales de los clientes se desvían de las estimaciones de ruta más corta en un promedio del 28%. Esto crea un compromiso: las heurísticas son baratas pero poco realistas (fallan al capturar la variabilidad conductual y la racionalidad limitada), mientras que los datos reales son precisos pero prohibitivamente costosos. El artículo busca cerrar esta brecha proponiendo un método que sea más preciso conductualmente que las heurísticas pero más accesible que recopilar nuevos datos de verdad fundamental.

2. Metodología

Los autores proponen un marco de modelado basado en agentes donde la predicción de trayectorias de clientes se plantea como un problema de Aprendizaje por Refuerzo de Entropía Máxima (MaxEnt RL).

2.1 Entorno y Datos

• Fuente de Datos: Coordenadas anónimas de articulaciones en 3D y cestas de pago de una tienda de conveniencia (recopiladas de septiembre de 2023 a febrero de 2024).
• Discretización: La tienda se modela como una cuadrícula de $16 \times 36$ (50 cm por celda). El conjunto de datos se centra en los 61 productos más vendidos en 11 categorías.
• Preprocesamiento: Las trayectorias se normalizan para comenzar en la entrada y terminar en un punto de pago. Los puntos inválidos se corrigen y las trayectorias se transforman en secuencias de $(estado, acción)$.

2.2 Formulación de RL

• Agente: Los clientes se modelan como agentes de MaxEnt RL condicionales entrenados utilizando Optimización de Política Próxima (PPO) con una red neuronal convolucional como base.
• Objetivo: El agente maximiza la recompensa acumulada esperada mientras simultáneamente maximiza la entropía de la política. Este doble objetivo alienta al agente a encontrar rutas diversas y válidas para la tarea en lugar de una única ruta determinista más corta, modelando efectivamente la racionalidad limitada.
• Observaciones: El agente observa un tensor 2D multicapa que incluye:
  • Mapas de objetos (paredes, estantes, productos).
  • Conteo de pasos y presupuesto de paso de tiempo (para controlar la duración del viaje).
  • Una máscara binaria de celdas no visitadas.
  • Cesta condicional (compras previstas) y ubicación de pago.
• Acciones: Moverse hacia adelante, girar a la izquierda, girar a la derecha, y recoger/pagar.
• Recompensa: Basada en la precisión de los artículos recogidos, el uso correcto del punto de pago y el cumplimiento del presupuesto de paso de tiempo. Se otorga una recompensa adicional por visitar estados únicos para fomentar aún más la exploración.

2.3 Líneas Base

El enfoque de RL se compara con:

1. TSP: Calcula la ruta posible más corta.
2. PNN: Selecciona el siguiente producto probabilísticamente basado en la distancia (los artículos más cercanos son más probables).

3. Contribuciones Clave y Resultados Experimentales

El estudio evalúa el marco a través de tres etapas: similitud de trayectorias, estimación de tráfico en estantes y optimización de tasas de impulso/ganancias.

3.1 Precisión en la Generación de Trayectorias

Utilizando la Divergencia de Jensen-Shannon (JSD) y la Distancia de Wasserstein (WD) para comparar trayectorias simuladas con datos humanos de verdad fundamental:

• Resultados: RL superó significativamente tanto a TSP como a PNN.
  • JSD Promedio: RL (0.476) < PNN (0.676) < TSP (0.777).
  • WD Promedio: RL (0.00920) < PNN (0.0142) < TSP (0.0176).
• Perspectiva Cualitativa: TSP falla al capturar comportamientos multimodales (por ejemplo, clientes que toman rutas más largas a través de la parte inferior de la tienda). PNN captura cierta estocasticidad pero aún sesga hacia las rutas más cortas. MaxEnt RL recupera con éxito trayectorias diversas y válidas que se alinean con el comportamiento humano.

3.2 Estimación de Densidad de Tráfico en Estantes

La densidad de tráfico en estantes ($\theta_b$) es la probabilidad de que un estante sea visitado.

• Método: Se generaron trayectorias para marcar los estantes visitados.
• Resultados: Los mapas de densidad de tráfico generados por RL estuvieron más cerca de la verdad fundamental humana (menor JSD/WD) que TSP o PNN. Las heurísticas fallaron al predecir visitas a estantes que no estaban en la ruta más corta directa entre artículos esenciales y el punto de pago.

3.3 Estimación de Tasas de Impulso

Las tasas de impulso se estimaron utilizando la fórmula: $P_{compra} = P_{visita\_estante} \times P_{tasa\_impulso}$.

• Desafío: Para ciertos grupos de productos (por ejemplo, Grupo 2), las trayectorias de TSP y PNN nunca visitaron los estantes que contenían artículos de impulso (Refrescos, Frutas/Yogur), lo que llevó a errores de división por cero o estimaciones infinitas de tasas de impulso.
• Rendimiento de RL: Las trayectorias de RL visitaron con éxito estos estantes. Si bien los valores absolutos difirieron ligeramente de la verdad fundamental, RL preservó el orden relativo de las tasas de impulso (identificando correctamente que los Refrescos son más impulsivos que las Frutas/Yogur), mientras que las heurísticas fallaron al distinguirlos.

3.4 Optimización de Disposición (Reubicación)

Los autores simularon la reubicación de un solo producto de impulso en un estante desocupado y de alto tráfico para maximizar las ganancias.

• Toma de Decisiones: Solo RL identificó el producto de impulso "más rentable" correcto (Refrescos) y las ubicaciones correctas de estantes de alto tráfico, coincidiendo con las decisiones derivadas de datos humanos reales. TSP y PNN seleccionaron productos y ubicaciones subóptimos.
• Resultado de Ganancias: Cuando se evaluó con trayectorias humanas, la disposición informada por RL generó una ganancia de ganancias ($0.162) comparable a la disposición óptima de verdad fundamental. Las disposiciones basadas en TSP y PNN generaron retornos significativamente más bajos ($0.090 y$0.050, respectivamente).

4. Significado y Afirmaciones

El artículo afirma que MaxEnt RL proporciona una alternativa práctica y fundamentada conductualmente tanto a las heurísticas simplistas como a los enfoques intensivos en datos.

• Cerrando la Brecha: RL llena el vacío entre la inexactitud de TSP/PNN y el costo de la recopilación de datos reales.
• Perspectivas Accionables: A diferencia de las heurísticas, las predicciones basadas en RL generan decisiones de reubicación que se alinean con el comportamiento real de los clientes, resultando en ganancias de rentabilidad comparables a las derivadas de datos de verdad fundamental.
• Accesibilidad: Al publicar el código fuente y un entorno de gemelo digital, los autores buscan hacer accesible la optimización precisa de la disposición a minoristas que no pueden costear la recopilación de datos propietarios.
• Limitaciones y Trabajo Futuro: Los autores reconocen que entrenar políticas de RL robustas es computacionalmente costoso y actualmente requiere reentrenamiento para nuevas disposiciones. Sugieren trabajo futuro en aleatorización de dominios (para generalizar entre disposiciones sin reentrenamiento) y optimización de disposición de extremo a extremo donde un agente externo ajusta las ubicaciones mientras un agente interno modela el comportamiento.

En conclusión, el estudio demuestra que las trayectorias generadas por RL no solo están estadísticamente más cerca del comportamiento humano, sino que son funcionalmente superiores para impulsar decisiones de disposición de tiendas que maximizan las ganancias.