Resumo Técnico: Modelagem de Trajetórias de Clientes com Aprendizado por Reforço para Insights Práticos de Varejo

1. Declaração do Problema

O objetivo central da otimização do layout de lojas de varejo é maximizar o lucro, impulsionado principalmente por compras por impulso (compras espontâneas influenciadas pela disposição e exposição dos produtos). Para otimizar layouts, os varejistas devem compreender os padrões de movimento dos clientes (trajetórias). No entanto, coletar dados de trajetórias do mundo real é caro e frequentemente inviável, particularmente para varejistas menores.

Consequentemente, a indústria depende de aproximações heurísticas de baixo custo:

• Problema do Caixeiro Viajante (TSP): Assume que os clientes percorrem o caminho globalmente mais curto.
• Vizinho Mais Próximo Probabilístico (PNN): Modela uma rota estocástica e gananciosa onde o próximo item é escolhido com base na proximidade.

A Lacuna: Pesquisas anteriores indicam que as trajetórias reais dos clientes desviam das estimativas de caminho mais curto em uma média de 28%. Isso cria um trade-off: as heurísticas são baratas, mas irreais (falhando em capturar a variabilidade comportamental e a racionalidade limitada), enquanto os dados reais são precisos, mas proibitivamente caros. O artigo busca preencher essa lacuna propondo um método que seja mais comportamentalmente preciso do que as heurísticas, mas mais acessível do que coletar novos dados de verdade absoluta.

2. Metodologia

Os autores propõem uma estrutura de modelagem baseada em agentes, onde a previsão de trajetória de clientes é tratada como um problema de Aprendizado por Reforço de Entropia Máxima (MaxEnt RL).

2.1 Ambiente e Dados

• Fonte de Dados: Coordenadas 3D de articulações anonimizadas e cestas de checkout de uma loja de conveniência (coletadas de setembro de 2023 a fevereiro de 2024).
• Discretização: A loja é modelada como uma grade $16 \times 36$ (50cm por célula). O conjunto de dados foca nos 61 produtos mais vendidos em 11 categorias.
• Pré-processamento: As trajetórias são normalizadas para começar na entrada e terminar em um checkout. Pontos inválidos são corrigidos, e as trajetórias são transformadas em sequências de $(estado, ação)$.

2.2 Formulação de RL

• Agente: Os clientes são modelados como agentes condicionais de MaxEnt RL treinados usando Otimização de Política Proximal (PPO) com uma espinha dorsal de rede neural convolucional.
• Objetivo: O agente maximiza a recompensa cumulativa esperada enquanto maximiza simultaneamente a entropia da política. Esse objetivo dual incentiva o agente a encontrar caminhos diversos e válidos para a tarefa, em vez de um único caminho mais curto determinístico, modelando efetivamente a racionalidade limitada.
• Observações: O agente observa um tensor 2D multicamada incluindo:
  • Mapas de objetos (paredes, prateleiras, produtos).
  • Contagem de passos e orçamento de tempo (para controlar o comprimento da viagem).
  • Uma máscara binária de células não visitadas.
  • Cesta condicional (compras pretendidas) e localização do checkout.
• Ações: Mover para frente, virar à esquerda, virar à direita e pegar/checkout.
• Recompensa: Baseada na precisão dos itens pegos, uso correto do checkout e adesão ao orçamento de tempo. Uma recompensa bônus é concedida por visitar estados únicos para incentivar ainda mais a exploração.

2.3 Baselines

A abordagem de RL é comparada contra:

1. TSP: Calcula a rota possível mais curta.
2. PNN: Seleciona o próximo produto probabilisticamente com base na distância (itens mais próximos são mais prováveis).

3. Contribuições Principais e Resultados Experimentais

O estudo avalia a estrutura através de três etapas: similaridade de trajetória, estimativa de tráfego de prateleira e otimização de taxa de impulso/lucro.

3.1 Precisão de Geração de Trajetória

Usando Divergência Jensen-Shannon (JSD) e Distância de Wasserstein (WD) para comparar trajetórias simuladas com dados humanos de verdade absoluta:

• Resultados: O RL superou significativamente tanto o TSP quanto o PNN.
  • JSD Média: RL (0,476) < PNN (0,676) < TSP (0,777).
  • WD Média: RL (0,00920) < PNN (0,0142) < TSP (0,0176).
• Insight Qualitativo: O TSP falha em capturar comportamentos multimodais (por exemplo, clientes percorrendo rotas mais longas pelo fundo da loja). O PNN captura alguma estocasticidade, mas ainda tende a caminhos mais curtos. O MaxEnt RL recupera com sucesso trajetórias diversas e válidas que se alinham ao comportamento humano.

3.2 Estimativa de Densidade de Tráfego de Prateleira

A densidade de tráfego de prateleira ($\theta_b$) é a probabilidade de uma prateleira ser visitada.

• Método: Trajetórias foram geradas para marcar prateleiras visitadas.
• Resultados: Mapas de densidade de tráfego gerados por RL estavam mais próximos da verdade absoluta humana (menor JSD/WD) do que TSP ou PNN. As heurísticas falharam em prever visitas a prateleiras que não estavam no caminho mais curto direto entre itens essenciais e o checkout.

3.3 Estimativa de Taxas de Impulso

As taxas de impulso foram estimadas usando a fórmula: $P_{compra} = P_{visita\_prateleira} \times P_{taxa\_impulso}$.

• Desafio: Para certos clusters de produtos (por exemplo, Cluster 2), as trajetórias TSP e PNN nunca visitaram as prateleiras contendo itens de impulso (Refrigerantes, Frutas/Iogurte), levando a erros de divisão por zero ou estimativas infinitas de taxa de impulso.
• Desempenho do RL: As trajetórias de RL visitaram com sucesso essas prateleiras. Embora os valores absolutos diferissem ligeiramente da verdade absoluta, o RL preservou a ordenação relativa das taxas de impulso (identificando corretamente que Refrigerantes são mais impulsivos do que Frutas/Iogurte), enquanto as heurísticas falharam em distingui-los.

3.4 Otimização de Layout (Reposicionamento)

Os autores simularam o reposicionamento de um único produto de impulso para uma prateleira desocupada e de alto tráfego para maximizar o lucro.

• Tomada de Decisão: Apenas o RL identificou o produto de impulso "mais lucrativo" correto (Refrigerantes) e as localizações corretas de prateleiras de alto tráfego, correspondendo às decisões derivadas de dados humanos reais. TSP e PNN selecionaram produtos e localizações subótimos.
• Resultado de Lucro: Quando avaliados com trajetórias humanas, o layout informado por RL gerou um ganho de lucro ($0,162) comparável ao layout ótimo de verdade absoluta. Layouts baseados em TSP e PNN geraram retornos significativamente menores ($0,090 e$0,050, respectivamente).

4. Significado e Alegações

O artigo alega que o RL de Entropia Máxima fornece uma alternativa prática e fundamentada comportamentalmente tanto a heurísticas excessivamente simplificadas quanto a abordagens intensivas em dados.

• Preenchendo a Lacuna: O RL preenche o vazio entre a imprecisão de TSP/PNN e o custo da coleta de dados reais.
• Insights Acionáveis: Diferentemente das heurísticas, previsões baseadas em RL geram decisões de reposicionamento que se alinham ao comportamento real dos clientes, resultando em ganhos de lucro comparáveis aos derivados de dados de verdade absoluta.
• Acessibilidade: Ao liberar o código-fonte e um ambiente de gêmeo digital, os autores visam tornar a otimização precisa de layout acessível a varejistas que não podem arcar com a coleta de dados proprietários.
• Limitações e Trabalho Futuro: Os autores reconhecem que treinar políticas robustas de RL é computacionalmente caro e atualmente requer retreinamento para novos layouts. Eles sugerem trabalho futuro em randomização de domínio (para generalizar entre layouts sem retreinamento) e otimização de layout ponta a ponta, onde um agente externo ajusta as disposições enquanto um agente interno modela o comportamento.

Em conclusão, o estudo demonstra que as trajetórias geradas por RL não são apenas estatisticamente mais próximas do comportamento humano, mas são funcionalmente superiores para impulsionar decisões de layout de loja que maximizam o lucro.