Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting

Este estudo demonstra que, para previsão de vendas no varejo com demanda intermitente e dados incompletos, métodos baseados em árvores como o XGBoost superam arquiteturas de aprendizado profundo, indicando que a adequação às características do problema é mais crucial do que a sofisticação do modelo.

O essencial

Imagine que você é o gerente de uma grande rede de supermercados. O seu maior pesadelo? Ter prateleiras cheias de produtos que ninguém compra (e que estragam) ou, pior ainda, ter prateleiras vazias quando os clientes querem comprar. Para evitar isso, você precisa de uma "bola de cristal" que diga exatamente o que vai vender na próxima semana.

Este artigo é como um grande teste de corrida para ver qual tipo de "bola de cristal" (modelo de Inteligência Artificial) funciona melhor para lojas físicas reais, cheias de imprevistos.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Cenário: O Caos das Lojas Físicas

Diferente de lojas online (como a Amazon), onde os dados são limpos e contínuos, as lojas físicas são um caos.

• A Analogia: Imagine tentar prever o trânsito em uma cidade pequena e cheia de buracos, onde às vezes o semáforo quebra e o carro some do radar.
• O Problema: Os dados de vendas são "intermitentes". Às vezes, um produto vende 100 unidades; no dia seguinte, zero; no outro, 50. Além disso, há muitos dados faltando (como preços de concorrentes que às vezes não são registrados). É um quebra-cabeça com peças faltando e peças que mudam de lugar.

2. Os Competidores: Quem está na pista?

Os pesquisadores testaram três tipos de "atletas" para prever as vendas:

• Os Clássicos (Estatística): São como os avós experientes. Eles olham para o passado e dizem: "Se choveu ontem, provavelmente vai chover hoje". Eles são simples e rápidos, mas não entendem nuances complexas.
• As Redes Neurais (Deep Learning): São como gênios superinteligentes que estudaram milhões de livros. Eles tentam encontrar padrões complexos e conexões secretas entre tudo. A promessa é que, com muitos dados, eles são imbatíveis.
• As Árvores de Decisão (XGBoost e LightGBM): São como detetives práticos e metódicos. Eles não tentam entender o universo inteiro; eles olham para cada regra específica ("Se o preço caiu E é terça-feira, então as vendas sobem"). Eles são ótimos lidando com dados bagunçados.

3. A Grande Prova de Fogo

Os pesquisadores criaram quatro cenários diferentes para testar esses atletas:

1. Treinamento Local: Cada grupo de produtos (ex: sabonetes, xampus) tem seu próprio detetive ou gênio.
2. Treinamento Global: Um único gênio tenta aprender tudo sobre todos os produtos ao mesmo tempo.
3. Dados Reais: Usando os dados "sujos" e com buracos.
4. Dados "Limpos" (Imputados): Usando uma IA avançada (SAITS) para tentar "adivinhar" e preencher os buracos nos dados antes de treinar os modelos.

4. O Resultado: Quem Venceu?

Aqui está a surpresa que o artigo revela:

• Os Detetives Práticos (XGBoost e LightGBM) venceram de lavada.
  • Eles foram os mais precisos, errando muito menos que os outros.
  • Por que? Porque em lojas físicas, os dados são bagunçados e específicos. Os detetives são ótimos em lidar com regras simples e dados faltantes sem se confundir. O XGBoost foi o campeão, com o menor erro de todos.
• Os Gênios Superinteligentes (Redes Neurais) ficaram para trás.
  • Eles tiveram dificuldade. Quando tentaram aprender tudo de uma vez (modelo global), ficaram confusos. Quando usaram os dados "limpos" (preenchidos pela IA), eles melhoraram um pouco, mas ainda não superaram os detetives.
  • A Lição: Às vezes, ter um cérebro supercomplexo não ajuda se o problema é "sujo" e cheio de buracos. Eles tendiam a superestimar as vendas (achavam que venderiam mais do que vendiam).
• O Perigo de "Limpar" os Dados:
  • A IA usada para preencher os buracos (SAITS) tentou adivinhar os valores faltantes, mas acabou "achatando" a realidade. Ela suavizou tanto os dados que perdeu a volatilidade real das vendas. Isso confundiu os modelos, especialmente os modelos de árvore, que viram seus resultados piorarem drasticamente em alguns casos.

5. A Conclusão para o Dia a Dia

O artigo nos ensina uma lição valiosa: Não use um canhão para matar uma mosca, nem um martelo para apertar um parafuso.

• Para Lojas Físicas: A melhor estratégia não é usar a tecnologia mais cara e complexa (Redes Neurais profundas). O ideal é usar modelos mais simples e robustos (como XGBoost), treinados separadamente para cada tipo de produto.
• Eficiência: Os modelos vencedores foram não só mais precisos, mas também muito mais rápidos e baratos de rodar. Enquanto os "gênios" levavam dias para treinar, os "detetives" faziam o trabalho em horas.

Resumo Final:
Se você tem uma loja física com dados imperfeitos, intermitentes e cheios de surpresas, esqueça a "IA de ficção científica". A melhor ferramenta é a inteligência prática e focada (modelos de árvore), que entende que o mundo real é bagunçado e sabe lidar com isso sem se perder. A complexidade arquitetônica não é o que garante o sucesso; é a adequação da ferramenta ao problema.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting", apresentado em português:

Resumo Técnico: Análise Comparativa de Modelos de Aprendizado de Máquina para Previsão de Vendas no Varejo

1. Problema e Contexto

O estudo aborda o desafio crítico da previsão de demanda precisa para o varejo físico (brick-and-mortar - B&M). Diferente do varejo online, o varejo físico é caracterizado por:

• Demanda Intermitente: Alta frequência de dias sem vendas (zero-sales).
• Dados Esparsos e Ruidosos: 20,93% de valores ausentes e 99,98% das séries temporais contendo pelo menos um dia de venda zero.
• Rotatividade de Produtos: Mudanças frequentes no mix de produtos e assentamento de prateleiras.
• Fragmentação: Milhares de lojas com variabilidade local, promoções específicas e limitações de espaço.

O objetivo principal é determinar qual abordagem de modelagem (estatística, baseada em árvores ou redes neurais) oferece o melhor desempenho para previsões de vendas diárias com um horizonte de 26 semanas (182 dias), considerando essas restrições operacionais reais.

2. Metodologia

Os autores realizaram uma avaliação em larga escala utilizando dados reais de um grande varejista no Sudeste da Europa (categoria de higiene, 446 lojas, 46.841 séries temporais diárias).

• Pré-processamento e Engenharia de Atributos:

  • Tratamento de Dados: Remoção de viés de falta de estoque (out-of-stock bias) e limpeza de dados.
  • Imputação: Comparação entre dados não imputados e dados imputados utilizando o modelo SAITS (Self-Attention Imputation for Time Series), uma rede neural profunda.
  • Atributos: Criação de lags, estatísticas de janelas rolantes, variáveis macroeconômicas (CPI, salários), dados de concorrentes e efeitos de calendário.
  • Prevenção de Vazamento: Separação rigorosa entre covariáveis "apenas do passado" e "conhecidas no futuro".

• Modelos Avaliados:

  • Baselines Estatísticos: Suavização Exponencial (ETS), Modelo Theta, Croston SBA.
  • Ensembles Baseados em Árvores: XGBoost e LightGBM.
  • Arquiteturas de Deep Learning: N-BEATS, N-HiTS e Temporal Fusion Transformer (TFT).

• Configurações Experimentais:
  Os modelos foram testados em quatro cenários combinando:

  1. Escopo: Local (um modelo por grupo de produtos) vs. Global (um único modelo para toda a categoria).
  2. Dados: Não imputados vs. Imputados (via SAITS).

• Protocolo de Avaliação:

  • Tree-based: Validação rolling-origin (previsão um passo à frente).
  • Neural: Previsão direta multi-horizonte (182 dias de uma vez) e teste com rolling-origin para garantir comparabilidade.
  • Métricas: RMSE, MAE, RMSSE, MASE, Viés de Demanda e Erro de Demanda.

3. Principais Contribuições

1. Pipeline End-to-End: Oferece um guia prático completo para previsão de varejo de longo prazo, cobrindo desde o pré-processamento até o treinamento.
2. Comparação Empírica Abrangente: Avalia modelos de ponta em múltiplas dimensões (arquitetura, escopo de modelagem e estratégias de imputação) sob condições reais de varejo físico.
3. Análise de Imputação: Demonstra que a imputação via SAITS, embora sofisticada, pode introduzir distorções distribucionais (compressão de variância) que prejudicam o desempenho de modelos baseados em árvores em cenários locais.
4. Diretrizes Práticas: Estabelece que a seleção do modelo deve priorizar a adequação às características do problema (intermitência, fragmentação) em vez da sofisticação arquitetural.

4. Resultados Chave

• Desempenho Superior das Árvores: Os ensembles baseados em árvores (XGBoost e LightGBM) superaram consistentemente as redes neurais e os métodos estatísticos.
  • O XGBoost alcançou o melhor desempenho global com um RMSE de 4,833 (Configuração Local, dados não imputados).
  • Os modelos de Deep Learning (N-BEATS, N-HiTS, TFT) tiveram desempenho inferior, especialmente em configurações locais e com dados esparsos.
• Impacto da Imputação:
  • A imputação com SAITS melhorou ligeiramente o desempenho das redes neurais em configurações globais, mas não as fez superar os ensembles.
  • Curiosamente, a imputação degradou drasticamente o desempenho do LightGBM em configurações locais (RMSE saltou de 4,847 para 10,758), sugerindo que a artefatos da imputação neural interferem na capacidade das árvores de capturar padrões locais.
• Viés (Bias):
  • Modelos ensemble tendem a subestimar ligeiramente a demanda (viés negativo).
  • Redes neurais tendem a superestimar sistematicamente a demanda.
• Eficiência Computacional:
  • Os modelos baseados em árvores são significativamente mais rápidos e exigem menos memória. O XGBoost treinou em ~14 minutos, enquanto as redes neurais levaram horas ou dias (ex: TFT levou ~4.400 minutos).
• Local vs. Global:
  • A modelagem local (treinar um modelo por grupo de produtos) foi mais eficaz para os ensembles. A abordagem global não trouxe benefícios significativos para as redes neurais neste contexto de dados esparsos, contradizendo as "leis de escala" observadas em grandes plataformas de e-commerce centralizado.

5. Significado e Conclusão

O estudo conclui que, para o varejo físico caracterizado por demanda intermitente e fragmentada, modelos baseados em árvores (XGBoost/LightGBM) em configurações locais são a escolha superior.

• Para a Prática: A sofisticação arquitetural das redes neurais (como Transformers) não compensa a complexidade e o custo computacional neste cenário específico. A prioridade deve ser a robustez aos dados esparsos e a eficiência.
• Limitações: Os resultados podem não generalizar para ambientes de e-commerce centralizado com dados densos e contínuos, onde as redes neurais podem se beneficiar de leis de escala.
• Futuro: Sugere-se a investigação de abordagens híbridas que combinem a eficiência das árvores com a capacidade de representação das redes neurais, além de métodos de imputação que preservem melhor a estrutura original dos dados.

Em suma, o artigo reforça que, no varejo físico real, a adequação do modelo às características dos dados (intermitência e ruído) é mais importante do que a complexidade do algoritmo.