Beyond Accuracy: Evaluating Forecasting Models by Multi-Echelon Inventory Cost

Este estudo desenvolve um pipeline digitalizado que integra modelos de previsão tradicionais, de aprendizado de máquina e de sequência profunda em uma simulação de inventário, demonstrando que abordagens como CNN Temporal e LSTM reduzem significativamente os custos operacionais e melhoram as taxas de atendimento em sistemas de inventário de múltiplos níveis, superando as métricas tradicionais de precisão.

O essencial

Imagine que você é o dono de uma grande rede de supermercados. O seu maior pesadelo é ter duas situações opostas acontecendo ao mesmo tempo:

1. Falta de produto: O cliente quer comprar leite, mas a prateleira está vazia. Você perde a venda e o cliente fica frustrado.
2. Excesso de produto: Você encheu o armazém de leite, mas ninguém comprou. O leite estraga, ocupa espaço e você perde dinheiro.

O grande desafio é acertar o "ponto ideal": ter exatamente a quantidade certa de produtos para o dia seguinte.

Este artigo é como um manual de sobrevivência para donos de supermercados que querem usar a inteligência artificial para resolver esse problema. Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: Adivinhar o Futuro é Difícil

Antigamente, os gerentes usavam regras simples para prever as vendas. Era como tentar adivinhar a temperatura de amanhã apenas olhando para o céu de hoje. Funcionava em dias normais, mas quando chovia torrencialmente ou fazia um calor de rachar (mudanças bruscas de comportamento), essas regras falhavam.

O artigo compara três tipos de "adivinhos":

• Os Clássicos (Estatísticos): São como avós experientes que olham para o calendário e dizem: "Na segunda-feira sempre vende menos". Eles são bons, mas não entendem nuances complexas.
• Os Aprendizes de Máquina (ML): São como analistas de dados que olham para milhares de fatores (férias, feriados, promoções) e encontram padrões que humanos não veem.
• Os Profundos (Deep Learning/IA): São como supercomputadores que "leem" a história inteira das vendas, entendendo não apenas o passado, mas como o passado se conecta com o futuro de formas muito complexas.

2. A Grande Descoberta: Precisão não é Tudo

O ponto principal do artigo é uma mudança de mentalidade.
Muitas pessoas acham que o melhor modelo é aquele que erra menos na "nota de cálculo" (precisão estatística). Mas o artigo diz: "Ei, não importa se você acertou a previsão matemática perfeita; importa se você economizou dinheiro no final do dia!"

É como um jogador de futebol: não adianta chutar a bola com a técnica perfeita (precisão) se a bola não entra no gol (resultado financeiro). O artigo mediu os modelos não por "quem errou menos números", mas por "quem deixou menos leite estragar e menos clientes esperando".

3. O Experimento: A Simulação de "Jogo de Risco"

Os autores criaram um simulador (um "videogame" de gestão) usando dados reais da Walmart. Eles testaram 7 tipos de previsões em um cenário de "Newsvendor" (o vendedor de jornais).

• A Regra do Jogo: Se você pede muito, paga para guardar (custo de estoque). Se pede pouco, paga multa por não atender o cliente (custo de falta).
• O Resultado: Os modelos de Inteligência Artificial Profunda (especificamente o Temporal CNN e o LSTM) foram os campeões.
  • Eles conseguiram reduzir os custos em cerca de 19% comparado aos métodos antigos.
  • Conseguiram atender mais clientes (a "taxa de preenchimento" subiu).

Pense assim: Se os métodos antigos eram como dirigir um carro olhando apenas pelo retrovisor, os modelos de IA eram como ter um GPS com previsão de trânsito em tempo real. Eles viram as curvas antes de chegarem a elas.

4. O Efeito Dominó: A Cadeia de Suprimentos

O artigo foi além e olhou para uma "Cadeia de Duas Escadas" (Multi-echelon):

1. O Armazém Central (DC): Que abastece várias lojas.
2. As Lojas: Que vendem para você.

Aqui está a analogia do efeito dominó: Se o Armazém Central erra a previsão, ele manda o caminhão errado para as lojas. Isso causa um caos em cascata. O artigo mostrou que melhorar a previsão no nível do Armazém Central é crucial, porque um erro lá cima amplifica o problema em todas as lojas lá embaixo.

5. Conclusão: Por que isso importa para você?

Para o dono do supermercado (ou qualquer empresa), a mensagem é clara:

• Não invista em tecnologia apenas porque ela é "moderna" ou "precisa matematicamente".
• Invista em tecnologia que reduza custos e aumente a satisfação do cliente.
• A Inteligência Artificial (especificamente os modelos de "Deep Learning" mencionados) já está pronta para sair dos laboratórios e ajudar a gerenciar estoques reais, economizando milhões em produtos estragados ou vendas perdidas.

Resumo em uma frase:
Este estudo prova que usar "cérebros digitais" avançados para prever o futuro das vendas é muito mais lucrativo do que usar as velhas regras de cálculo, porque transforma a previsão de um exercício matemático em uma ferramenta real de economia de dinheiro.

Resumo técnico

Resumo Técnico: Além da Precisão – Avaliação de Modelos de Previsão por Custo de Inventário Multi-Echelon

1. Problema e Motivação

As cadeias de suprimentos modernas enfrentam volatilidade crescente e riscos de disrupção. Embora a previsão de demanda seja um insumo crítico para a otimização de inventário, a literatura atual apresenta uma lacuna significativa:

• Foco em Métricas Estatísticas: A maioria dos estudos avalia modelos de previsão (ML/DL) apenas com base em erros estatísticos (RMSE, MAE), ignorando o impacto operacional real.
• Falta de Avaliação Multi-Echelon: Poucos estudos empíricos conectam melhorias na previsão a resultados de inventário coordenados em redes de múltiplos níveis (ex: Centro de Distribuição - CD e Lojas) utilizando dados reais de varejo.
• Efeito Chicote: Erros de previsão propagam-se a montante, amplificando a variabilidade e aumentando custos.

O objetivo deste trabalho é preencher essa lacuna, avaliando modelos de previsão não pela sua precisão estatística isolada, mas pelo seu impacto direto nos custos de inventário e nas taxas de atendimento (fill rates) em sistemas de varejo.

2. Metodologia

Os autores desenvolveram um pipeline digitalizado que integra previsão e simulação de inventário:

• Conjunto de Dados: Utilização do conjunto de dados M5 Walmart, focando no subconjunto CA FOODS 1 (Califórnia, Departamento de Alimentos 1).
  • Pré-processamento: Criação de características (lags, médias móveis, indicadores de calendário e eventos) e divisão dos dados em treino, validação e teste (holdout rolante).
• Modelos de Previsão (7 Abordagens):
  1. Estatísticos: Naive (lag-1), Holt–Winters (ES), ARIMA.
  2. Aprendizado de Máquina (ML): Gradient Boosting Regressor (GBR), XGBoost.
  3. Aprendizado Profundo (DL): LSTM (Redes Neurais Recorrentes), Temporal CNN (Redes Convolucionais Temporais).
• Simulador de Inventário (Newsvendor):
  • Os modelos são avaliados através de um simulador de Newsvendor de período único com rolagem.
  • Métricas de Desempenho Operacional: Custo médio diário (considerando custos de excesso $h$ e de falta $b$) e Taxa de Atendimento (Fill Rate).
  • Cenários:
    1. Single-Echelon: Avaliação direta no nível da loja.
    2. Two-Echelon (Multi-Echelon): Simulação de um sistema com um Centro de Distribuição (CD) suprindo múltiplas lojas. A demanda do CD é agregada a partir das previsões das lojas, e a alocação de estoque é feita proporcionalmente.
• Análise de Sensibilidade: Variação das penalidades de falta (custo de underage, $b$) para testar a robustez dos modelos sob diferentes estruturas de custo.

3. Principais Contribuições

1. Pipeline Unificado: Desenvolvimento de um framework padronizado que integra sete classes de modelos (estatísticos, ML e DL) para comparação justa.
2. Avaliação Operacional: Tradução de métricas de precisão preditiva em resultados tangíveis de negócios (custo e serviço) através de múltiplas razões de custo de falta/estoque.
3. Extensão Multi-Echelon: Implementação de uma simulação de dois níveis (CD-Loja) para avaliar como erros de previsão no nível do CD afetam a rede a jusante, algo raramente feito com dados reais de varejo.
4. Análise de Sensibilidade: Avaliação detalhada da robustez dos modelos sob diferentes estruturas de custos, fornecendo insights acionáveis para gestores.

4. Resultados Chave

• Desempenho Operacional Superior: Modelos baseados em aprendizado (especialmente DL) superaram consistentemente as bases estatísticas e naive em termos de redução de custos e melhoria de fill rates.
  • O Temporal CNN obteve o melhor desempenho geral, reduzindo o custo de inventário em 18,7% e aumentando a taxa de atendimento em 9,8 pontos percentuais em comparação ao modelo Naive.
  • O LSTM apresentou o menor erro quadrático médio (RMSE) e o segundo menor custo de inventário.
  • Modelos de árvores de decisão (XGBoost/GBR) também superaram as bases clássicas, mas foram ligeiramente inferiores aos modelos de DL.
• Robustez: A hierarquia de desempenho (DL > ML > Estatístico) manteve-se estável mesmo quando a penalidade por falta de estoque ($b$) aumentou significativamente.
• Impacto Multi-Echelon: A análise de dois níveis revelou que erros de previsão no nível do CD têm um efeito desproporcional na rede. Mesmo com boas previsões nas lojas, a agregação de erros no CD amplifica os custos e degrada o serviço em todos os pontos de venda.
• Nota sobre Métricas: O MAPE foi considerado inadequado para este subconjunto devido a dias de demanda próxima de zero; portanto, RMSE, MAE e métricas baseadas em inventário foram priorizados.

5. Significado e Conclusão

• Argumento Econômico: O estudo fornece uma justificativa econômica direta para investir em pipelines de previsão avançados (DL). Melhorias na precisão não são apenas estatísticas; elas se convertem em redução quantificável de custos de inventário e maior resiliência.
• Tomada de Decisão: Gestores devem escolher pipelines de previsão baseados em KPIs de negócios (custo e taxa de atendimento) e não apenas em acurácia, especialmente sob penalidades assimétricas de estoque.
• Limitações e Futuro: O estudo foi restrito a uma categoria de produto e um horizonte limitado. Trabalhos futuros devem incluir previsões probabilísticas (quantis), controle de inventário por Reinforcement Learning e redes mais complexas com transbordo lateral.

Em suma, o artigo demonstra que modelos de aprendizado profundo (Temporal CNN e LSTM) são superiores para otimização de cadeias de suprimentos reais, oferecendo uma ferramenta de suporte à decisão baseada em dados que vai além da simples precisão estatística.