Resumo Técnico: FreshRetailNet-LT

Definição do Problema

A estimativa precisa da demanda é fundamental para as políticas de inventário e precificação de produtos de varejo perecíveis. No entanto, um desafio crítico surge dos dados de vendas censurados causados por eventos de falta de estoque (stockout). Quando um produto está fora de estoque, as vendas observadas caem para zero, não porque a demanda cessou, mas porque o suprimento se esgotou. Isso cria um viés sistemático onde modelos de previsão treinados em dados de vendas brutos aprendem a subestimar a verdadeira demanda latente. Essa subestimação perpetua um ciclo vicioso: previsões ruins levam a um inventário insuficiente, causando mais faltas de estoque, o que corrompe ainda mais as medições de demanda.

Datasets públicos de varejo existentes (ex: M5, Walmart, Favorita) falham em abordar isso de forma eficaz devido a duas limitações primárias:

1. Falta de Anotações de Falta de Estoque: Eles não distinguem entre demanda zero real e demanda zero causada pelo esgotamento de inventário, tratando todas as vendas zero como observações de demanda precisas.
2. Granularidade Temporal Insuficiente: A maioria dos datasets agrega dados em intervalos diários ou semanais. Isso obscurece padrões de demanda intradia (ex: picos de manhã/noite) e dilui a visibilidade dos eventos de falta de estoque, que costumam ser de curta duração, mas críticos para bens perecíveis.

Além disso, métodos padrão de imputação e previsão frequentemente assumem que os dados são "Ausentes ao Acaso" (MAR - Missing At Random). No varejo de perecíveis, as faltas de estoque são "Ausentes Não Ao Acaso" (MNAR - Missing Not At Random), impulsionadas por covariáveis estruturadas como promoções, clima e hora do dia, tornando abordagens padrão ineficazes.

Metodologia

O artigo introduz o FreshRetailNet-LT, um benchmark de larga escala projetado para facilitar a pesquisa em recuperação de demanda latente e previsão sob censura. A metodologia é estruturada em torno de um framework de dois estágios:

1. Construção do Dataset

O FreshRetailNet-LT agrega dados operacionais de múltiplas fontes de 1.057 lojas em 18 grandes cidades chinesas durante um período de dois anos (junho de 2023 – julho de 2025).

• Escala: Contém mais de 20.000 séries temporais de loja-produto cobrindo 576 SKUs perecíveis (vegetais, carnes, frutos do mar, frutas, etc.).
• Resolução: Granularidade horária, capturando trajetórias detalhadas de vendas e status de estoque.
• Anotações: Fornece, de forma única, rótulos de falta de estoque horários verificados, distinguindo entre períodos de demanda zero genuína e períodos onde a demanda foi censurada devido à falta de estoque.
• Covariáveis: Inclui dados contextuais ricos, como taxas de desconto promocional, precipitação, temperatura e feriados oficiais.

2. Abordagem de Modelagem de Dois Estágios

Os autores propõem um pipeline para primeiro recuperar a demanda latente e depois prevê-la:

• Estágio 1: Recuperação de Demanda Latente: O objetivo é reconstruir a demanda não observada ($d$) durante os períodos de falta de estoque. O modelo recebe como entrada as vendas observadas ($y$), covariáveis (promoções, clima, etc.) e o indicador de falta de estoque ($s$). Ele estima a demanda ausente ($\hat{d}$) apenas quando $s=0$ (falta de estoque), mantendo as vendas observadas quando $s=1$.
  • Baselines Testados: Modelos de multiperiodicidade (TimesNet), imputação baseada em atenção (SAITS, ImputeFormer, iTransformer), geradores conscientes de incerteza (GPVAE) e baselines interpretáveis (DLinear).
• Estágio 2: Previsão Robusta à Censura: A série de demanda recuperada é agregada para um nível diário para criar um conjunto de treinamento desenviesado. Esses dados são então usados para treinar modelos de previsão para um horizonte de 7 dias.
  • Baselines Testados: Similar Scenario Average (SSA), Temporal Fusion Transformer (TFT), DLinear e o modelo de fundação Chronos2 (zero-shot e ajuste fino via LoRA).

Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Anotações de Eventos de Falta de Estoque Verificadas: É o primeiro benchmark de código aberto que fornece rótulos de falta de estoque horários e verificados. Isso permite que pesquisadores distingam diretamente entre demanda zero real e demanda zero restrita pela oferta, uma capacidade que anteriormente exigia inferência indireta.
2. Cobertura Longitudinal Multianual com Alta Granularidade: O dataset captura tanto flutuações intradia detalhadas (ex: picos diários bimodais) quanto dinâmicas sazonais de longo prazo ao longo de dois anos, abordando a lacuna de resolução temporal em datasets de varejo perecível existentes.
3. Covariáveis de Múltiplos Modelos: Integra unicamente clima hiperlocal, efeitos de feriados e descontos promocionais, apoiando a pesquisa em cadeias de suprimentos resilientes ao clima e precificação dinâmica sob restrições de perecibilidade.

Resultados Experimentais

Os autores avaliaram o framework usando o Erro Percentual Absoluto Ponderado (WAPE) para precisão e o Erro Percentual Ponderado (WPE) para viés, juntamente com uma Pontuação de Desacoplamento ($\rho_{DS}$) para medir a remoção de correlações espúrias entre faltas de estoque e demanda.

• Recuperação de Demanda Latente:

  • O TimesNet alcançou o estado da arte com um WAPE de 21,35% e um WPE de -8,00%.
  • Crucialmente, o TimesNet alcançou uma Pontuação de Desacoplamento de -0,04, significativamente mais próximo de zero do que os dados de vendas brutos (-0,60), indicando que ele eliminou com sucesso o vínculo artificial entre falta de estoque e supressão de demanda.
  • Modelos generativos como o GPVAE mostraram erros mais altos (48,55% WAPE), sugerindo que podem suavizar excessivamente os padrões voláteis de demanda de produtos frescos.

• Desempenho de Previsão:

  • Usando dados de vendas brutos, o modelo TFT exibiu um viés de subestimação sistemática (WPE de -6,69%).
  • Quando treinado na demanda recuperada pelo TimesNet, o viés do TFT foi reduzido para quase zero (-0,13%), e o WAPE melhorou de 25,10% para 23,47%.
  • Melhorias semelhantes foram observadas em outros modelos (SSA, DLinear, Chronos2) ao usar a demanda recuperada, confirmando que a correção do viés de censura aumenta a confiabilidade da previsão.
  • O Chronos2 (um modelo de fundação) beneficiou-se da recuperação, mas não igualou a adaptabilidade de arquiteturas especializadas como o TFT, provavelmente devido à falta de adaptação específica ao domínio para as complexas covariáveis de varejo.

Significância e Alegações

O artigo posiciona o FreshRetailNet-LT como um recurso fundamental para o avanço da pesquisa operacional no varejo de perecíveis. Sua significância reside em:

• Quebrar o Ciclo de Censura: Ao fornecer anotações de verdade fundamental para faltas de estoque, permite o desenvolvimento de modelos que podem quebrar o ciclo de reforço positivo de subestimação de demanda e desperdício de inventário.
• Padronização de Benchmarks: Estabelece um benchmark direcionado para "previsão consciente de inventário", abordando os mecanismos específicos de MNAR encontrados no varejo de perecíveis que os datasets de propósito geral ignoram.
• Habilitação de Análise Causal: A estrutura do dataset suporta a inferência causal sobre como perturbações promocionais, climáticas e operacionais interagem com os riscos de perecibilidade.
• Utilidade Prática: Os autores afirmam que o dataset fornece soluções imediatas para a otimização de inventário e uma plataforma para futuras inovações metodológicas, preenchendo a lacuna entre a teoria de aprendizado de máquina e as restrições práticas das cadeias de suprimentos de perecíveis.

O artigo conclui que, embora o dataset aborde limitações de longa data, desafios permanecem no modelamento de SKUs de cauda longa e esparsos, bem como no desenvolvimento de frameworks de otimização conjunta de ponta a ponta, apontando estes como direções para pesquisas futuras.