Resumo Técnico: Previsão Hierárquica Probabilística de Ponta a Ponta via Top-Down Probabilístico (e2eTD)

1. Definição do Problema

As operações de varejo e cadeia de suprimentos dependem de previsões de demanda para decisões que variam desde o reabastecimento ao nível de produto até o planejamento de capacidade ao nível de loja. Essas previsões devem satisfazer dois requisitos críticos, frequentemente conflitantes:

1. Natureza Probabilística: Para permitir a tomada de decisão consciente de riscos (ex: definição de estoques de segurança), as previsões devem fornecer distribuições preditivas completas, em vez de estimativas de ponto único.
2. Coerência: As previsões através da hierarquia de agregação (ex: SKU, Loja, Região, Total) devem ser consistentes. A previsão para um nó pai deve ser igual à soma das previsões de seus filhos.

Abordagens existentes enfrentam desafios significativos de escalabilidade e modelagem em grandes hierarquias (milhares de séries temporais) caracterizadas por demanda intermitente (séries de nível inferior esparsas e com excesso de zeros):

• Dois estágios (Prever-então-Reconciliar): Embora eficaz para previsões de ponto, a reconciliação probabilística é computacionalmente dispendiosa para grandes hierarquias. Frequentemente baseia-se em suposições restritivas (ex: gaussianidade) que falham para dados de contagem intermitentes ou exige inversões de matrizes de alta dimensão.
• Modelos Neurais de Ponta a Ponta: Estes produzem previsões coerentes, mas tipicamente exigem arquiteturas complexas, hardware especializado (GPUs) e esforço significativo de engenharia, tornando-os impraticáveis para implantação rápida e em larga escala.
• Top-Down Tradicional: Embora escalável, os métodos top-down padrão frequentemente dependem de proporções históricas determinísticas, falhando em capturar a incerteza e a dependência entre séries necessária para a coerência probabilística.

O artigo identifica uma lacuna para um método que seja rápido, escalável e capaz de produzir previsões probabilísticas coerentes para grandes hierarquias com séries inferiores intermitentes, sem exigir hardware especializado.

2. Metodologia: e2eTD

O método proposto, e2eTD (end-to-end Top-Down), gera previsões probabilísticas coerentes modelando apenas um pequeno subconjunto de séries de nível superior suaves e propagando amostras para baixo via um novo algoritmo top-down probabilístico.

Fluxo de Trabalho Principal

O método procede em cinco etapas (ilustradas na Fig. 2 do artigo):

1. Seleção de Séries Superiores: Em vez de prever todas as séries inferiores, o e2eTD seleciona uma pequena subhierarquia de séries superiores suaves e previsíveis (aproximadamente 0,3% do total de séries nos experimentos). Este subconjunto deve formar uma subhierarquia que cubra todas as séries inferiores.
2. Previsão Probabilística: As previsões probabilísticas são geradas independentemente para as séries superiores selecionadas. Os autores utilizam Suavização Exponencial (ETS) com seleção automática de modelo, capaz de incorporar regressores exógenos (ex: feriados, promoções).
3. Reconciliação: Para garantir a coerência entre as séries superiores selecionadas, aplica-se uma etapa de reconciliação probabilística Gaussiana. Esta combina as previsões independentes em uma distribuição normal multivariada conjunta. Amostras são extraídas desta distribuição reconciliada no nível mais baixo da subhierarquia selecionada.
4. Amostragem Top-Down Probabilística (Novidade): Esta é a principal contribuição. Em vez de usar proporções históricas fixas, o algoritmo modela as proporções de desagregação como distribuições conjuntas.
   • Modelagem: Para cada par de séries sendo divididas, o método estima a distribuição conjunta de suas contagens históricas. As marginais são ajustadas como Poisson ou Binomial Negativa (dependendo da dispersão), e a dependência é modelada usando uma cópula de Plackett.
   • Amostragem: Dada uma amostra $z$ de um nó superior, o algoritmo extrai um par $(a, b)$ tal que $a+b=z$. A probabilidade de cada divisão é determinada condicionando a distribuição conjunta estimada à restrição $A+B=z$.
   • Recursão: Este processo é aplicado recursivamente (via divisão binária) das séries superiores selecionadas até o nível inferior. Crucialmente, o algoritmo preserva a dependência entre séries herdada da etapa de reconciliação ao não embaralhar os índices das amostras.
5. Agregação: As amostras conjuntas resultantes do nível inferior são somadas usando a matriz de agregação para obter previsões probabilísticas coerentes para todos os níveis da hierarquia.

Estratégias Computacionais

Para garantir a escalabilidade para centenas de milhares de séries:

• Agrupamento (Batching): O algoritmo calcula pesos de amostragem para valores inteiros únicos das amostras superiores uma única vez, em vez de iterar sobre cada amostra.
• Paralelização: A previsão de nível superior e a amostragem top-down para diferentes ramos da hierarquia são paralelizadas entre núcleos de CPU.
• Estimativa Eficiente: O método utiliza o ajuste de momentos para parâmetros marginais e a inversão da correlação de postos de Spearman para o parâmetro da cópula, evitando a computacionalmente cara Estimativa de Máxima Verossimilhança (MLE).

3. Principais Contribuições

1. Coerência Probabilística Escalável: O e2eTD alcança previsões probabilísticas coerentes para hierarquias com ~300 mil séries (dataset Favorita) em menos de 20 minutos em um laptop padrão, sem hardware especializado.
2. Algoritmo Top-Down Probabilístico: O artigo introduz um mecanismo de amostragem que trata as proporções de desagregação como distribuições conjuntas (via cópulas) em vez de razões determinísticas, preservando a dependência entre séries e garantindo a coerência em todos os níveis.
3. Tratamento de Intermitência: Ao prever apenas séries superiores suaves e induzir a intermitência naturalmente durante a etapa de amostragem top-down, o método evita as dificuldades de modelar diretamente séries inferiores esparsas e com excesso de zeros.
4. Validação Empírica: O método é avaliado nos dois maiores conjuntos de dados de varejo disponíveis publicamente (M5 e Favorita), demonstrando desempenho superior em relação às bases de comparação escaláveis existentes.

4. Resultados Experimentais

Os autores avaliaram o e2eTD contra cinco métodos concorrentes (Distribuição Empírica, Empírico Sazonal, Reconciliação WLS, Long et al. (2025) e HINT) nos datasets M5 e Favorita.

• Acurácia (WSPL): O e2eTD obteve o menor Perda de Pinball Escalonada Ponderada (WSPL) em todos os níveis de agregação em ambos os datasets.
  • No M5, o e2eTD teria classificado em 11º lugar entre 892 equipes na competição de Incerteza do M5.
  • No Favorita, superou significativamente todos os competidores, incluindo abordagens baseadas em redes neurais.
  • O método manteve alta acurácia mesmo no nível inferior (SKU-loja), onde teria ficado em 7º lugar entre as 50 melhores equipes do M5.
• Eficiência Computacional:
  • M5 (~30k séries): ~4,5 minutos.
  • Favorita (~160k séries): ~17 minutos.
  • Em contraste, métodos neurais (HINT) exigiram GPUs, e métodos de reconciliação (WLS) escalaram mal, levando significativamente mais tempo em datasets maiores.
• Estudo de Ablação:
  • Reconciliação: Remover a etapa de reconciliação de nível superior degradou o desempenho significativamente (+8,8% WSPL no M5), confirmando o valor de combinar informações entre níveis.
  • Cópula: Usar uma cópula independente (ignorando a dependência entre séries) teve um efeito negligenciável no M5, mas aumentou o erro no Favorita, sugerindo que as estruturas de dependência variam conforme o dataset.
  • Regressores Exógenos: Incluir covariáveis (feriados, promoções) melhorou significativamente o desempenho no M5, mas teve um efeito mínimo no Favorita.

5. Significância e Alegações

O artigo posiciona o e2eTD como uma solução prática para a "preocupação operacional de primeira ordem" do custo de previsão no varejo.

• Impacto Operacional: Os autores observam que grandes varejistas podem precisar atualizar bilhões de previsões diariamente. Mudar de métodos pesados para o e2eTD poderia economizar dezenções de milhões de dólares anualmente e reduzir a pegada ambiental (CO2e) dos pipelines de previsão.
• Suporte à Decisão: Ao fornecer previsões probabilísticas coerentes, o método permite decisões conscientes de risco (ex: otimização de estoque de segurança) que são consistentes entre os níveis estratégico, tático e operacional.
• Modéstia: Os autores reconhecem limitações, como a suposição de estacionariedade aproximada nas proporções do nível inferior e a seleção manual da subhierarquia superior. Eles sugerem que trabalhos futuros poderiam envolver critérios fundamentados para a seleção da subhierarquia e modelagem mais sofisticada de proporções variantes no tempo.

Em resumo, o e2eTD preenche a lacuna entre a necessidade de previsões probabilísticas coerentes e as restrições computacionais das operações de varejo em larga escala, oferecendo uma alternativa rápida, precisa e eficiente em termos de hardware para as abordagens neurais e de reconciliação existentes.