Designing a double deep reinforcement learning selection tool for resilient demand prediction

Resumo Técnico: Projeto de uma Ferramenta de Seleção de Aprendizado por Reforço Duplo Profundo para Previsão de Demanda Resiliente

Declaração do Problema
O artigo aborda o desafio crítico da previsão de demanda na gestão da cadeia de suprimentos, particularmente em ambientes voláteis caracterizados por eventos como a pandemia e conflitos regionais. Embora existam numerosas arquiteturas de previsão baseadas em inteligência artificial (IA), nenhum método único desempenha consistentemente de forma ótima em todos os conjuntos de dados devido a características variáveis dos dados, como sazonalidade, ruído, volatilidade e intermitência. Abordagens tradicionais frequentemente dependem da seleção manual por especialistas ou da otimização estática de hiperparâmetros, o que consome tempo, é propenso a erros e falha em adaptar-se a mudanças em tempo real na dinâmica dos dados. Além disso, métodos de ensemble existentes podem não revisar frequentemente a seleção da solução apropriada, levando ao acúmulo de erros ao longo do tempo. O problema central é a falta de um mecanismo ágil e automatizado para selecionar dinamicamente o modelo de previsão mais adequado de um comitê de candidatos com base no estado específico dos dados em qualquer momento dado.

Metodologia
Os autores propõem uma arquitetura inovadora, CRFFNN-ARIRBES, que funciona como um agente de aprendizado por reforço duplo profundo (DDRL) para automatizar a seleção de modelos.

1. Agente de Aprendizado por Reforço Duplo Profundo (DDRL):

   • O sistema utiliza um framework de Q-learning dentro de um Processo de Decisão de Markov (MDP) para selecionar um modelo de previsão de um "comitê" de seis candidatos baseados em redes neurais (FFNN, LSTM, GRU, BiLSTM, CNN e um híbrido CNN-LSTM).
   • Para mitigar a superestimação de valores-Q comum em Deep Q-Networks (DQN) padrão, os autores empregam uma arquitetura de Double Deep Q-Network (DDQN). Isso envolve duas redes separadas: uma Rede Q Online (atualizada frequentemente) e uma Rede Q Alvo (atualizada periodicamente) para fornecer uma referência estável para a seleção de ações.
   • Representação do Estado: O estado ($s$) do agente é construído concatenando a demanda histórica dos 35 dias anteriores ($d_{t-35} \dots d_{t-1}$) com as previsões de saída de todos os seis membros do comitê ($f_{t1} \dots f_{t6}$).
   • Ação: A ação consiste em selecionar um modelo de previsão específico do comitê para gerar a previsão final para o passo de tempo atual.
   • Recompensa: O agente recebe uma recompensa baseada no inverso do Erro Quadrático Médio (MSE) entre os valores reais e previstos, especificamente formulada como $1 / e^{MSE}$, para penalizar erros grandes mais severamente.

2. Arquitetura CRFFNN:

   • Em vez de uma rede feedforward simples, a Rede Q utiliza uma Rede Neural Feed-Forward Recorrente com Convolução (CRFFNN).
   • Camadas Convolucionais: Extraem características espaciais dos dados de entrada.
   • Camadas Recorrentes: Capturam padrões temporais e relações dependentes do tempo dentro dos dados sequenciais.
   • Camadas Feed-Forward: Consolidam as características extraídas para mapeá-las para a saída esperada (valores-Q para cada ação).
   • Esta arquitetura híbrida permite que o agente compreenda melhor as características espaciais e temporais complexas do estado do ambiente.

3. Parada Antecipada Baseada na Taxa de Melhoria da Recompensa Média (ARIRBES):

   • Para abordar a intensidade computacional e os longos tempos de treinamento associados ao aprendizado por reforço, um mecanismo inovador de parada antecipada é introduzido.
   • Este método suaviza o sinal de recompensa usando uma média móvel. O treinamento é interrompido se a recompensa média atual não exceder a melhor recompensa média histórica por uma taxa específica de Melhoria (IR) dentro de uma janela definida de "paciência". Isso previne o sobreajuste e reduz significativamente a duração do treinamento.

Contribuições Principais

1. DDRL para Seleção Dinâmica de Modelos: A introdução de uma arquitetura de aprendizado por reforço duplo profundo que seleciona dinamicamente modelos de previsão em tempo real, utilizando uma CRFFNN para processar tanto a demanda histórica quanto as previsões do comitê para tomada de decisão informada.
2. ARIRBES: A proposta de uma técnica inovadora de parada antecipada baseada na taxa de melhoria das recompensas médias, projetada para acelerar o tempo de treinamento sem sacrificar o desempenho.
3. Validação Empírica: Uma avaliação rigorosa da abordagem proposta contra um comitê de previsão e quatro estratégias automáticas de seleção de modelos (Média de Ensemble, Mediana, Stacking e FFNN-DDQL) usando dois conjuntos de dados distintos.

Resultados Experimentais
O estudo foi avaliado em dois conjuntos de dados: um conjunto de dados público de vendas de supermercados da Corporación Favorita e um conjunto de dados privado de demanda de lanches de clientes (ambos com um horizonte de previsão de 28 dias).

• Métricas de Desempenho: Os modelos foram avaliados usando o Erro Porcentual Absoluto Simétrico (SMAPE) e o Erro Absoluto Médio Escalonado (MASE).
• Precisão: O método proposto CRFFNN-ARIRBES alcançou o menor SMAPE Médio e MASE Médio em ambos os conjuntos de dados em comparação com modelos individuais (FFNN, LSTM, GRU, etc.) e outras estratégias de seleção (Stacking, FFNN-DDQL).
  • Conjunto de Dados Favorita: Alcançou um SMAPE Médio de 37,03 e um MASE Médio de 1,79.
  • Conjunto de Dados de Lanches: Alcançou um SMAPE Médio de 48,52 e um MASE Médio de 1,49.
• Estabilidade: O método proposto demonstrou estabilidade superior, evidenciada pelo menor desvio padrão nas métricas de erro e distribuições de erro estreitas em gráficos de violino através de 10 inicializações diferentes de pesos aleatórios.
• Eficiência: O mecanismo de parada antecipada ARIRBES reduziu drasticamente o tempo de treinamento. Para o conjunto de dados Favorita, o tempo de treinamento caiu de ~19.841 segundos (sem parada antecipada) para ~5.120 segundos. Para o conjunto de dados de lanches, reduziu de ~10.190 segundos para ~2.635 segundos, mantendo ou melhorando ligeiramente a precisão da previsão.

Significado e Alegações
O artigo afirma que a solução proposta oferece uma abordagem robusta e eficaz para o problema de "nenhum modelo único serve para todos" na previsão de demanda. Ao aproveitar a adaptabilidade do aprendizado por reforço e as capacidades de extração de características do aprendizado profundo (CNN/RNN), o sistema pode adaptar-se continuamente às mudanças na dinâmica dos dados. Os autores afirmam que seu método supera os métodos estáticos de seleção e ensemble de última geração em termos de precisão e estabilidade.

O estudo conclui que, embora a abordagem seja computacionalmente intensiva devido à necessidade de executar todo o comitê durante o treinamento e a inferência, a introdução da estratégia ARIRBES torna o processo de treinamento significativamente mais viável. Os autores observam modestamente que trabalhos futuros poderiam envolver a incorporação de variáveis macroeconômicas, a segmentação de conjuntos de dados em subgrupos mais homogêneos e a otimização adicional do custo computacional para aplicações industriais em grande escala.