🤖 AI

Learning to replenish: A hybrid deep reinforcement learning for dynamic inventory management in the pharmaceutical supply chains

Este artigo propõe um algoritmo de aprendizado por reforço profundo híbrido, especificamente um modelo A3C DPPO, para otimizar a reposição dinâmica de inventário em cadeias de suprimentos farmacêuticas ao equilibrar a disponibilidade de produtos e a redução de desperdícios sob demanda e tempos de entrega incertos, demonstrando, por fim, maior lucratividade e custos mais baixos em comparação com os benchmarks existentes.

Autores originais: Amandeep Kaur, Gyan Prakash

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amandeep Kaur, Gyan Prakash

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um jogo de dança das cadeiras massivo e de alto risco, mas em vez de pessoas e cadeiras, você tem medicamentos e pacientes. A música é a demanda imprevisível de pessoas doentes, e as cadeiras são as prateleiras de farmácias e hospitais. Se a música parar rápido demais (um aumento súbito na demanda), alguém fica sem cadeira (um paciente não consegue obter seu remédio). Se a música tocar por muito tempo sem parar, as cadeiras ficam vazias e o medicamento parado nelas pode vencer e ter que ser jogado fora.

Este artigo trata de ensinar um computador a ser o diretor de música perfeito para este jogo, garantindo que todos consigam uma cadeira sem desperdiçar nenhum assento.

Aqui está a divisão do artigo em termos simples:

O Problema: Uma Dança Caótica

As cadeias de suprimentos farmacêuticos são incrivelmente bagunçadas.

Os Jogadores: Existem fabricantes (que produzem os medicamentos), centros de distribuição (os grandes armazéns) e varejistas (farmácias e hospitais).
O Caos: As pessoas ficam doentes de forma imprevisível. Às vezes, uma gripe atinge com força (alta demanda), às vezes, o movimento é calmo. Além disso, os medicamentos têm datas de validade (como o leite na sua geladeira). Se você pedir demais, ele estraga. Se você pedir de menos, as pessoas sofrem.
O Jeito Antigo: Os métodos tradicionais são como usar um mapa estático em uma cidade onde o tráfego muda a cada segundo. Eles tentam prever o futuro com base em regras fixas, mas costumam falhar quando as coisas ficam estranhas ou urgentes.

A Solução: Um "Treinador Inteligente" (Aprendizado por Reforço Profundo)

Os autores construíram um novo tipo de cérebro de computador chamado Aprendizado por Reforço Profundo (Deep Reinforcement Learning - DRL). Pense nisso como uma IA de videogame que aprende jogando o jogo milhares de vezes.

Tentativa e Erro: A IA testa diferentes estratégias de pedido. Se ela pedir demais e o medicamento vencer, ela recebe uma "pontuação ruim" (penalidade). Se o estoque acabar e um paciente não conseguir o remédio, ela recebe uma "pontuação ruim". Se ela mantiver a quantidade exata, recebe uma "pontuação boa" (recompensa).
Aprendizado Contínuo: Ao contrário dos computadores antigos que só podem escolher entre uma lista fixa de opções (como "Pedir 10" ou "Pedir 20"), esta IA pode escolher qualquer número. É como um chef que pode adicionar exatamente 1,5 gramas de sal, em vez de apenas "uma pitada" ou "uma xícara".

A Fórmula Secreta: O Algoritmo "Híbrido A3C-DPPO"

O artigo apresenta uma receita específica para esta IA chamada A3C-DPPO. Vamos decompor o nome com uma analogia:

A Equipe (A3C - Asynchronous Advantage Actor-Critic): Imagine um time de futebol. Em vez de um único treinador gritando instruções para todo o campo ao mesmo tempo, você tem vários assistentes técnicos correndo por diferentes partes do campo simultaneamente. Eles praticam jogadas diferentes ao mesmo tempo. Isso faz com que o time aprenda muito mais rápido porque está explorando muitas possibilidades ao mesmo tempo.
A Rede de Segurança (DPPO - Distributed Proximal Policy Optimization): Às vezes, quando aprendemos algo novo, podemos exagerar no movimento e cometer um erro. O PPO atua como um cinto de segurança. Ele permite que a IA aprenda e mude sua estratégia, mas a puxa gentilmente de volta se a mudança for drástica demais. Isso mantém o aprendizado estável e evita que a IA fique "fora de controle".
O Híbrido: Ao combinar a velocidade dos "múltiplos treinadores" (A3C) com a segurança do "cinto de segurança" (PPO), o sistema aprende rapidamente, mas permanece confiável.

Como Eles Testaram

Os pesquisadores não apenas adivinharam; eles submeteram esta IA a testes rigorosos:

Caos Simulado: Eles criaram simulações de computador com diferentes tipos de "clima" para a demanda:
- Clima Normal: Demanda previsível (como um dia ensolarado).
- Clima de Tempestade: Demanda enviesada e imprevisível (como uma tempestade repentina).
- Clima Sazonal: A demanda que sobe e desce em ciclos (como a temporada de gripe).
Dados do Mundo Real: Eles testaram a IA usando dados reais de um hospital que abastece duas farmácias. Eles analisaram medicamentos reais como Tamiflu (para gripe), Metformina (para diabetes) e Spikevax (uma vacina).

Os Resultados: A IA Vence

Os resultados foram claros:

Melhores Pontuações: A IA obteve "recompensas" (lucro) significativamente maiores do que os métodos antigos.
Menos Desperdício: Reduziu o custo de jogar fora medicamentos vencidos em margens enormes (até 95% em alguns casos comparado a outros métodos de IA).
Menos Falta de Estoque: Manteve as prateleiras abastecidas o suficiente para atender às necessidades dos pacientes quase 100% do tempo, mesmo quando a demanda estava louca.
Adaptabilidade: Quando os padrões de demanda mudaram de repente, a IA ajustou sua estratégia muito mais rápido do que os antigos sistemas baseados em regras.

O Ponto Principal

Este artigo mostra que, ao usar um cérebro de computador híbrido e inteligente que aprende fazendo, as empresas farmacêuticas podem impedir que o jogo da "dança das cadeiras" seja tão caótico. Elas podem garantir que os pacientes recebam seus medicamentos vitais no prazo, enquanto desperdiçam muito menos dinheiro com drogas vencidas. É uma transição do adivinhar para a tomada de decisão inteligente e adaptável.

Resumo Técnico: Aprendendo a Repor em Cadeias de Suprimentos Farmacêuticas

Definição do Problema
As cadeias de suprimentos farmacêuticas (PSCs) enfrentam desafios significativos na gestão de inventário (IM) devido a padrões de demanda imprevisíveis, tempos de espera variáveis e a vida útil finita dos medicamentos. Modelos determinísticos tradicionais e algoritmos clássicos de aprendizado por reforço (RL) frequentemente falham em se adaptar a essas condições dinâmicas, particularmente ao lidar com grandes espaços de estados-ações e variáveis de decisão contínuas. O problema central abordado é a otimização das políticas de reposição de estoque para maximizar a lucratividade e os níveis de serviço ao paciente (PSL), minimizando simultaneamente os custos associados a pedidos, manutenção de estoque, rupturas de estoque e descarte de produtos vencidos. O estudo foca especificamente em uma rede de PSC de múltiplos escalões composta por fabricantes, centros de distribuição e varejistas, onde a demanda é estocástica e os tempos de espera para reposição variam.

Metodologia
Os autores formulam o problema de IM como um Processo de Decisão de Markov (MDP) dentro de uma rede de múltiplos escalões. O sistema envolve um agente global (centro de distribuição) e múltiplos agentes locais (varejistas) que tomam decisões sequenciais relativas às quantidades de pedidos e reposições de emergência.

Espaço de Estados: Definido pelos níveis de estoque em mãos (categorizados por estágios de vida útil), pedidos abertos, pedidos de emergência, demanda estocástica e tempos de espera.
Espaço de Ações: Modelado como um espaço de ação contínuo, permitindo controle preciso sobre as quantidades de pedido, em vez de ser restrito a níveis discretos.
Função de Recompensa: Projetada para maximizar o lucro líquido, equilibrando a receita de vendas contra custos de pedido, custos de manutenção, penalidades de reposição de emergência e custos de descarte, sujeita a restrições de PSL.

Para resolver este complexo MDP, o artigo propõe um algoritmo A3C-DPPO (Asynchronous Advantage Actor–Critic Distributed Proximal Policy Optimization).

Arquitetura: O framework utiliza aprendizado paralelo assíncrono onde múltiplos agentes locais (varejistas) interagem com seus ambientes para coletar experiência. Esses agentes computam gradientes locais para as redes de política (ator) e de valor (crítico).
Mecanismo Híbrido: Diferente do A3C padrão, que atualiza parâmetros globais de forma assíncrona, esta abordagem agrega gradientes em um servidor central (centro de distribuição) e aplica atualizações de PPO (Proximal Policy Optimization). O componente PPO utiliza uma função de objetivo truncada (clipped) para garantir atualizações de política estáveis, evitando desvios drásticos que poderiam desestabilizar a cadeia de suprimentos.
Agregação de Gradiente: As redes de ator e crítico globais agregam gradientes de todos os agentes locais usando ponderação por importância e médias móveis exponenciais para sincronizar o aprendizado enquanto mantêm a estabilidade.

Principais Contribuições

Formulação de Espaço de Ação Contínuo: O estudo vai além dos espaços de ação discretos ou quantizados comuns na literatura anterior, propondo um espaço de ação contínuo que oferece maior flexibilidade e precisão nas decisões de reposição sob demanda estocástica.
Algoritmo Híbrido A3C-DPPO: O desenvolvimento de um novo algoritmo híbrido que combina a eficiência de exploração do A3C assíncrono com a estabilidade de treinamento do PPO. Isso aborda a "maldição da dimensionalidade" e a sensibilidade das PSCs a mudanças de política.
Coordenação de Múltiplos Escalões: O framework modela explicitamente a coordenação entre centros de distribuição e varejistas, otimizando decisões em toda a rede em vez de isoladamente.
Validação no Mundo Real: O algoritmo é validado utilizando dados reais de inventário farmacêutico de um sistema hospitalar que atende duas farmácias, cobrindo cenários de demanda sazonal, não sazonal e impulsionada por pandemias.

Resultados
Experimentos numéricos e validação no mundo real demonstram a superioridade do algoritmo proposto A3C-DPPO sobre políticas de base, incluindo $(s, S)$ clássico, Deep Q-Network (DQN) e PPO padrão.

Convergência e Recompensas: O algoritmo híbrido converge mais rápido (aproximadamente 3.000 episódios) em comparação ao PPO e DQN (mais de 4.500 episódios). Sob distribuições de demanda Gamma e Poisson, alcançou recompensas médias 28% e 35% superiores ao PPO e DQN, respectivamente.
Redução de Custos: Na validação no mundo real, o algoritmo proposto reduziu significativamente os custos médios de inventário em comparação com as bases. Por exemplo, reduziu os custos em 61,5% para o Tamiflu e 95,1% para a Metformina em relação ao DQN, e em 37,3% e 82,8% em relação ao PPO, respectivamente.
Robustez: A análise de sensibilidade mostrou que o algoritmo mantém um desempenho robusto sob variâncias de demanda variáveis e restrições rigorosas de PSL (até 0,99), enquanto métodos tradicionais lutam com alta variabilidade e instabilidade de convergência.
Impacto das Restrições: O estudo observou que, embora alvos de PSL mais altos aumentem os custos de manutenção, o algoritmo equilibra efetivamente esses custos contra as penalidades de falta de estoque, otimizando o trade-off melhor do que os benchmarks.

Significância e Alegações
O artigo afirma que o framework de DRL híbrido proposto representa um avanço significativo na gestão dinâmica de inventário para cadeias de suprimentos farmacêuticas. Ao integrar o aprendizado assíncrono com a otimização de política estável, o método lida com sucesso com a natureza estocástica e de alta dimensão das PSCs. Os autores afirmam que sua abordagem fornece uma ferramenta de tomada de decisão prática e em tempo real que garante altos níveis de serviço ao paciente enquanto minimiza o desperdício e os custos operacionais. O estudo conclui que esta arquitetura híbrida permite uma adaptação fluida a diversas distribuições de demanda, oferecendo uma solução robusta para o ambiente complexo e dinâmico da logística farmacêutica moderna. Trabalhos futuros são sugeridos para explorar redes totalmente conectadas e produtos sensíveis à temperatura, mas o presente estudo foca na validação da eficácia da abordagem A3C-DPPO em um cenário padrão de múltiplos escalões.