Learning to replenish: A hybrid deep reinforcement learning for dynamic inventory management in the pharmaceutical supply chains

Resumen Técnico: Aprendizaje para la Reposición en Cadenas de Suministro Farmacéuticas

Planteamiento del Problema
Las cadenas de suministro farmacéuticas (PSC, por sus siglas en inglés) enfrentan desafíos significativos en la gestión de inventarios (IM) debido a patrones de demanda impredecibles, tiempos de entrega variables y la vida útil finita de los medicamentos. Los modelos deterministas tradicionales y los algoritmos de aprendizaje por refuerzo (RL) clásicos a menudo no logran adaptarse a estas condiciones dinámicas, particularmente cuando se trata de espacios de estado-acción de gran tamaño y variables de decisión continuas. El problema central abordado es la optimización de las políticas de reposición de inventario para maximizar la rentabilidad y los niveles de servicio al paciente (PSL) mientras se minimizan los costos asociados con pedidos, mantenimiento, desabastecimiento y eliminación de productos caducados. El estudio se dirige específicamente a una red de PSC de múltiples niveles que comprende fabricantes, centros de distribución y minoristas, donde la demanda es estocástica y los tiempos de reposición varían.

Metodología
Los autores formulan el problema de IM como un Proceso de Decisión de Markov (MDP) dentro de una red de múltiples niveles. El sistema involucra a un agente global (centro de distribución) y múltiples agentes locales (minoristas) que toman decisiones secuenciales con respecto a las cantidades de pedido y las reposiciones de emergencia.

• Espacio de Estados: Definido por los niveles de inventario en mano (categorizados por etapas de vida útil), pedidos abiertos, pedidos de emergencia, demanda estocástica y tiempos de entrega.
• Espacio de Acciones: Modelado como un espacio de acción continuo, lo que permite un control preciso sobre las cantidades de pedido en lugar de estar restringido a niveles discretos.
• Función de Recompensa: Diseñada para maximizar la utilidad neta equilibrando los ingresos por ventas frente a los costos de pedido, costos de mantenimiento, penalizaciones por reposición de emergencia y costos de eliminación, sujeto a las restricciones de PSL.

Para resolver este complejo MDP, el artículo propone un algoritmo de Optimización de Política Próxima Distribuida de Actor-Crítico Asíncrono Híbrido (A3C-DPPO).

• Arquitectura: El marco utiliza un aprendizaje paralelo asíncrono donde múltiples agentes locales (minoristas) interactúan con sus entornos para recolectar experiencia. Estos agentes computan gradientes locales para las redes de política (actor) y de valor (crítico).
• Mecanismo Híbrido: A diferencia del A3C estándar que actualiza los parámetros globales de forma asíncrona, este enfoque agrega gradientes en un servidor central (centro de distribución) y aplica actualizaciones de PPO (Optimización de Política Próxima). El componente PPO utiliza una función de objetivo recortada para asegurar actualizaciones de política estables, evitando desviaciones drásticas que podrían desestabilizar la cadena de suministro.
• Agregación de Gradientes: Las redes de actor y crítico globales agregan gradientes de todos los agentes locales utilizando ponderación de importancia y medias móviles exponenciales para sincronizar el aprendizaje manteniendo la estabilidad.

Contribuciones Clave

1. Formulación de Espacio de Acción Continuo: El estudio va más allá de los espacios de acción discretos o cuantizados comunes en la literatura previa, proponiendo un espacio de acción continuo que ofrece mayor flexibilidad y precisión en las decisiones de reposición bajo demanda estocástica.
2. Algoritmo Híbrido A3C-DPPO: El desarrollo de un nuevo algoritmo híbrido que combina la eficiencia de exploración de A3C asíncrono con la estabilidad de entrenamiento de PPO. Esto aborda la "maldición de la dimensionalidad" y la sensibilidad de las PSC a los cambios de política.
3. Coordinación de Múltiples Niveles: El marco modela explícitamente la coordinación entre los centros de distribución y los minoristas, optimizando las decisiones en toda la red en lugar de hacerlo de forma aislada.
4. Validación con el Mundo Real: El algoritmo se valida utilizando datos de inventario farmacéutico del mundo real de un sistema hospitalario que atiende a dos farmacias, cubriendo escenarios de demanda estacional, no estacional y de origen pandémico.

Resultos
Los experimentos numéricos y la validación con el mundo real demuestran la superioridad del algoritmo propuesto A3C-DPPO sobre las políticas de referencia, incluyendo las políticas clásicas $(s, S)$, Deep Q-Network (DQN) y PPO estándar.

• Convergencia y Recompensas: El algoritmo híbrido converge más rápido (aproximadamente 3,000 episodios) en comparación con PPO y DQN (más de 4,500 episodios). Bajo distribuciones de demanda Gamma y Poisson, logró recompensas promedio un 28% y 35% más altas que PPO y DQN, respectivamente.
• Reducción de Costos: En la validación con el mundo real, el algoritmo propuesto redujo significativamente los costos promedio de inventario en comparación con las bases de referencia. Por ejemplo, redujo los costos en un 61.5% para Tamiflu y un 95.1% para Metformina en comparación con DQN, y en un 37.3% y 82.8% comparado con PPO, respectivamente.
• Robustez: El análisis de sensibilidad mostró que el algoritmo mantiene un rendimiento robusto bajo variaciones de la varianza de la demanda y restricciones estrictas de PSL (hasta 0.99), mientras que los métodos tradicionales luchan con la alta variabilidad y la inestabilidad de convergencia.
• Impacto de las Restricciones: El estudio observó que, si bien los objetivos de PSL más altos aumentan los costos de mantenimiento, el algoritmo equilibra eficazmente estos costos con las penalizaciones por desabastecimiento, optimizando el intercambio mejor que los referentes.

Significancia y Afirmaciones
El artículo afirma que el marco de DRL híbrido propuesto representa un avance significativo en la gestión dinámica de inventarios para las cadenas de suministro farmacéuticas. Al integrar el aprendizaje asíncrono con la optimización de política estable, el método maneja con éxito la naturaleza estocástica y de alta dimensión de las PSC. Los autores aseguran que su enfoque proporciona una herramienta de toma de decisiones práctica y en tiempo real que garantiza altos niveles de servicio al paciente mientras minimiza el desperdicio y los costos operativos. El estudio concluye que esta arquitectura híbrida permite una adaptación fluida a diversas distribuciones de demanda, ofreciendo una solución robusta para el entorno complejo y dinámico de la logística farmacéutica moderna. Se sugiere como trabajo futuro explorar redes totalmente conectadas y productos sensibles a la temperatura, pero el estudio actual se centra en validar la eficacia del enfoque A3C-DPPO en un entorno estándar de múltiples niveles.