🤖 AI

Learning to replenish: A hybrid deep reinforcement learning for dynamic inventory management in the pharmaceutical supply chains

本文提出了一种混合深度强化学习算法，具体为一种 A3C DPPO 模型，旨在通过在不确定需求和提前期下平衡产品可用性与减少浪费，来优化医药供应链中的动态库存补货，并最终证明其与现有基准相比具有更高的盈利能力和更低的成本。

原作者： Amandeep Kaur, Gyan Prakash

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Amandeep Kaur, Gyan Prakash

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一场规模宏大、赌注极高的音乐椅游戏，只不过参与者不是人，而是药品和患者。音乐是患者不断变化的、难以预测的需求，而椅子则是药房和医院的货架。如果音乐停止得太快（需求突然激增），就会有人“落单”（患者买不到药）。如果音乐一直放下去而不停止（过度囤货），椅子上就会空置，上面的药品可能会过期并不得不被丢弃。

这篇论文讲述的是如何教一台计算机成为这场游戏的完美音乐指挥家，确保每个人都能坐到椅子上，同时又不浪费任何座位。

以下是对这篇论文的通俗化解读：

问题所在：混乱的舞蹈

医药供应链极其复杂且混乱。

参与者： 有制造商（生产药物）、配送中心（大型仓库）和零售商（药房和医院）。
混乱点： 人们生病是不可预测的。有时流感爆发（需求高涨），有时则很平静。此外，药品有有效期（就像冰箱里的牛奶）。如果你订购过多，药会变质；如果你订购过少，患者就会受苦。
旧方法： 传统方法就像是在交通状况每秒都在变化的城市里使用一张静态地图。它们试图根据固定规则来预测未来，但在遇到异常或紧急情况时往往会失效。

解决方案：一位“智能教练”（深度强化学习）

作者构建了一种新型的计算机大脑，称为深度强化学习（DRL）。你可以把它想象成一个通过玩成千上万次游戏来学习的电子游戏 AI。

试错法： AI 会尝试不同的订购策略。如果它订购过多导致药品过期，它会得到“低分”（惩罚）；如果它缺货导致患者买不到药，它也会得到“低分”；如果它保持适量的库存，它就会得到“高分”（奖励）。
持续学习： 与只能从固定选项中进行选择（例如“订购 10 个”或“订购 20 个”）的旧式计算机不同，这个 AI 可以选择任何数值。它就像一位厨师，可以精准地加入 1.5 克盐，而不是只能加“一撮”或“一杯”。

核心秘诀：“混合 A3C-DPPO”算法

论文引入了一种特定的 AI “配方”，叫做 A3C-DPPO。让我们用类比来拆解这个名字：

团队协作（A3C - 异步优势行动者-评论家算法）： 想象一支足球队。与其让一个教练同时向全场喊话，不如拥有多位助理教练，他们在不同的区域同时进行练习。他们同时练习不同的战术，这使得团队学习速度更快，因为他们能同时探索多种可能性。
安全网（DPPO - 分布式近端策略优化）： 有时候，当你学习新事物时，可能会用力过猛而犯错。PPO 就像是一个安全护栏。它允许 AI 学习并改变策略，但如果变化过于剧烈，它会温柔地将其拉回。这保证了学习过程的稳定性，防止 AI “发疯”。
混合体： 通过将“多位教练”带来的速度（A3C）与“护栏”带来的安全性（PPO）相结合，该系统既能快速学习，又能保持可靠。

他们是如何测试的

研究人员并非凭空猜测，而是通过严格的测试对 AI 进行了检验：

模拟混乱： 他们创建了具有不同“天气”类型的需求模拟：
- 晴天（正常天气）： 需求可预测（像晴朗的一天）。
- 暴风雨（风暴天气）： 需求偏斜且不可预测（像突如其来的风暴）。
- 季节性天气： 需求随周期上下波动（像流感季节）。
真实世界数据： 他们使用来自一家供应两家药房的医院的真实数据对 AI 进行了测试。他们观察了真实的药品，如达菲（治疗流感）、二甲双胍（治疗糖尿病）和 Spikevax（疫苗）。

结果：AI 获胜

结果非常明确：

更高的得分： 与旧方法相比，该 AI 获得了显著更高的“奖励”（利润）。
更少的浪费： 它大幅降低了因药品过期导致的损失（在某些情况下，与其它 AI 方法相比，减少了高达 95% 的过期药品处理成本）。
更少的缺货： 即使在需求疯狂波动的情况下，它也能几乎 100% 地保证货架上有足够的药品满足患者需求。
适应性： 当需求模式突然发生变化时，它比旧有的基于规则的系统调整策略的速度要快得多。

总结

这篇论文表明，通过使用这种通过实践学习的智能混合型计算机大脑，医药公司可以结束“音乐椅游戏”中的混乱局面。他们可以确保患者能按时获得救命药物，同时大幅减少因药品过期造成的资金浪费。这标志着从“靠猜”向**“智能、自适应决策”**的跨越。

技术摘要：学习医药供应链中的补货策略

问题陈述
医药供应链（PSC）在库存管理（IM）方面面临着巨大挑战，其原因在于不可预测的需求模式、多变的提前期以及药物有限的保质期。传统的确定性模型和经典的强化学习（RL）算法往往无法适应这些动态条件，特别是在处理大规模状态-动作空间和连续决策变量时。本研究旨在解决的核心问题是优化库存补货策略，以实现利润最大化和患者服务水平（PSL）最大化，同时最小化与订购、持有、缺货及处置过期商品相关的成本。本研究专门针对一个包含制造商、配送中心和零售商的多级医药供应链网络，其中需求具有随机性，且补货提前期存在波动。

方法论
作者将库存管理问题建模为多级网络中的马尔可夫决策过程（MDP）。该系统涉及一个全局代理（配送中心）和多个局部代理（零售商），它们就订购数量和紧急补货进行序列决策。

状态空间： 由现有库存水平（按保质期阶段分类）、未完成订单、紧急订单、随机需求和提前期定义。
动作空间： 被建模为连续动作空间，允许对订购数量进行精确控制，而非受限于离散水平。
奖励函数： 设计为通过平衡销售收入与订购成本、持有成本、紧急补货惩罚及处置成本，在满足 PSL 约束的情况下实现净利润最大化。

为了解决这一复杂的 MDP 问题，本文提出了一种**混合异步优势演员-评论家分布式近端策略优化（A3C-DPPO）**算法。

架构： 该框架利用异步并行学习，其中多个局部代理（零售商）与环境交互以收集经验。这些代理计算用于政策（演员）和价值（评论家）网络的局部梯度。
混合机制： 与异步更新全局参数的标准 A3C 不同，该方法在中央服务器（配送中心）聚合梯度并应用 PPO（近端策略优化） 更新。PPO 组件使用裁剪目标函数来确保策略更新的稳定性，防止可能导致供应链不稳定的剧烈偏差。
梯度聚合： 全局演员和评论家网络使用重要性权重和指数移动平均来聚合来自所有局部代理的梯度，从而在保持稳定性的同时实现同步学习。

核心贡献

连续动作空间构建： 本研究超越了以往文献中常见的离散或量化动作空间，提出了一个连续动作空间，这在随机需求下提供了更高的灵活性和决策精度。
混合 A3C-DPPO 算法： 开发了一种新型混合算法，结合了异步 A3C 的探索效率与 PPO 的训练稳定性。这解决了“维度灾难”以及医药供应链对策略变化的敏感性问题。
多级协调： 该框架明确模拟了配送中心与零售商之间的协调，优化了整个网络的决策，而非孤立地进行优化。
现实世界验证： 该算法使用来自服务于两家药房的医院系统的真实医药库存数据进行了验证，涵盖了季节性、非季节性和疫情驱动的需求场景。

结果
数值实验和现实世界验证表明，所提出的 A3C-DPPO 算法优于基准策略，包括经典的 $(s, S)$ 策略、深度 Q 网络（DQN）和标准 PPO。

收敛性与奖励： 与 PPO 和 DQN（超过 4,500 个回合）相比，该混合算法收敛更快（约 3,000 个回合）。在 Gamma 分布和 Poisson 分布需求下，其获得的平均奖励分别比 PPO 和 DQN 高出 28% 和 35%。
成本降低： 在现实世界验证中，所提算法显著降低了平均库存成本。例如，与 DQN 相比，它使达菲（Tamiflu）的成本降低了 61.5%，使二甲双胍（Metformin）的成本降低了 95.1%；与 PPO 相比，则分别降低了 37.3% 和 82.8%。
鲁棒性： 敏感性分析显示，在变化的 수요 方差和严格的 PSL 约束（高达 0.99）下，该算法仍能保持稳健的表现，而传统方法在面对高变异性和收敛不稳定性时表现挣扎。
约束的影响： 研究观察到，虽然较高的 PSL 目标会增加持有成本，但算法能有效地平衡这些成本与缺货惩罚，比基准方法更好地优化了这种权衡。

意义与主张
论文声称，所提出的混合深度强化学习（DRL）框架代表了医药供应链动态库存管理的重大进步。通过将异步学习与稳定的策略优化相结合，该方法成功处理了医药供应链高维、随机的特性。作者断言，他们的方法提供了一个实用的实时决策工具，在确保高患者服务水平的同时，最大限度地减少浪费和运营成本。研究结论认为，这种混合架构能够实现对多样化需求分布的无缝适应，为现代医药物流的复杂动态环境提供了稳健的解决方案。未来的工作建议探索全连接网络和温度敏感型产品，但当前研究重点在于验证 A3C-DPPO 方法在标准多级设置下的有效性。