🤖 machine learning

Designing a double deep reinforcement learning selection tool for resilient demand prediction

本文提出了一种新颖的双深度强化学习架构，该架构能够从集成模型中自动选择最优预测模型以进行弹性需求预测，其特点在于引入了一种新的早停机制以加速训练，并在杂货和零食销售数据集上展现出优于现有最先进方法的卓越鲁棒性。

原作者： Bilel Abderrahmane Benziane, Benoit Lardeux, Ayoub Mcharek, Maher Jridi

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Bilel Abderrahmane Benziane, Benoit Lardeux, Ayoub Mcharek, Maher Jridi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家大型连锁超市的经理。你最大的头疼事是什么？那就是确切知道该订购多少每种零食、苏打水和麦片。订多了，你会因食物腐烂而浪费金钱；订少了，你会因货架空空而损失销售额。

几十年来，专家们一直试图打造“水晶球”（预测模型）来预测这些销售。问题在于，没有哪一颗水晶球能完美适用于所有情况。有些模型在预测牛奶的稳定销量方面表现出色，但在预测大型赛事期间派对薯片需求的剧烈波动时却表现糟糕。

本文介绍了一种新的智能系统，旨在解决“我该用哪颗水晶球？”这一问题。以下是其工作原理的简单概念分解：

1. 问题：“一刀切”的陷阱

想象你有一个工具箱，里面装着六把不同的锤子。其中一把是微小的图钉锤，一把是巨大的大锤，其他几把则介于两者之间。如果你试图用大锤去修手表，你会把它弄坏；如果你用图钉锤去建围栏，你永远也完不成。

在数据世界中，不同产品具有不同的“个性”。有些稳定，有些波动大，有些则具有季节性。旧的方法是挑选一把“最佳”锤子（模型），并希望它能适用于所有情况。作者认为这是一个坏主意，因为“最佳”锤子会根据任务的不同而变化。

2. 解决方案：“超级教练”（双重深度强化学习）

作者没有选择一把锤子并坚持使用，而是打造了一位超级教练。

团队：他们组建了一个由六个不同 AI 模型（即六把锤子）组成的“委员会”。
教练：他们创建了一个特殊的 AI 代理（即超级教练），其唯一的工作就是观察比赛，并决定此刻该使用哪把锤子。
如何学习：教练并非凭空猜测。它使用一种称为双重深度强化学习的技术。你可以将其想象为教练拥有两个协同工作的大脑：
- 大脑 A（选手）：尝试使用不同的锤子，并观察结果。
- 大脑 B（裁判）：保留一个稍旧、更稳定的规则版本，以确保大脑 A 不会感到困惑或过于自信。
- 奖励：每当教练选对锤子且预测准确时，它就会获得一个“分数”（奖励）；如果选错，则会受到惩罚。随着时间的推移，教练学会了即时识别情况并挑选完美的工具。

3. 秘诀：洞察全局（CRFFNN）

为了让教练真正变得聪明，作者赋予它一套特殊的“眼睛”，称为CRFFNN。

通常，教练可能只会查看上一场比赛的比分。但这名教练会查看：

历史：过去 35 天的销售数据（就像查看球员过去的表现）。
团队意见：所有六把锤子当前的预测结果。

教练使用三种类型的“镜头”来处理这些信息：

卷积镜头：在数据中寻找模式和形状（就像识别趋势）。
循环镜头：记住事件序列（就像理解周五销量会上涨）。
前馈镜头：整合所有信息并做出最终决策。

这使得教练能够理解正在发生什么以及何时发生，从而更擅长挑选正确的模型。

4. 省时利器：“停止标志”（早停机制）

训练这些 AI 教练耗时很长，且需要大量的计算能力。想象一下，当你已经达到巅峰表现时，却还要继续练习数周。这是一种浪费。

作者添加了一个巧妙的**“停止标志”**机制。系统不再进行固定时间的训练，而是监控教练的“平均分数”。

如果教练不再进步（分数趋于平稳），系统就会说：“好吧，你已经够好了，停止吧。”
这在不损害准确性的情况下，节省了海量的时间和金钱。

5. 结果：它奏效了吗？

作者在两个真实场景中测试了这位超级教练：

公开数据：来自大型连锁超市（Corporación Favorita）的销售记录。
私有数据：来自一家真实法国分销公司的零食需求数据。

结果：

超级教练（称为CRFFNN-ARIRBES）击败了所有其他方法，包括单把锤子以及其他组合它们的方式。
它减少了错误（更低的误差率），并且更加稳定（结果更少“波动”）。
得益于“停止标志”，其训练速度比标准版本快 3 到 4 倍，在节省大量计算时间的同时，依然保持了最高的准确性。

总结

简而言之，本文提出了一种智能的、自学习的系统，它就像一位大师级指挥家。它不是强迫一种乐器演奏整部交响乐，而是聆听音乐，并瞬间为每一个音符挑选完美的乐器。它比以往任何方法都更快、更准确地做到这一点，帮助企业既保持货架 stocked，又不浪费资金。

技术摘要：设计用于弹性需求预测的双深度强化学习选择工具

问题陈述
本文解决了供应链管理中的需求预测关键挑战，特别是在由疫情和地区冲突等事件构成的动荡环境中。尽管存在众多人工智能（AI）预测架构，但由于数据特征（如季节性、噪声、波动性和间歇性）各异，没有单一方法能在所有数据集上始终表现最优。传统方法通常依赖人工专家选择或超参数的静态优化，这不仅耗时、易出错，而且无法适应数据动态的实时变化。此外，现有的集成方法可能无法频繁审查适当解决方案的选择，导致误差随时间累积。核心问题在于缺乏一种敏捷的自动化机制，能够根据任意时刻数据的特定状态，从候选模型委员会中动态选择最合适的预测模型。

方法论
作者提出了一种新颖架构，即CRFFNN-ARIRBES，其作为双深度强化学习（DDRL）智能体来自动化模型选择。

双深度强化学习（DDRL）智能体：
- 该系统利用马尔可夫决策过程（MDP）中的 Q 学习框架，从由六个基于神经网络的候选模型（FFNN、LSTM、GRU、BiLSTM、CNN 以及 CNN-LSTM 混合模型）组成的“委员会”中选择预测模型。
- 为了减轻标准深度 Q 网络（DQN）中常见的 Q 值高估问题，作者采用了**双深度 Q 网络（DDQN）**架构。这涉及两个独立的网络：在线 Q 网络（频繁更新）和目标 Q 网络（定期更新），为动作选择提供稳定的参考。
- 状态表示： 智能体的状态（ $s$ ）通过将过去 35 天的历史需求（ $d_{t-35} \dots d_{t-1}$ ）与所有六个委员会成员的预测输出（ $f_{t1} \dots f_{t6}$ ）进行拼接而构建。
- 动作： 动作包括从委员会中选择一个特定的预测模型，以生成当前时间步的最终预测。
- 奖励： 智能体根据实际值与预测值之间均方误差（MSE）的倒数获得奖励，具体公式为 $1 / e^{MSE}$ ，以此更严厉地惩罚较大误差。
CRFFNN 架构：
- Q 网络不使用简单的前馈网络，而是利用卷积循环前馈神经网络（CRFFNN）。
- 卷积层： 从输入数据中提取空间特征。
- 循环层： 捕捉序列数据中的时间模式和时间依赖关系。
- 前馈层： 整合提取的特征，将其映射到预期输出（每个动作的 Q 值）。
- 这种混合架构使智能体能够更好地理解环境状态中复杂的时空特征。
基于平均奖励改进率的早期停止（ARIRBES）：
- 为了解决强化学习相关的计算强度大和训练时间长的问题，引入了一种新颖的早期停止机制。
- 该方法使用移动平均来平滑奖励信号。如果在定义的“耐心”窗口内，当前平均奖励未超过最佳历史平均奖励特定的**改进率（IR）**阈值，则训练停止。这防止了过拟合，并显著缩短了训练持续时间。

主要贡献

用于动态模型选择的双深度强化学习： 引入了一种双深度强化学习架构，能够实时动态选择预测模型，利用 CRFFNN 处理历史需求和委员会预测以进行明智决策。
ARIRBES： 提出了一种基于平均奖励改进率的新型早期停止技术，旨在在不牺牲性能的前提下加快训练时间。
实证验证： 使用两个不同的数据集，将所提出的方法与预测委员会及四种自动模型选择策略（集成平均、中位数、堆叠和 FFNN-DDQL）进行了严格评估。

实验结果
该研究在两个数据集上进行了评估：公共的Corporación Favorita 杂货销售数据集和私有的客户零食需求数据集（两者均具有 28 天的预测范围）。

性能指标： 模型使用对称平均绝对百分比误差（SMAPE）和平均绝对缩放误差（MASE）进行评估。
准确性： 与单个模型（FFNN、LSTM、GRU 等）及其他选择策略（堆叠、FFNN-DDQL）相比，所提出的CRFFNN-ARIRBES方法在两个数据集上均实现了最低的 Mean SMAPE 和 Mean MASE。
- Favorita 数据集： 实现了 37.03 的 Mean SMAPE 和 1.79 的 Mean MASE。
- 零食数据集： 实现了 48.52 的 Mean SMAPE 和 1.49 的 Mean MASE。
稳定性： 所提出的方法表现出卓越的稳定性，证据是在 10 种不同的随机权重初始化下，误差指标的标准差最低，且小提琴图显示误差分布狭窄。
效率： ARIRBES 早期停止机制大幅减少了训练时间。对于 Favorita 数据集，训练时间从（无早期停止时的）约 19,841 秒降至约 5,120 秒。对于零食数据集，从约 10,190 秒降至约 2,635 秒，同时保持或略微提高了预测准确性。

意义与主张
本文声称，所提出的解决方案为需求预测中“没有单一模型适合所有情况”的问题提供了一种稳健且有效的方法。通过利用强化学习的适应性和深度学习（CNN/RNN）的特征提取能力，该系统能够持续适应变化的数据动态。作者断言，其方法在准确性和稳定性方面均优于最先进的静态选择和集成方法。

研究结论指出，虽然由于在训练和推理期间需要运行整个委员会，该方法计算强度较大，但引入 ARIRBES 策略使得训练过程变得显著可行。作者谦逊地指出，未来的工作可能包括纳入宏观经济变量、将数据集划分为更同质的子组，以及进一步优化大规模工业应用的计算成本。

1. 问题：“一刀切”的陷阱

2. 解决方案：“超级教练”（双重深度强化学习）

3. 秘诀：洞察全局（CRFFNN）

4. 省时利器：“停止标志”（早停机制）

5. 结果：它奏效了吗？

总结

类似论文