🤖 machine learning

Time-Lag-Aware Deep Reinforcement Learning for Flexible Job-Shop Scheduling in PPVC Module Factories

本文提出了一种时间滞后感知的深度强化学习框架，该框架通过显式建模长时后置工序延迟，在优化预制模块工厂的柔性作业车间调度方面显著优于传统的调度规则和元启发式算法，且无需外部求解器即可实现接近最优的完工时间结果。

原作者： Ziheng Zhang, Wei Zhang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziheng Zhang, Wei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一座巨大的工厂，它不制造汽车或玩具，而是制造整个房间和公寓。这些被称为“预制装配式建筑”（PPVC）模块。把它们想象成巨大的、全装修的乐高积木，在工厂中组装完成后，再运送到建筑工地，像堆叠一样堆叠成摩天大楼。

在这座工厂内部，工作流程是一场混乱的舞蹈。一个模块从一个工站移动到另一个工站：进行混凝土浇筑、安装管道、铺设瓷砖，最后进行涂漆。但棘手的部分在于，在某些步骤之后，模块必须等待。

混凝土浇筑后，需要 24 到 48 小时进行养护（硬化）。
防水处理后，需要放在水池中浸泡 24 到 48 小时以检查是否漏水。
涂漆后，需要 12 到 24 小时进行干燥。

在这些等待时间里，模块被困在“缓冲区域”（就像一个候诊室），但刚刚完成工作的机器是空闲的，可以立即开始处理下一个模块。这就是该工厂的秘诀：被阻塞的是模块，而不是机器。

问题所在：“盲目”调度员

长期以来，工厂管理者尝试使用旧式的规则来调度这些模块。他们制定计划时会忽略等待时间，然后在计划完成后，仅仅通过将起始时间整体向后推移来使其符合实际。

研究表明，这是一个极其糟糕的主意。这就像是在规划公路旅行时完全不考虑交通拥堵，然后在行程结束时才临时增加一小时到达时间。作者对标准工厂设置进行了模拟，发现如果忽略这些等待时间，计划在纸面上看起来很完美，但在现实中会彻底崩溃。

当他们最终正确地对等待时间进行建模时，完成一批模块的总时长平均增加了 67%。在一个特定的测试案例中，最佳时间从 100.0 小时 跳到了 198.0 小时——仅仅因为等待期，时间几乎翻了一倍。那种“事后修补”的老方法表现极差，甚至比简单的“先到先得”规则还要糟糕。

解决方案：一种“感知时间滞后”的 AI

研究人员构建了一种新型 AI 调度器，使用的是深度强化学习（DRL）。把这个 AI 想象成一个超级聪明的交通控制器，它不仅观察现在的路况，还知道稍后道路会被施工队阻断的具体时刻。

他们采用了一种用于常规工厂的顶尖 AI，并为其增加了三个针对“等待室”处理的特定升级：

“等待列表”更新： 他们教会了 AI，当一个模块完成一项任务时，即使模块仍在等待干燥，机器也会立即释放。AI 学会了立即向该机器发送下一个模块，而不是让它闲置。
水晶球： 他们给了 AI 两个额外的“感官”。AI 现在可以在开始作业前预见等待时间会有多久，并且可以追踪正在干燥中的模块还剩多少等待时间。这让 AI 能够提前规划，就像一个能预判三步棋的棋手。
“类型”徽章： AI 学会了识别“混凝土浇筑”工站与“涂漆”工站的区别，以及“结构类”模块与“管道类”模块的区别。这有助于它为不同的工作选择更合适的机器。

结果：快速且智能

团队根据政府指南在了一组工厂场景下测试了这种新 AI。

速度： AI 做出一次决策仅需约 1.97 秒。它不需要超级计算机或复杂的数学求解器在后台运行；它是一个轻量级程序，可以在标准的工厂计算机上运行。
质量： 在标准测试集上，AI 生成的调度方案与绝对最优调度方案（由极其缓慢、重型的数学求解器计算得出）的误差在 3.8% 以内。
对比： 它击败了所有传统规则（如“最短作业优先”）以及甚至击败了一个思考了 60 秒 的遗传算法（一种尝试数千个随机解的方法），而 AI 仅用了 2 秒。

它“不是”什么

作者非常谨慎地说明了该 AI 不是什么。

它不是能击败所有长时间运行的数学求解器的“魔杖”。如果你有一台超级计算机并允许运行 5 分钟来制定计划，数学求解器仍然能找到完美的答案。该 AI 是速度和反应能力的冠军。
它不是对世界上每家工厂的完美模拟。团队建立了一个基于官方指南的“基准生成器”，但他们承认某些数据（如涂漆具体耗时）是估算值。他们针对这些估算值测试了 AI，虽然 AI 依然胜出，但他们明确表示现实世界的工厂可能需要进行微调。
它不是拥有重型优化工具的人类专家的替代品。如果一家工厂有预算和硬件来运行复杂的求解器，那么那个求解器仍然是“质量上限”。该 AI 是最佳的**无需求解器（solver-free）**的选择。

“实时”超能力

真正的魔力发生在出现意外时。在工厂中，机器可能会故障，或者模块的干燥时间比预期更长。

旧方法： 你拿着破碎的计划，冻结已经完成的部分，然后仅仅是将其他部分整体后推。这既缓慢又低效。
AI 方法： AI 察觉到干扰，在约 1 秒 内重新计算整个调度方案，并将模块重新路由到不同的机器，以保持生产流动。

在机器发生故障的测试中，与传统的“后推法”相比，AI 将总延迟减少了 4.1%。这就像是一个不仅能指挥车辆绕过拥堵，还能瞬间将交通流引导至侧街以保持畅通的交警。

底线

论文证明了对于这类具有“等待室”特征的工厂，你不能忽略等待时间。作者的新型 AI 是在不需要庞大超级计算机的情况下，调度这些任务最快、最智能的方式。它并不完美（距离理论最优值约有 4% 的差距），但它的速度足以实时应对突发状况，成为保持这些模块工厂顺畅运行的游戏规则改变者。

技术摘要：面向 PPVC 模块工厂柔性车间调度的时间滞后感知深度强化学习

1. 问题定义：具有工件阻塞时间滞后的 FJSP

本文研究了预制预装配模块化建筑（PPVC）模块工厂的调度问题。与经典的柔性车间调度问题（FJSP）不同，PPVC 生产的特点是存在工件后置操作时间滞后（例如：混凝土养护、防水测试、涂料干燥），这些滞后在时间跨度上占据主导地位，往往超过了总加工时间。

其核心复杂性在于工件阻塞、机器释放的语义特征：

标准 FJSP： 机器在工件完全处理完成前一直被占用。
PPVC 现实情况： 一旦模块完成某项物理操作（如浇筑），工作站会立即释放以处理下一个模块。然而，该模块本身会在缓冲区域内被“阻塞”一段强制性的滞后时长 ( $\ell_{ij}$ )，之后才能开始下一项操作。
影响： 在决策过程中忽略这些滞后，并试图在后期通过“右移”（right-shifting）来修复调度，会导致严重的性能退化（与考虑滞后的规划相比，完工时间膨胀高达 137%）。此外，现有的用于 FJSP 的深度强化学习（DRL）求解器假设后续操作是立即就绪的，这使得它们在处理 PPVC 问题时是不适定的。

目标是在尊重路径灵活性、工作站兼容性和特定滞后约束的同时，最小化工厂的总完工时间（ $C_{max}$ ）。

2. 方法论：DANIEL 的滞后感知适配

作者对最先进的双注意力 DRL 求解器 DANIEL 进行了改进，通过三个微创且具有个体消融能力的扩展进行适配。设计原则是在不改变学习骨干（PPO 训练、网络架构）且保证其在数学上完备的前提下，修正由于滞后导致的问题语义变化。

A. 适配 1：滞后感知动力学与容许奖励

状态转移语义： 修改了环境状态转移，使得工作站会在完成时间 ( $c_{ij}$ ) 时释放，但工件仅在 $\rho_i = c_{ij} + \ell_{ij}$ 时才对下一项操作就绪。
容许界限： 引入了一个新的完工时间下界 $\hat{C}_{max}$ 。它整合了滞后增强后的完成时间：
$\hat{c}_{i,j} = \max(\hat{c}_{i,j-1} + \ell_{i,j-1}, t) + \min_{k \in M_{ij}} p_{ijk}$
该界限是容许的（从不高估真实的完工时间）且在终止时是紧致的。这确保了稠密的 PPO 奖励（ $r_t = \hat{C}_{max}(s_t) - \hat{C}_{max}(s_{t+1})$ ）能够作为真实目标的忠实、累加信号，防止策略优化一个失准的信号。

B. 适配 2：前瞻性滞后特征

为了使策略能够预判未来的延迟而非在延迟发生后才做出反应，作者在操作节点嵌入中增加了两个新的特征通道：

静态滞后 ( $\eta^{lag}_{ij}$ )： 与该操作相关的固定滞后时长 $\ell_{ij}$ 。
剩余滞后 ( $\eta^{rem}_{ij}(t)$ )： 当前决策时间 $t$ 时，正在进行的滞后过程所剩余的部分。
这些通道通过网络的单步归一化独立进行处理，确保原始的 10 个特征通道在数值上保持不变。

C. 适配 3：带有存活掩码的类型嵌入

操作和工作站拥有类别类型（例如：结构、机电、浇筑、涂装），纯特征向量无法利用这些信息。

挑战： 简单地拼接类型索引会破坏 DRL 骨干中的不变性，即“已删除”（已完成）节点会被置零并从池化中排除。
解决方案： 作者注入了可学习的类型嵌入 ( $E_{op}, E_{mch}$ )，但通过存活掩码 ( $\lambda_{ij}$ ) 对其进行门控。只有当节点处于活跃状态时，才会添加嵌入。
保证： 这保留了原始 DANIEL 骨干的“非零平均”池化语义，确保用于池化的节点集合与未修改的求解器完全一致。

3. 基准测试与实验设置

BCA 基础生成器： 创建了一个基于新加坡建设局（BCA）官方指南的公开实例生成器。它定义了路径序列、工作站分类（9 种类型）以及基于行业规范的滞后范围（养护、防水、干燥）。加工时间基于文献估计值。
基准模型：
- 精确求解器： CP-SAT（约束编程）配合 300 秒时间限制。
- 调度规则： FIFO、SPT、MWKR、MOR（均为滞后感知型）。
- 元启发式算法： 以调度规则为初始种子的遗传算法（GA）。
- 消融实验分支：
  - A0：滞后盲目型（当前的工业实践：先规划后右移）。
  - A1：仅包含滞后感知动力学。
  - A2：A1 + 前瞻性特征。
  - A3：A2 + 类型嵌入（完整方法）。

4. 关键结果

A. 在容量充足实例上的表现 (M-Class)

优于无求解器方案： 完整方法 (A3) 实现的平均完工时间为 210.9 小时，将与 CP-SAT 参考值的差距从最佳调度规则 (SPT) 的 6.4% 缩小到了 3.8%。
与精确求解器的比较： 虽然 CP-SAT 是质量上限（在 86/100 的案例中被证明是最优的），但它需要一个在循环中的优化模型和求解器。A3 在无需求解器的情况下，约 2 秒 内即可达到接近参考值的质量。
消融分析： 在容量充足的实例中，滞后感知动力学 (A1) 提供了绝大部分的增益。前瞻性特征 (A2) 和类型嵌入 (A3) 在此处在统计上是中性的，但在其他场景下至关重要。

B. 在产能紧张情况下的表现 (M-Tight)

当工作站容量减半（15 个工作站）时，机器竞争与滞后效应共同成为主导因素。

显著收益： 完整方法 (A3) 将与 CP-SAT 参考值的差距缩小至 6.6%，显著优于 SPT (12.2% 差距)。
适配的价值： 在竞争环境下，前瞻性特征和类型嵌入在统计上变得显著 (p < 0.001)，证明了它们在需要前瞻性观察的复杂受限环境中的价值。
与元启发式对比： A3 击败了运行 60 秒的遗传算法（完工时间缩短了 10 多小时），尽管 GA 的推理时间约为 A3 的 30 倍。

C. 零样本泛化能力

壳体系统： 在混合壳体上训练的策略可以顺利迁移到单一壳体（钢筋混凝土或钢结构）项目，表现优于调度规则。
规模问题： 单一尺寸的策略在面对未见的模块数量（5 或 20 个模块）时性能会下降。然而，混合尺寸策略（在 10、20 和 30 个模块上训练）能够有效泛化，在 10–20 个模块范围内优于 SPT，并在 30 个模块时与其差距缩小至 0.4%。

D. 响应式重调度

在扰动场景下（例如：滞后时长翻倍或机器故障）：

无求解器方案： A3 可以在约 1.2 秒内重新规划，与目前的工业标准“右移”修复相比，减少了约 5% 的完工时间。它通过主动重新路由来实现，而不仅仅是延迟。
稳定性 vs. 质量： 虽然具备稳定性感知能力的 CP-SAT（带有变更惩罚项）能提供完工时间与调度稳定性之间的绝对最佳平衡，但它需要完整的求解器基础设施。A3 是最强的无求解器替代方案，在不增加计算开销的情况下改进了当前的实践。

5. 意义与主张

本文声称是第一个专门为具有工件阻塞、机器释放后置时间滞后的柔性车间设计的学习型构造求解器。

正确性胜于调优： 这些适配并非启发式的调优选择，而是结构性的修正。滞后感知的动力学是任何此类领域构造型 DRL 求解器的先决条件，因为滞后盲目的决策过程在本质上是失准的。
归因： 通过确保实现过程在关闭相关标志位时能与原始 DANIEL 求解器实现比特级的一致，作者将所有性能提升严格归功于所提出的适配方案。
实际影响： 本研究填补了高质量精确求解器（通常过于沉重，难以用于边缘控制器或实时响应循环）与快速但次优的调度规则之间的空白。它提供了一个快速、无求解器、近乎最优的调度器，能够在制造执行系统的实时约束内（每秒完成重新规划）运行。
谦逊立场： 作者明确指出，在可以使用精确求解器和优化专家知识的情况下，该求解器仍处于“质量上限”。学习型策略的生态位在于无求解器部署，特别是在对速度和缺乏许可/模型开销要求极高的响应式场景中。