Does Size Generalization Imply Disruption Robustness? A Pre-Registered Study of GNN–PPO Scheduling Policies for the Dynamic Flexible Job-Shop Problem

技术摘要：规模泛化是否意味着对扰动的鲁棒性？

问题陈述
本研究针对动态随机柔性作业车间调度问题（FJSP）展开探讨。这是一个组合优化挑战，要求在不同时间将工序分配给合格的机器。与静态确定性版本不同，该问题包含三种不确定性来源：动态作业到达（建模为泊松过程）、随机处理时间（对数正态乘数）以及机器故障（指数级平均故障间隔时间结合对数正态修复时间）。尽管深度强化学习（DRL）结合图神经网络（GNN）在向更大规模实例规模泛化以及处理单一类型扰动方面已展现出潜力，但目前尚无法验证单一策略能否同时实现规模泛化（在比训练集更大的实例上表现良好）与多重扰动鲁棒性（同时应对机器故障、随机时间和动态到达）。

研究方法
研究人员采用了一种预注册的、具有统计严谨性的方案，用以评估关系型图同构网络（GIN）编码器与近端策略优化（PPO）智能体的结合效果。

• 架构： 该策略利用关系型 GIN 通过独立的线性变换进行聚合，从而区分三种边类型（作业内前序关系、机器竞争和工序-机器匹配）。这种设计介于完全同质和完全异质图表示之间。执行头（actor head）生成候选工序的逻辑值（logits），且与实例规模无关，确保了参数量与工序数量的独立性。
• 训练与奖励： 智能体使用 MaskablePPO 进行训练。为了测试鲁棒性，研究评估了两种奖励结构：一种是最小化完工时间的基准势能奖励，另一种是扩展版本，其中加入了“不稳定惩罚”（$\kappa \cdot \Delta_{inst}$），用于惩罚扰动后偏离计划开始时间的情况。
• 实验设计： 研究预注册了五个假设（H1–H5），并采用了冻结决策规则的方法以避免 HARKing（即在结果已知后才提出假设）。
  • 基准对比： 将该策略与九种优先级调度规则（PDRs）、经过调优的遗传算法（GA）以及精确约束规划求解器（CP-SAT）进行了对比。
  • 基准测试集： 评估涵盖了来自 Fisher–Thompson 和 Lawrence 系列（JSSP）以及七个 Brandimarte 实例（FJSP）的 43 个实例，以及合成扩展实例。
  • 统计协议： 对比分析使用了 Wilcoxon 符号秩检验进行成对分析，并使用 Friedman–Nemenyi 检验及临界差异图进行多方法排名。研究全程报告了效应量。

关键结果
五个预注册假设中有四个被拒绝，一个被接受。结果总结如下：

1. 静态竞争力（H1 - 被拒绝）： 在静态实例上，GNN-PPO 策略并未优于最佳调度规则。该策略的平均相对百分比偏差（RPD）为 24.82%，而最佳 PDR（FIFO）为 18.96%。它在所有 FJSP 实例上均处于劣势，且仅在 18.6% 的 JSSP 实例中获胜。
2. 规模泛化（H2 - 被接受）： 该策略成功泛化到了比训练集规模大 1.5 倍至 3.0 倍的实例。虽然其绝对 RPD 与最佳 PDR 相比仍缺乏竞争力，但其在十种方法中的排名并不显著差于最佳 PDR 的排名。这表明实现的是相对竞争力的迁移，而非绝对解质量的迁移。
3. 多重扰动鲁棒性（H3 - 被拒绝）： 在九种不同的扰动机制（故障、随机时间和到达的组合）下，该策略未能表现出鲁棒性。在所有机制下，该策略的鲁棒性指数（RI）均显著差于最佳 PDRs。其中“动态到达”轴的影响尤为严重，因为它代表了训练期间未见的分布偏移（回合中途插入作业）。
4. 扰动感知奖励（H4 - 被拒绝）： 增加不稳定惩罚（$\kappa > 0$）并未提高鲁棒性。相反，它导致了标称（无扰动）性能的崩溃，使 RPD 增加了 46.6 至 106.0 个百分点。研究将其失败归因于：训练过程中仅使用了领域随机化的扰动回合，从未暴露给无扰动的（标称）回合。
5. 决策延迟（H5 - 在严格阈值下被拒绝）： 虽然在处理大型复杂实例时，该策略的决策延迟（4–11 ms）比 CP-SAT 快了几个数量级，但在 43 个实例中的 42 个实例里，它未能达到预注册的严格阈值（即小于 CP-SAT 耗时的 1%）。这一失败主要是由于在小型实例中，CP-SAT 几乎瞬时即可求解，从而在比例计算中产生了数学伪影。

意义与主张
本文的核心贡献不在于取得了高质量的解，而在于对 GNN-PPO 调度策略局限性的诊断性、统计严谨性的特征描述。作者认为，规模泛化与多重扰动鲁棒性是两个可分离的属性，并非自动从同一架构中涌现的“捆绑包”。

• 架构迁移 vs. 竞争力： 本研究提供了经验证据，证明规模不变架构可以迁移“相对排名”竞争力（即即使基础策略在绝对项上不具竞争力，也能在规模增大时保持“与最佳启发式算法相当”的水平）。
• 联合目标的代价： 对 H3 和 H4 的拒绝表明，策略无法在针对多种扰动类型实现鲁棒性的同时，在没有特定架构或训练机制调整的情况下维持标称性能。“不稳定惩罚”之所以失败，是因为训练机制（缺乏标称回合暴露的领域随机化）与奖励设计是不兼容的。
• 方法论的严谨性： 通过预注册假设和决策规则，本研究提供了一个有据可查的负面结果，反驳了 DRL 调度文献中普遍存在的无法解释的失败现象。它识别出了具体的失效机制（例如，排除标称回合对训练的具体影响），而非仅仅将性能不佳归因于模糊的“分布偏移”。

作者得出结论，从业者不应仅凭规模泛化的结论就推断出扰动鲁棒性。相反，这些能力应被视为独立的设计维度，需要分别进行评估和工程设计。研究建议了一种潜在的混合部署策略：在发生扰动期间，利用快速响应的 GNN 策略作为即时回退方案，同时并行运行更慢但质量更高的求解器（如 GA 或 CP-SAT）来生成优化调度。