Adaptive hybrid coupling with operator inference, the overlapping Schwarz alternating method and reinforcement learning

技术摘要：结合算子推断、重叠 Schwarz 交替法与强化学习的自适应混合耦合

问题陈述
混合领域分解方法提供了一个灵活的框架，用于耦合全阶模型（FOM）和降阶模型（ROM），以平衡精度与计算成本。然而，传统方法通常会 预先 为每个子域分配特定的模型（FOM 或 ROM），并在整个模拟过程中保持这些分配不变。这种静态分配具有局限性，特别是在处理具有局部特征（如移动前沿、冲击波）在计算域中传播的瞬态问题时。如果高保真特征进入了被分配为低保真 ROM 的子域，则会产生误差并可能发生传播，从而降低全局解的质量。虽然之前的研究探索了自适应富集或单向切换（例如在检测到塑性时从 ROM 切换到 FOM），但目前需要一种能够基于演化的解状态，在 FOM 和 ROM 之间进行动态、双向在线切换的框架，且无需在部署期间需要参考 FOM 解。

方法论
作者提出了 RL–O-SAM 框架，该框架将强化学习（RL）与重叠 Schwarz 交替法（O-SAM）以及算子推断（OpInf）ROM 相结合。

1. 混合耦合（O-SAM 与 OpInf）：

   • 计算域被分解为重叠的子域。
   • 子域通过 O-SAM 算法进行迭代耦合，该算法在界面处交换 Dirichlet 传输边界条件。
   • 在每个子域内，求解器可以使用高保真 FOM 或预训练的 OpInf ROM。OpInf 是一种非侵入式、基于投影的降阶技术，它直接从快照数据中学习简化算子，同时保留底层 FOM 的多项式结构。

2. 强化学习框架：

   • 智能体与环境： RL 智能体与数值模拟环境进行交互。状态 ($s_t$) 由当前耦合解的固定维度表示以及前一个决策窗口采取的动作组成。
   • 动作 ($a_t$)： 智能体从离散空间中选择动作。研究探索了两种配置：
     • Fixed-DD（固定领域分解）： 领域分解是固定的；智能体为每个子域选择 FOM/ROM 分配。
     • Adaptive-DD（自适应领域分解）： 智能体同时选择领域分解（从候选集中选择）和 FOM/ROM 分配。
   • 奖励函数： 奖励 ($r_k$) 在每个决策窗口结束时计算，定义为：
     $$r_k = -\text{cost}_k - \alpha \cdot \text{err}_k - \beta \cdot n_{\text{flip},k}$$
     其中 $\text{cost}_k$ 是墙钟时间，$\text{err}_k$ 是相对于高保真参考解的误差（仅在训练期间使用），$n_{\text{flip},k}$ 是惩罚不必要的模型切换。参数 $\alpha$ 和 $\beta$ 用于平衡精度、成本和稳定性。
   • 算法： 使用一系列问题实例对深度 Q 网络（DQN）进行离线训练。DQN 学习一种策略，以最大化期望累积折扣奖励。
   • 部署： 一旦训练完成，该策略将被在线部署。至关重要的是，它在部署期间不需要参考 FOM 解或奖励计算；它仅根据观测到的状态来选择动作。

核心贡献

• 在线自适应策略： 本文引入了一种方法，通过学习一种策略，使模拟演化过程中各子域中的 FOM 和预训练 OpInf ROM 能够动态切换，解决了混合 Schwarz 方法中静态模型分配的局限性。
• 预测性泛化： 该框架展示了在未在 RL 训练阶段遇到的问题实例（不同的初始条件、边界条件或参数）上部署学习策略的能力。
• 切换惩罚正则化： 研究明确量化了奖励函数中切换惩罚（$\beta$）的作用，表明它能有效抑制快速、振荡的模型切换，而不会损害精度-成本的权衡。
• 与生产代码集成： 该方法不仅在 1D 基准测试中得到了验证，还在 3D 固体力学代码 Norma.jl 中得到了验证，证明了其在现实工程模拟中的适用性。

数值结果
该方法在两个基准测试上进行了评估：

1. 1D 平流-扩散（移动前沿）：

   • Fixed-DD： 学习到的策略实现了 $8.02 \times 10^{-4}$ 的相对 $L_2$ 误差，比包含至少一个 ROM 的最佳固定分配误差小约五倍，同时比全 FOM 解减少了约 40% 的墙钟时间。该策略成功追踪了移动前沿，将 FOM 分配给包含前沿的子域，并在其他地方分配 ROM。
   • Adaptive-DD： 允许智能体选择领域分解并未比 Fixed-DD 策略提高精度-成本的权衡；事实上，它导致了略高的误差和墙钟时间。作者得出结论，对于该基准测试，在固定分解内调整模型分配是更有效的策略。
   • 切换惩罚： 未使用切换惩罚训练的策略表现出频繁且不必要的振荡（31 次切换），而带有惩罚的策略将切换次数减少到 4 次，产生了连贯的追踪行为。

2. 3D 线性弹性波传播（Norma.jl）：

   • 在涉及波传播与反射的 3D 梁上进行了测试，边界为固定约束。
   • 两子域与三子域情况： 学习到的策略成功泛化到了具有未见脉冲位置和宽度的测试用例。
   • 性能： 对于三子域情况，学习到的策略实现了 $3.90 \times 10^{-3}$ 的相对 $L_2$ 误差，大约是包含 ROM 的最准确固定分配的 40 倍小。同时，它比全 FOM 解减少了约 14% 的墙钟时间。
   • 行为： 策略正确地将 FOM 分配给包含传播波和反射波的子域，并在平滑区域切换到 ROM。

意义与主张
本文声称，基于 RL 的自适应耦合能够实现 Schwarz 型混合模拟中模型保真度的预测性在线自适应。其主要意义在于能够处理具有移动特征的瞬态问题，而无需预定义高保真区域，也无需在模拟期间需要参考解。

作者谦虚地指出，虽然 3D 基准测试中的 OpInf ROM 是“再现性”的（即在与测试用例相同的参数空间内训练），但 RL 策略本身是在未见的初始条件下进行预测性评估的。这项工作确立了学习到的策略可以将其模型选择逻辑泛化到新的问题实例中。

论文得出结论，对于所考虑的问题，在固定的领域分解内进行在线 FOM/ROM 分配的自适应，比在自身领域分解内进行自适应提供了一种更有效且在实践中更具可行性的策略，尤其是考虑到目前生产代码中的实现限制。未来的工作确定为实现 OpInf ROM 本身的在线更新（流式 OpInf）以及将该框架应用于更复杂的非线性 3D 问题。