技术摘要：用于障碍问题最优控制的单圈双层深度学习方法

1. 问题陈述

本文研究了障碍问题的最优控制，这是一类非光滑、非线性且具有层次结构的优化问题。这些问题出现在多种物理和工程应用中，例如弹塑性扭转、膜变形以及美式期权定价。

在数学上，该问题被表述为一个双层优化任务：

• 上层（Upper Level）： 关于控制变量 $u$ 最小化目标泛函 $J(y, u)$（通常是追踪目标状态 $y_d$ 并带有控制正则化项）。
• 下层（Lower Level）： 状态 $y$ 不是一个独立变量，而是被隐式定义为能量泛函 $E(y', u)$ 在满足障碍约束 $y' \geq \psi$ 条件下的唯一极小值点。

核心挑战包括：

1. 非光滑性与不可微性： 由于障碍约束的存在，控制到状态的算子通常不是 Gâteaux 可微的，这使得基于梯度的优化变得复杂。
2. 自由边界（Free Boundary）： 解涉及一个自由边界（接触集与非接触集之间的界面），该边界可能无法与经典方法的网格对齐，从而导致显著误差。
3. 计算可扩展性： 经典的数值方法（如有限元法、有限差分法）依赖于基于网格的离散化。重复求解由此产生的规模巨大且病态的代数系统计算成本极高，且难以扩展到高维设置或复杂几何形状。
4. 现有深度学习的局限性： 标准的深度学习方法在处理 PDE 控制时，倾向于通过权重化目标函数将双层结构坍缩为单层问题。作者认为，这种做法无法强制执行状态对控制的严格层次依赖关系，从而导致物理上不一致的解。

2. 方法论

所提出的解决方案是一个单圈双层深度学习框架，该框架避免了网格离散化，并保留了问题的内在结构。

2.1. 约束嵌入神经网络

作者并没有使用惩罚项或活跃集识别来处理约束，而是设计了能够通过构造严格执行约束的神经网络（NN）：

• 状态近似 ($\hat{y}$): 通过变换网络输出（例如，通过平方运算或结合平滑边界函数 $m(x)$ 的 ReLU 操作），以确保 $\hat{y} \geq \psi$ 且在边界 $\partial\Omega$ 上满足 $\hat{y} = 0$。
• 控制近似 ($\hat{u}$): 同样，控制网络通过变换来严格满足盒约束 $u_a \leq \hat{u} \leq u_b$。

2.2. 随机双层公式化

连续问题通过在神经网络参数 ($\theta_y, \theta_u$) 上的有限维随机双层优化问题进行近似。目标泛函和能量泛函中的积分通过在定义域 $\Omega$ 上的蒙特卡洛采样（小批量/mini-batches）进行近似，使该方法具有无网格特性。

2.3. S2-FOBA 算法

为了求解所得的随机双层问题，作者开发了单圈随机一阶双层算法 (S2-FOBA)。其关键特征包括：

• Moreau 包络重构： 使用 Moreau 包络对下层约束进行重构，这提供了一个值函数的平滑近似。这避免了对下层唯一性或强凸性的严格假设。
• 单圈结构（Single-Loop Structure）： 不同于传统的双层方法需要在每个上层步骤中求解收敛的下层问题，S2-FOBA 在单个循环中同时更新下层参数和追踪近端点的辅助变量。
• 随机更新： 算法使用从小批量中计算出的随机梯度，避免了求解大型线性系统或计算整个定义域精确梯度的计算开销。
• 两阶段训练策略：
  1. 双层训练： 使用 S2-FOBA 寻找近似最优参数。
  2. 下层精细化： 固定控制参数，并再次求解下层问题以确保状态严格满足最优性条件，从而增强物理一致性。

3. 主要贡献

1. 框架设计： 一个保留了障碍控制问题层次结构的双层深度学习框架，避免了加权单层公式化的缺陷。
2. 约束嵌入： 新颖的神经网络架构，无需惩罚调优或活跃集检测即可严格执行障碍和控制约束。
   且。
3. 算法开发： 开发了 S2-FOBA 算法，该算法具有以下特点：
   • 单圈化： 消除了嵌套优化。
   • 随机性： 通过小批量采样实现高维场景下的高效计算。
   • 鲁棒性： 不依赖于下层唯一性或强凸性的假设。
4. 收敛性分析： 在温和假设（下层目标函数的弱凸性）下，为 S2-FOBA 提供了收敛性证明，展示了度量函数的下降和平稳性测度的衰减。
5. 可扩展性： 证明了该方法可以自然地扩展到一般的椭圆变分不等式（EVIs）的最优控制，包括具有非对称算子的情形。

4. 数值结果

该方法使用 Python 和 PyTorch 在高性能硬件（NVIDIA H100 GPU）上通过若干基准问题进行了验证：

• 示例 1（双活跃集）： 一个具有非平凡活跃集的 2D 问题。与朴素的加权单层深度学习方法（算法 1）相比，所提方法实现了显著更低的相对 $L_2$ 误差。同时，它也展示了优于经典活跃集方法的效率：虽然活跃集方法的精度随网格加密而提高（需要重新计算），但所提方法无论评估网格分辨率如何都能保持一致的误差，并且对于新分辨率仅需一次前向传播。
• 示例 2（平坦自由边界）： 一个在活跃集中具有挑战性平坦过渡的问题。该方法成功捕捉到了自由边界处的解，并保持了鲁棒的精度，而原初活跃集技术在此处往往表现不佳。
• 示例 3（高维）： 一个 5 维分布式最优控制问题。通过使用可分离物理信息神经网络（SPINNs）和拟蒙特卡洛采样，该方法成功克服了维度灾难，精确捕捉到了最优解。
• 示例 4（复杂定义域）： 一个在非矩形、花形定义域上的问题。该方法的无网格特性使其能够无缝处理不规则几何形状，而无需复杂的网格生成。
• 扩展（示例 5 & 6）： 该框架被成功应用于障碍控制（其中障碍本身即为控制变量）以及非对称 EVI 的最优控制，展示了广泛的适用性。

5. 重要性与声明

本文声称，这项工作为那些难以用现有深度学习技术解决的最优控制问题提供了一种计算高效且可扩展的学习方法。

• 重要性： 主要贡献在于能够在不依赖基于网格的离散化所带来的计算瓶颈的情况下，解决高维和复杂定义域的最优控制问题。通过保留双层结构，该方法确保了加权单层方法所缺乏的物理一致性。
• 谦逊之处： 作者承认，尽管 S2-FOBA 非常高效，但超参数调优（步长、惩罚序列）目前仍需要手动调整，未来可以通过自动化进行改进。他们还指出，该框架目前仅限于平稳问题，处理时间相关障碍问题和随机 EVI 是未来的研究方向。
• 对比： 该方法被呈现为在解的质量方面优于现有的深度学习方法，并且在处理高维或复杂定义域场景时比经典数值方法更高效，尽管对于低维且具有精细网格的问题，经典方法可能仍能提供更高的精度。