Empirical risk minimization for risk-neutral composite optimal control with applications to bang-bang control

1. 研究背景与问题定义

核心问题：
本文研究了一类在不确定性环境下的风险中性复合最优控制问题。这类问题广泛存在于科学和工程领域，特别是偏微分方程（PDE）约束的优化问题中。

数学模型：
问题形式化定义为：
$$\min_{u \in U} G(u) := F(Bu) + \psi(u)$$
其中：

• $U$ 是希尔伯特空间（控制空间），$W$ 是巴拿赫空间。
• $B: U \to W$ 是一个紧线性算子（通常对应 PDE 的解算子）。
• $F(w) := \mathbb{E}[f(w, \xi)]$ 是期望目标函数，其中 $f$ 是光滑的，$\xi$ 是随机变量。
• $\psi: U \to [0, \infty]$ 是一个凸但可能非光滑的函数（正则化项）。
• 应用背景：特别关注带有 $L^1$ 范数正则化项（$\psi(u) = \beta \|u\|_{L^1} + I_{U_{ad}}(u)$）的问题，这类问题旨在产生Bang-Bang 型解（即控制变量在边界值 $\{-1, 0, 1\}$ 之间跳跃），常用于混合整数最优控制的松弛。

挑战：

• 目标函数包含期望值，难以直接计算。
• 目标函数可能是非凸的（由于 PDE 约束或跟踪型泛函）。
• 正则化项 $\psi$ 是非光滑的（如 $L^1$ 范数），导致缺乏强凸性，增加了理论分析和数值求解的难度。

---

2. 方法论：样本平均近似 (SAA)

为了数值求解上述随机优化问题，作者采用了样本平均近似 (Sample Average Approximation, SAA) 方法，也称为经验风险最小化 (ERM)。

• SAA 问题构建：
  给定 $N$ 个独立同分布的随机样本 $\xi_1, \dots, \xi_N$，将期望 $F$ 替换为经验平均 $\hat{F}_N$：
  $$\min_{u \in U} \hat{G}_N(u) := \hat{F}_N(Bu) + \psi(u)$$
  其中 $\hat{F}_N(w) = \frac{1}{N} \sum_{i=1}^N f(w, \xi_i)$。

• 关键分析工具：

  • 间隙泛函 (Gap Functional)：用于衡量点是否为临界点。定义 $\Psi(u) = \sup_{v} [\langle \nabla F(Bu), u-v \rangle + \psi(u) - \psi(v)]$。$\Psi(u)=0$ 当且仅当 $u$ 是临界点。
  • 覆盖数 (Covering Number)：利用紧算子 $B$ 将可行域映射到 $W$ 中的紧集，通过度量该紧集的覆盖数来推导样本复杂度。
  • 条件梯度法 (Conditional Gradient Method)：针对非光滑和复合结构，提出使用条件梯度法（Frank-Wolfe 类算法）进行数值求解。

---

3. 主要贡献与理论结果

本文从定性和定量两个角度深入分析了 SAA 方法：

(a) 渐近一致性 (Asymptotic Consistency)

• 结果：证明了随着样本量 $N \to \infty$，SAA 问题的最优值、最优解序列以及临界点序列以概率 1 (w.p. 1) 收敛到原始随机问题 (P) 的对应量。
• 条件：依赖于算子 $B$ 的紧性以及目标函数的连续性。

(b) 非渐近样本量估计 (Non-asymptotic Sample Size Estimates)

这是本文的核心贡献之一，提供了在有限样本下的误差界。

• 一般非凸情形：
  推导了间隙泛函 $\Psi$ 的期望误差界：
  $$\mathbb{E}[\Psi(u_N)] \le \mathbb{E}[\hat{\Psi}_N(u_N)] + \epsilon$$
  所需样本量 $N$ 与目标集 $B(D(\psi))$ 的覆盖数 $\mathcal{N}(\nu; B(D(\psi)))$ 的对数成正比。
  $$N \ge \frac{C}{\epsilon^2} \ln(\mathcal{N}(\dots))$$
  这表明即使在没有强凸性的情况下，利用 PDE 约束带来的紧嵌入性质，也能获得有效的样本复杂度估计。

• 凸情形下的超收敛性 (Superconvergence)：
  如果 $f(\cdot, \xi)$ 是凸的，且满足某种增长条件（Growth condition，即目标函数在最优解附近具有二次增长性质）：
  $$\langle B^* \nabla F(Bu^*), u - u^* \rangle + \psi(u) - \psi(u^*) \ge \theta \|u - u^*\|^\rho$$
  则证明了更强的收敛速率：

  • 最优解的期望误差 $\mathbb{E}[\|u_N^* - u^*\|^2]$ 以蒙特卡洛标准速率 $O(1/N)$ 收敛（注意：通常蒙特卡洛是 $1/\sqrt{N}$，这里由于结构特性达到了 $1/N$ 的期望平方误差，即 $1/\sqrt{N}$ 的均方根误差，但在特定条件下文中指出 gap 和次优性表现出 $1/N$ 的超收敛）。
  • 间隙泛函和次优性（Suboptimality）的期望值以 $O(1/N)$ 的速率收敛。
  • 意义：这一结果不要求算子 $B$ 是紧的，仅要求满足增长条件和嵌入性质。

---

4. 具体应用：Bang-Bang 控制

作者将上述理论框架应用于两类 PDE 约束优化问题：

1. 仿射线性 PDE 约束：

   • 状态方程形式为 $-\nabla \cdot (\kappa \nabla y) - u = b$。
   • 验证了所有假设（包括梯度的 Lipschitz 连续性和次高斯性质）。
   • 证明了 $L^1$ 正则化项能诱导 Bang-Bang 结构（控制变量在 $\{-1, 0, 1\}$ 取值）。

2. 双线性 PDE 约束：

   • 状态方程形式为 $-\nabla \cdot (\kappa \nabla y) + uy = b$。
   • 这是一个更复杂的非线性问题。作者通过隐函数定理和正则性分析，证明了控制 - 状态算子的光滑性和 Lipschitz 性质，从而将其纳入理论框架。
   • 特别处理了双线性项带来的非凸性和正则性问题。

---

5. 数值实验与结果

• 设置：

  • 域 $D=(0,1)^2$，使用有限元方法离散化。
  • 随机扩散系数 $\kappa$ 通过截断 Karhunen-Loève 展开模拟。
  • 使用条件梯度法求解。
  • 参考解通过 $N_{ref}=8192$ 个样本的 SAA 问题获得。

• 结果：

  • Bang-Bang 结构：数值解清晰地展示了控制变量在 $\{-1, 0, 1\}$ 附近的取值，验证了 $L^1$ 正则化的稀疏性诱导作用。
  • 收敛速率验证：
    • 仿射线性问题：观测到的收敛速率（目标函数误差 $\approx N^{-1.01}$，控制误差 $\approx N^{-0.50}$）与理论预测高度吻合。
    • 双线性问题：观测到的间隙泛函收敛速率甚至快于理论预测（$N^{-0.78}$ vs 理论 $N^{-1}$ 或更慢），作者推测这是因为覆盖数估计未利用解的高阶正则性或局部曲率，实际表现优于最坏情况估计。

---

6. 总结与意义

主要贡献总结：

1. 理论框架扩展：将经验风险最小化 (SAA) 的理论分析扩展到了非光滑、非凸、PDE 约束的复合优化问题，特别是针对 $L^1$ 正则化（Bang-Bang 控制）这一具有挑战性的场景。
2. 紧性利用：巧妙利用 PDE 约束中紧算子的性质，通过覆盖数推导了非渐近的样本复杂度估计，克服了传统方法对强凸性的依赖。
3. 超收敛性证明：在凸性和增长条件下，证明了 SAA 解在期望意义下具有 $O(1/N)$ 的收敛速率，优于标准蒙特卡洛的 $O(1/\sqrt{N})$。
4. 算法与实现：提出了适用于此类问题的条件梯度法，并通过开源代码和数值实验验证了理论的有效性。

科学意义：
该工作为不确定性下的最优控制（特别是需要稀疏或离散控制结构的工程问题）提供了坚实的理论基础。它证明了即使在没有强凸性的情况下，利用 PDE 的内在正则性，SAA 方法依然能提供具有可量化误差界的可靠解。这对于传感器布置、资源评估和地下水修复等实际工程应用具有重要的指导意义。