Over-Relaxed Projected-Forward Iterations for Cocoercive Variational Inequalities: Active-Face Spectral Tuning

技术摘要：针对余科局部性变分不等式的过松弛投影前向迭代

问题陈述
本文研究如下变分不等式（VI）问题：寻找 $p \in X$，使得对于所有 $x \in X$，均有 $\langle f(p), x - p \rangle \geq 0$，其中 $X$ 是实希尔伯特空间中的非空闭凸集，$f$ 是一个余科（cocoercive）算子。研究重点是投影前向迭代（等价于法锥包含问题的前向-后向分裂），其定义为不动点映射 $G_\gamma = P_X(I - \gamma f)$。

虽然松弛迭代 $x_{n+1} = x_n + \lambda_n(G_\gamma x_n - x_n)$ 在 $\lambda_n$ 处于特定平均性区间内的全局收敛性已得到广泛证实，但现有理论并未确定一旦算法识别出活跃约束（即“活跃面”）后，如何选择最优的松弛参数 $\lambda$。本文研究了在投影面稳定后，如何通过最小化局部谱半径来选择 $\lambda$，特别是在盒约束（box constraints）情形下。

方法论
作者在假设严格互补性和局部可微性的前提下分析了迭代的渐近行为。

1. 有限面识别： 在严格互补性条件下，算法可以在有限时间内识别活跃集（处于上下界的变量）和自由集（处于边界内部的变量）。一旦识别完成，投影算子 $P_X$ 对活跃变量表现为常数掩码，对自由变量表现为恒等映射。
2. 局部线性化： 本文推导了松弛映射 $R_{\gamma, \lambda}(x) = (1-\lambda)x + \lambda P_X(x - \gamma f(x))$ 在解 $p$ 处的精确导数。对于盒约束，该导数 $M_{\gamma, \lambda}$ 呈现块三角形式：
   • 活跃块的特征值为 $|1 - \lambda|$。
   • 自由块取决于 $f$ 在自由变量上的雅可比矩阵（$J_{FF}$）。若 $J_{FF}$ 是对称正定矩阵且特征值为 $\theta_j$，则自由块的特征值为 $|1 - \lambda \gamma \theta_j|$。
3. 谱半径最小化： 局部收敛速率由谱半径 $\rho(M_{\gamma, \lambda})$ 控制。作者将问题转化为一个标量极小极大问题，即最小化 $\max(|1-\lambda|, \max_j |1 - \lambda \gamma \theta_j|)$。
4. 带保护的选取机制： 为了在利用局部加速的同时确保全局收敛，作者提出了一个自适应算法（算法 1）。该算法：
   • 监测活跃面模式。
   • 一旦模式保持稳定 $K$ 次迭代，则锁定该模式。
   • 估计自由块的谱极值。
   • 计算最优 $\lambda^*_{loc}$，并将其限制在全局平均性区间 $[ \lambda_{min}, 1/\eta_\gamma - \epsilon ]$ 内，以确保即使在面识别过早的情况下也能保证全局安全性。

核心贡献
本文的具体贡献有五点：

1. 全局基准： 建立了强单调性和余科性条件下，松弛投影前向映射的精确全局线性收敛证书，作为局部分析的基准。
2. 识别后推导： 推导了在有限面识别后，$C^1$ 算子的松弛映射的精确导数，展示了分离活跃动力学与自由动力学的块三角结构。
3. 闭式最优松弛参数： 对于自由雅可比矩阵为对称正定的盒约束问题，作者推导了局部谱半径的闭式标量极小值解：
   $$\lambda^*_{loc} = \frac{2}{a_\gamma + b_\gamma}$$
   其中 $a_\gamma$ 和 $b_\gamma$ 分别是集合 $\{1\} \cup \{\gamma \theta_j\}$ 的最小值和最大值。文中明确指出，实现真正过松弛（$\lambda^*_{loc} > 1$）的条件是 $a_\gamma + b_\gamma < 2$。
4. 联合调优特征描述： 本文刻画了联合最优对 $(\gamma, \lambda)$。一个关键发现是：如果前向步长 $\gamma$ 在面识别后可以自由重新调整，那么使用最优 $\gamma$ 的无松弛选择（$\lambda=1$）本身就是局部最优的。因此，当 $\gamma$ 被固定、过于保守或受全局约束时，外部松弛的价值最为显著。
5. 带保护的自适应选择器： 提出了一种实用的算法，能够动态锁定活跃面、估计谱参数并将其松弛参数限制在全局安全区间内，确保不会因局部调优而破坏全局收敛性。

实验结果
在 120 维稠密仿射基准测试和 80 维非线性问题的数值实验中，证实了上述理论发现：

• 受限前向步长： 在一个局部最优前向步长 $\gamma$ 违反全局边界的基准测试中，自适应过松弛法（固定 $\gamma$）相比于无松弛方法，减少了约 33% 的迭代次数。
• 可重调前向步长： 在一个 $\gamma$ 可全局容纳的非线性测试中，重新调整 $\gamma$（令 $\lambda=1$）的表现优于使用固定保守 $\gamma$ 的过松弛法。
• 安全性： 模式重置机制成功处理了暂时的面识别错误，且未破坏全局收敛性，因为松弛参数始终被限制在安全区间内。

意义与主张
本文谦逊地定位其贡献，认为其并非旨在取代通用的性能估计技术或一般的加速启发式方法，而是一种针对特定机制的解析规则。

• 适用范围： 研究结果适用于具有余科算子的盒约束变分不等式，且要求自由面雅可比矩阵为对称正定。
• 过松弛的角色： 作者澄清，过松弛（$\lambda > 1$）并非普遍优越。其独特的效用在于：当前向步长 $\gamma$ 被固定、过于保守或受全局稳定性要求约束时，$\lambda$ 作为一个必要的控制变量，用于补偿次优的 $\gamma$。
• 局限性： 分析基于谱半径（渐近速率）而非单步范数收缩，承认了全矩阵的非正规性（non-normality）可能导致多项式级的瞬态波动。闭式解是针对盒约束几何结构的特定解。

综上所述，本文提供了一个精确的标准，用于判断何时过松弛是有益的：它是一种针对“固定前向步长”场景的定向加速工具，旨在解决无法局部优化前向步长的情形，而非对所有分裂方法的通用改进。