A Step-Size-Based Spectral Three-Term Conjugate Gradient Method for Unconstrained Optimization with Applications to Robotic Motion Control and Image Denoising

技术摘要：一种用于无约束优化的基于步长谱三项共轭梯度法

问题陈述
本文旨在解决求解大规模无约束优化问题 $\min_{x \in \mathbb{R}^n} f(x)$ 的问题，其中 $f$ 是连续可微的，且其梯度满足 Lipschitz 连续性。虽然共轭梯度（CG）法因其低内存占用以及在处理大规模问题时的简便性而备受青睐，但现有的变体往往难以在理论收敛保证与数值性能之间取得平衡。具体而言，作者指出，尽管经典的 RMIL（Rivaie, Mustafa, Ismail, Leong）参数及其三项修改版本满足充分下降条件，但它们经常无法考虑到 Dai–Liao 扩展共轭条件，该条件通过引入曲率信息来提高鲁棒性，对于病态问题尤为重要。此外，在不精确线搜索（如强 Wolfe 策略）下，某些 RMIL 变体会失去与精确线搜索版本的等价性，从而导致不同的、有时是次优的理论特性。

方法论
作者提出了一种名为 STTDL（谱三项 Dai–Liao）的新算法。该方法构建了一个搜索方向 $\delta_n$，其采用三项结构，将谱缩放与改进的共轭条件相结合。

1. 改进的共轭条件： 其核心理论创新是对 Dai–Liao 共轭条件（$\delta_n^T \gamma_{n-1} = -t g_n^T s_{n-1}$）进行的修改。作者引入了一个“保护型”步向量 $\hat{s}_{n-1}$（文中记作 $bs_{n-1}$）来替换标准的步向量 $s_{n-1}$。这种保护机制确保了步向量的范数远离零，从而在保持稳定性的同时保留曲率信息。
2. 三项搜索方向： 搜索方向根据当前梯度 $g_n$、前一梯度 $g_{n-1}$ 以及受保护步向量之间的关系进行分段定义。该方向通常具有如下形式：
   $$\delta_n = -\phi_n g_n + \beta_n b s_{n-1} + \theta_n \gamma_{n-1}$$
   （或涉及 $g_{n-1}$ 的变体），其中 $\phi_n$ 和 $\hat{\phi}_n$ 是谱参数。
3. 谱参数推导： 通过代数运算推导谱参数 $\phi_n$ 和 $\hat{\phi}_n$，以确保未截断的搜索方向精确满足改进后的共轭条件。为了确保无论在线搜索如何的情况下都能满足充分下降条件（$g_n^T \delta_n \leq -\lambda \|g_n\|^2$），这些参数被截断使得 $\phi_n, \hat{\phi}_n \geq 1$。
4. 算法执行： 算法采用强 Wolfe 线搜索条件来确定步长 $\zeta_n$。通过以最速下降方向进行初始化，并迭代更新解，直到梯度范数低于指定的容差。

主要贡献

• 新型谱三项方案： 本文引入了一种新的迭代方案，将 RMIL 框架与谱方法及改进的 Dai–Liao 共轭条件结合在一起。
• 理论保证： 作者证明了所提方法在所有迭代中均能无条件满足充分下降条件。此外，在标准假设（有界水平集和 Lipschitz 连续梯度）及强 Wolfe 线搜索下，确立了算法的全局收敛性（$\liminf_{n \to \infty} \|g_n\| = 0$）。
• 改进的共轭条件： 引入了一种新的广义共轭条件修改方法，利用受保护的步向量来确保稳定性和曲率信息的保留。
• 实际应用： 该方法应用于两个不同的现实问题：
  • 机器人运动控制： 将三连杆平面机器人机械臂的轨迹跟踪问题表述为非线性最小二乘问题。
  • 图像去噪： 将受椒盐噪声污染的图像修复问题表述为使用特定 $\ell_1$ 近似模型的平滑无约束优化问题。

实验结果
STTDL 的性能与两种竞争算法 IRMIL 和 TGRM 进行了对比评估。

• 基准测试： 使用来自 Andrei (2008) 的 100 个维度从 2 到 100,000 变量的无约束测试问题，作者利用 Dolan–Moré 性能剖面图进行了分析。
  • 迭代次数 (NI)： STTDL 在约 75% 的测试问题上实现了最佳迭代次数，优于 IRMIL（约 60%）和 TرM（约 37%）。
  • 函数评价次数 (FE)： STTDL 在约 51% 的问题上所需的评价次数最少。
  • CPU 时间： 虽然 TGRM 在约 44% 的问题上速度最快，但 STTDL 保持了极具竞争力的表现，在约 34% 的案例中速度最快。
• 应用结果：
  • 机器人技术： 在轨迹跟踪任务中，STTDL 成功引导机器人的末端执行器沿利萨如曲线（Lissajous curve）运动，残差迅速降低至 $10^{-6}$ 到 $10^{-8}$ 的范围。关节运动保持平滑，未出现不稳定现象。
  • 图像去噪： 对于受 30% 和 70% 椒盐噪声污染的图像，STTDL 展示了与 IRMIL 和 TGRM 相当的峰值信噪比（PSNR）值，且通常在达到相似修复质量时所需的迭代次数更少或 CPU 时间相当。

意义与主张
本文声称 STTDL 算法有效地弥合了理论收敛特性与数值效率之间的差距。通过将改进的 Dai–Liao 共轭条件纳入谱三项框架，该方法在利用曲率信息增强处理大规模和病态问题性能的同时，确保了充分下降和全局收敛。作者断言，该算法是一种可靠且有效的工具，用于大规模无约束优化，这不仅通过标准基准测试得到了验证，也通过其在机器人控制和图像处理任务中的成功应用得到了证实。研究结论认为，STTDL 在鲁棒性和计算效率之间提供了卓越的平衡。