A Step-Size-Based Spectral Three-Term Conjugate Gradient Method for Unconstrained Optimization with Applications to Robotic Motion Control and Image Denoising

技術要約：非制約最適化のためのステップサイズに基づくスペクトル3項共役勾配法

問題設定
本論文は、関数 $f$ が連続微分可能であり、その勾配がリプシッツ連続性を満たす形式の、大規模な非制約最適化問題 $\min_{x \in \mathbb{R}^n} f(x)$ を解く問題を扱う。共役勾配（CG）法は、メモリ使用量が少なく、大規模な問題に対して簡便に扱えることから好まれているが、既存のバリアントは理論的な収束保証と数値的な性能のバランスをとることに苦慮することが多い。具体的には、著者らは、古典的なRMIL（Rivaie, Mustafa, Ismail, Leong）パラメータやその3項修正版は、十分な降下条件を満たすものの、曲率情報を組み込んで、特に悪条件の問題に対する堅牢性を向上させるためのDai–Liao拡張共役条件を考慮できていないことが多いと指摘している。さらに、不正確なラインサーチ（Strong Wolfe戦略など）の下では、特定のRMILバリアントは完全ラインサーチのバリアントとの等価性を失い、結果として異なる、時には最適ではない理論的特性を持つことになる。

手法
著者らは、STTDL（Spectral Three-Term Dai–Liao）と呼ばれる新しいアルゴリズムを提案する。この手法は、スペクトルスケーリングと修正された共役条件を統合した3項構造を用いて、探索方向 $\delta_n$ を構築する。

1. 修正共役条件: 理論的な核心となる革新は、Dai–Liao共役条件（$\delta_n^T \gamma_{n-1} = -t g_n^T s_{n-1}$）の修正である。著者らは、標準的なステップベクトル $s_{n-1}$ に代わって、「保護された」ステップベクトル $\hat{s}_{n-1}$（本文中では $bs_{n-1}$ と表記）を導入している。この保護により、ステップベクトルのノルムがゼロから離れた値に保たれ、安定性を維持しながら曲率情報を保持することができる。
2. 3項探索方向: 探索方向は、現在の勾配 $g_n$、前の勾配 $g_{n-1}$、および保護されたステップの関係に基づいて、区分的に定義される。探索方向は一般に以下の形式をとる：
   $$\delta_n = -\phi_n g_n + \beta_n b s_{n-1} + \theta_n \gamma_{n-1}$$
   （または $g_{n-1}$ を含むバリアント）。
3. スペクトルパラメータの導出: スペクトルパラメータ $\phi_n$ および $\hat{\phi}_n$ は、未截断の探索方向が修正された共役条件を正確に満たすように、代数的に導出される。ラインサーチに関わらず十分な降下条件（$g_n^T \delta_n \leq -\lambda \|g_n\|^2$）を保証するために、これらのパラメータは $\phi_n, \hat{\phi}_n \geq 1$ となるように截断される。
4. アルゴリズムの実行: アルゴリズムは、ステップサイズ $\zeta_n$ を決定するためにStrong Wolfeラインサーチ条件を採用する。勾配のノルムが指定された許容値を下回るまで、最急降下方向で初期化し、反復的に解を更新する。

主な貢献

• 新しいスペクトル3項スキーム: 本論文は、RMILフレームワークとスペクトルアプローチ、および修正されたDai–Liao共役条件を組み合わせた新しい反復スキームを導入している。
• 理論的保証: 提案手法がすべての反復において、無条件に十分な降下条件を満たすことを証明している。さらに、標準的な仮定（有界なレベルセットおよびリプシッツ連続な勾配）とStrong Wolfeラインサーチの下で、アルゴリズムのグローバル収束性（$\liminf_{n \to \infty} \|g_n\| = 0$）が確立されている。
• 修正共役条件: 安定性を確保し曲率情報を保持するために、保護されたステップベクトルを利用した、一般化された共役条件の新しい修正が導入されている。
• 実用的な応用: 本手法は、2つの異なる実世界の課題に適用されている：
  • ロボット運動制御: 非線形最小二乗問題として定式化された、3リンク平面ロボットマニピュレータの軌跡追従。
  • 画像デノイジング: 特定の $\ell_1$ 近似モデルを用いた、ソルト・アンド・ペッパーノイズによって汚染された画像の復元。

実験結果
STTDLの性能は、競合する2つのアルゴリズム（IRMILおよびTGRM）と比較して評価された。

• ベンチマークテスト: 変数の次元が2から100,000に及ぶAndrei (2008) の100個の無制約テスト問題を用い、Dolan–Moréパフォーマンスプロファイルを利用して評価を行った。
  • 反復回数 (NI): STTDLは、テスト問題の約**75%**において最小の反復回数を達成し、IRMIL（約60%）およびTفرم（約37%）を上回った。
  • 関数評価回数 (FE): STTDLは、約**51%**の問題で最も少ない評価回数を必要とした。
  • CPU時間: TGRMが約44%の問題で最速であったが、STTDLも競争力のある性能を維持しており、約34%のケースで最速であった。
• 応用結果:
  • ロボティクス: 軌跡追従において、STTDLはロボットのエンドエフェクタをリサージュ曲線に沿って誘導することに成功し、残留誤差は $10^{-6}$ から $10^{-8}$ の範囲まで急速に減少した。関節運動は不安定になることなく滑らかであった。
  • 画像デノイジング: 30%および70%のソルト・アンド・ペッパーノイズに汚染された画像に対し、STTDLはIRMILやTGRMと比較して競争力のあるピーク信号対雑音比（PSNR）を示し、同等の復元品質を達成するために、より少ない反復回数または同等のCPU時間を要することが多かった。

意義と主張
本論文は、STTDLアルゴリズムが理論的な収束特性と数値的な効率性の間の溝を効果的に埋めるものであると主張している。修正されたDai–Liao共役条件をスペクトル3項フレームワークに組み込むことで、本手法は十分な降下とグローバルな収束を保証しつつ、大規模かつ悪条件の問題における性能を高めるための曲率情報を活用している。著者らは、アルゴリズムが標準的なベンチマークテストだけでなく、ロボット制御や画像処理タスクへの成功裏の適用によっても検証されており、大規模な無制約最適化のための信頼できる効果的なツールであることを断言している。研究は、STTDLが堅牢性と計算効率の優れたバランスを提供していると結論付けている。