A Unifying View of Anchoring via Operator-Side Tikhonov Regularization

技術的要約：演算子側ティコノフ正則化によるアンカリングの統一的視点

問題提起
本論文は、不動点問題および単調方程式法において、シャープな「最終イテレート（last-iterate）」収束保証を得るという問題に取り組んでいる。ピカール反復（非拡大写像に対して）やフォワードステップ（単調演算子に対して）といった古典的な手法は基礎的ではあるものの、単なる非拡大性や単調リプシッツ条件の下では、追加の構造（例：ココサーコティビティ）がない限り、収束に失敗したり発散したりすることが多い。既存の「アンカー付き」変種（Halpern反復、Extra Anchored Gradient (EAG)、およびアンカー付きPopov/OGDAなど）は、参照点 $x_0$ への消失する引き込み（vanishing pull）を加えることで、加速された最終イテレート速度（例：$O(1/k)$）を達成している。しかし、本論文は、既存の文献におけるアンカー項の配置は、アルゴリズムごとに固有であり、ベースとなる手法のクエリ・パターンから導出される概念としては不明瞭であり、統一的な導出を欠いていると主張している。

手法：演算子側ティコノフ正則化
核心となる貢献は、**演算子側ティコノフ正則化（operator-side Tikhonov regularization）**と呼ばれる統一的な構成原理である。アンカーを挿入するために更新ルールを直接修正するのではなく、著者らは、ベースとなる手法によってクエリされる「演算子」自体を正則化することを提案している。

1. 構成:

   • 写像 $T$ を持つ不動点問題の場合、手法は写像を $T_k(x) = (1-\delta_k)T(x) + \delta_k x_0$ と正則化する。
   • 単調演算子 $F$ を持つ単調方程式の場合、手法はスケーリングされた変位を $G_k(x) = \eta_k F(x) + \delta_k(x - x_0)$ と正則化する。
     ここで、$\delta_k$ は消失列（$\delta_k \downarrow 0$）であり、$x_0$ は固定されたアンカーである。

2. 実行:
   ベースとなる手法（Picard、Forward Step、Extragradient、またはPast Extragradient）を、この「動く」正則化された対象に対して、変更を加えることなく適用する。

   • $T_k$ に対するPicard: Halpern反復を与える。
   • $G_k$ に対するForward Step: 安定化されたアンカー付きフォワードステップを与える。
   • $G_k$ に対するExtragradient (EG): 新しい変種である Reg-EG を生み出す。ここでは、第2のアンカー項は現在のイテレートではなく、ルックアヘッド点（$x_{k+1/2}$）で評価される。
   • $G_k$ に対するPast Extragradient (PEG): Reg-PEG を生み出す。ここでは、アンカー項は過去および現在のPEGクエリ点（$\tilde{x}_{k-1}$ および $\tilde{x}_k$）で評価される。

3. 解析フレームワーク:
   収束解析は、統一された progress–drift–bias（進展–ドリフト–バイアス） パターンに従う：

   • Progress（進展）: 正則化された演算子は強単調（または縮小的）であり、正則化された残差ポテンシャル $E_k$ における縮小を保証する。
   • Drift（ドリフト）: 解析は、ステップ間（$G_{k-1}$ から $G_k$）の正則化された演算子の変化を、ドリフト項として境界付ける。
   • Bias（バイアス）: 最後のステップで、正則化バイアスを取り除き、元の残差（$\|T(x_k)-x_k\|$ または $\|F(x_k)\|$）を境界付ける。

主要な貢献と結果

1. アンカリングの統一: 本論文は、様々な加速手法におけるアンカーの配置は恣意的なものではなく、正則化された演算子を適用した際のベースとなる手法のクエリ・パターンによって系統的に決定されることを示している。これにより、Halpern、Reg-EG、Reg-PEGに対する単一の直感的な導出が提供される。

2. 新しい変種と保証:

   • Reg-Forward Step: 本論文は、単なる単調リプシッツ演算子に対して、Tikhonov正則化されたフォワードステップ単独で手法を安定させ、$O(LR/\sqrt{k})$ の最終イテレート残差ノルム速度を達成することを示す。これは、extragradientやpast-queryメカニズムを持たない、1コール・フォワードステップにおける初のこのような保証である。
   • Reg-EG および Reg-PEG: 本論文は、これらの新しい正則化変種を導入している。両者は、非制約の単調リプシッツ設定において、加速された $O(LR/k)$ の最終イテレート残差ノルム速度を達成する。
   • Halpern 反復: 本フレームワークは、一般的なノルム空間におけるHalpern反復の既知の $O(1/k)$ のレートを回収し、新たな解析的視点を提供する。

3. 特定のアンカー配置:

   • Reg-EG では、アンカーはルックアヘッド点（$x_{k+1/2}$）に配置される。これは、アンカーがベースの変位（$x_0 - x_k$）に紐付けられている標準的なアンカー付きEG（EAGなど）とは異なる。
   • Reg-PEG では、アンカーは演算子クエリ点（$\tilde{x}_{k-1}$ および $\tilde{x}_k$）に従う。これは、アンカーをベースのイテレートに適用するアンカー付きPopovスキームとは区別される。

意義と主張
本論文は、「アンカリング加速」のメカニズムを明確にするための演算子側からの視点を主張している。アンカリングは単なるアルゴリズムの構造的変更ではなく、進展（progress）と正則化のバイアス（bias）のバランスを取りながら、より条件の良い（正則化された）問題を解くことの結果であると説いている。

著者らは、この視点が以下のことを可能にすると強調している：

• 新しい加速されたアンカー付き変種を一様に生成する、単一の直感的な導出を提供すること。
• （Reg-EG/PEGの特定のアンカー配置のような）以前にはこの統一的なレンズを通じて導出されていなかった新しい結果を生み出すこと。
• 共通の証明フレームワークを通じて導出される、EG/PEG変種の $O(1/k)$ やフォワードステップの $O(1/\sqrt{k})$ といった、既存の最良のレートに匹敵または一致するシャープなレートを維持すること。

本研究は、単純な単一値の非制約設定における理論的統一として提示されており、単調包含および変分不等式への拡張は自然な将来の方向性として言及されている。