A Unifying View of Anchoring via Operator-Side Tikhonov Regularization

Resumen Técnico: Una visión unificadora del anclaje mediante la regularización de Tikhonov del lado del operador

Planteamiento del problema
El artículo aborda el problema de obtener garantías de convergencia de última iteración (last-iterate) agudas para métodos de puntos fijos y de ecuaciones monótonas. Si bien los métodos clásicos como la iteración de Picard (para aplicaciones no expansivas) y el paso hacia adelante (forward step) para operadores monótonos son fundamentales, a menudo fallan en converger o divergen bajo condiciones de Lipschitz meramente no expansivas o monótonas sin estructura adicional (por ejemplo, cocoercitividad). Las variantes "ancladas" existentes, como la iteración de Halpern, el Gradiente Extra Anclado (EAG) y los métodos de Popov/OGDA anclados, logran con éxito tasas de aceleración de última iteración (por ejemplo, $O(1/k)$) añadiendo un tirón evanescente hacia un punto de referencia $x_0$. Sin embargo, el artículo argumenta que la ubicación de los términos de anclaje en la literatura existente es a menudo específica de cada algoritmo y conceptualmente opaca, careciendo de una derivación unificada a partir del patrón de consulta del método base.

Metodología: Regularización de Tikhonov del lado del operador
La contribución central es un principio de construcción unificador denominado regularización de Tikhonov del lado del operador. En lugar de modificar la regla de actualización directamente para insertar un ancla, los autores proponen regularizar el operador consultado por el método base.

1. La construcción:

   • Para un problema de punto fijo con la aplicación $T$, el método regulariza la aplicación a $T_k(x) = (1-\delta_k)T(x) + \delta_k x_0$.
   • Para una ecuación monótona con el operador $F$, el método regulariza el desplazamiento escalado a $G_k(x) = \eta_k F(x) + \delta_k(x - x_0)$.
     Aquí, $\delta_k$ es una secuencia evanescente ($\delta_k \downarrow 0$) y $x_0$ es un ancla fija.

2. La ejecución:
   El método base (Picard, Paso hacia adelante, Extragradiente o Extragradiente Pasado) se aplica a este objeto regularizado móvil sin modificaciones.

   • Picard sobre $T_k$: Produce la iteración de Halpern.
   • Paso hacia adelante sobre $G_k$: Produce un paso hacia adelante anclado estabilizado.
   • Extragradiente (EG) sobre $G_k$: Produce una nueva variante, Reg-EG, donde el segundo término de ancla se evalúa en el punto de prospección (lookahead point) ($x_{k+1/2}$) en lugar de en la iteración actual.
   • Extragradiente Pasado (PEG) sobre $G_k$: Produce Reg-PEG, donde los términos de ancla se evalúan en los puntos de consulta pasados y actuales de PEG ($\tilde{x}_{k-1}$ y $\tilde{x}_k$).

3. Marco de análisis:
   El análisis de convergencia sigue un patrón unificado de progreso–deriva–sesgo (progress–drift–bias):

   • Progreso: El operador regularizado es fuertemente monótono (o contractivo), lo que asegura una contracción en el potencial residual regularizado $E_k$.
   • Deriva: El análisis acota el cambio en el operador regularizado entre pasos ($G_{k-1}$ a $G_k$), tratándolo como un término de deriva.
   • Sesgo: El paso final elimina el sesgo de la regularización para acotar el residual original ($\|T(x_k)-x_k\|$ o $\|F(x_k)\|$).

Contribuciones clave y resultados

1. Unificación del anclaje: El artículo demuestra que la colocación del ancla en varios métodos acelerados no es arbitraria, sino que está determinada sistemáticamente por el patrón de consulta del método base cuando se aplica al operador regularizado. Esto proporciona una única derivación intuitiva para Halpern, Reg-EG y Reg-PEG.

2. Nuevas variantes y garantías:

   • Reg-Forward Step: El artículo establece que un paso hacia adelante regularizado por Tikhonov por sí solo estabiliza el método para operadores Lipschitz meramente monótonos, logrando una tasa de norma de residual de última iteración de $O(LR/\sqrt{k})$. Esta es la primera garantía de este tipo para un paso hacia adelante de una sola llamada sin mecanismos de extragradiente o de consulta pasada.
   • Reg-EG y Reg-PEG: El artículo introduce estas nuevas variantes regularizadas. Ambas logran una tasa de norma de residual de última iteración acelerada de $O(LR/k)$ en el entorno de Lipschitz monótono sin restricciones.
   • Iteración de Halpern: El marco recupera la tasa conocida de $O(1/k)$ para la iteración de Halpern en espacios de norma general, proporcionando una nueva perspectiva de análisis.

3. Colocaciones específicas de anclas:

   • En Reg-EG, el ancla se coloca en el punto de prospección ($x_{k+1/2}$), diferenciándose de las variantes estándar de EG anclado (como EAG) donde el ancla está ligada al desplazamiento base ($x_0 - x_k$).
   • En Reg-PEG, las anclas siguen los puntos de consulta del operador ($\tilde{x}_{k-1}$ y $\tilde{x}_k$), lo que distingue al método de los esquemas de Popov anclados que aplican anclas a las iteraciones base.

Significado y afirmaciones
El artículo afirma que esta perspectiva del lado del operador clarifica el mecanismo de la "aceleración por anclaje". Postula que el anclaje no es simplemente un cambio estructural del algoritmo, sino una consecuencia de resolver un problema mejor condicionado (regularizado) mientras se equilibra el progreso contra el sesgo de la regularización.

Los autores enfatizan que esta visión:

• Proporciona una única derivación intuitiva que produce nuevas variantes ancladas aceleradas de manera uniforme.
• Genera nuevos resultados (específicamente el Reg-Forward Step y las variantes específicas de Reg-EG/PEG con sus distintas colocaciones de anclas) que no habían sido derivados previamente a través de este lente unificado.
• Mantiene tasas agudas ($O(1/k)$ para las variantes de EG/PEG y $O(1/\sqrt{k})$ para el paso hacia adelante) comparables o coincidentes con las mejores tasas conocidas en la literatura, pero derivadas a través de un marco de prueba común.

El trabajo se presenta como una unificación teórica en un entorno simple, de valor único y sin restricciones, con extensiones a inclusiones monótonas y desigualdades variacionales señaladas como direcciones futuras naturales.