A Slow-Fast Stochastic Framework for Zeroth-Order Distributed Time-Varying Optimization

Resumen Técnico: Un Marco Estocástico de Escala Lenta-Rápida para la Optimización Distribuida de Tiempo Variable de Orden Cero

Formulación del Problema
Este artículo aborda el desafío de la optimización distribuida de tiempo variable para Sistemas Multi-Agente Estocásticos (SMAS, por sus siglas en inglés) bajo restricciones de información de orden cero. A diferencia de la optimización estática, el objetivo aquí consiste en rastrear una trayectoria óptima global que varía en el tiempo, donde las funciones de costo locales evolucionan continuamente. El sistema opera bajo restricciones significativas:

1. Información de Orden Cero: Los agentes no tienen acceso a la información exacta del gradiente; solo se dispone de los valores de la función.
2. Estocasticidad: El sistema está sujeto a perturbaciones ambientales, ruidos de comunicación y perturbaciones externas aleatorias modeladas mediante ecuaciones diferenciales estocásticas (SDE).
3. Restricciones de Consenso: Los agentes deben cooperar para rastrear la trayectoria óptima manteniendo un consenso relajado (consenso sesgado), debido a la imposibilidad inherente de mantener un consenso estricto ante la presencia de movimiento browniano.

Los métodos existentes suelen depender de gradientes de primer orden o marcos de tiempo discreto, los cuales no logran capturar la evolución continua de procesos físicos (por ejemplo, coordinación de múltiples robots, enjambres de UAV) o resultan inaplicables cuando los gradientes no están disponibles.

Metodología
Los autores proponen un novedoso Marco Estocástico de Escala Lenta-Rápida basado en la teoría de perturbación singular estocástica. La innovación central es la construcción de un sistema de dos escalas temporales:

1. Subsistema Rápido (Estimación de Gradiente): Se introduce una variable rápida auxiliar $g_i$ para cada agente. Este subsistema actúa como un estimador de gradiente suave. Utiliza un método de estimación de gradiente de dos puntos con perturbaciones por coordenadas para generar una estimación de gradiente estocástica instantánea. Las dinámicas rápidas están diseñadas para rastrear y suavizar rápidamente estas estimaciones, actuando efectivamente como un filtro de paso bajo adaptativo contra el ruido y el sesgo de estimación.
2. Subsistema Lento (Optimización y Consenso): El estado del agente $x_i$ evoluciona como el subsistema lento. Sus dinámicas están impulsadas por las estimaciones de gradiente suavizadas del subsistema rápido, combinadas con protocolos de consenso que involucran interacciones con vecinos (utilizando funciones lineales y de tipo signo no lineales).
3. Análisis Teórico: El análisis emplea técnicas de perturbación singular estocástica para desacoplar el sistema. Los autores construyen un "sistema reducido" (R-SMASs) donde la variable rápida se reemplaza por su valor de estado cuasi-estacionario. Utilizando la teoría de Lyapunov estocástica, demuestran que el sistema lento-rápido original aproxima al sistema reducido con un límite de error dependiente del parámetro de perturbación $\epsilon$.

Contribuciones Clave

• Marco Unificado: El artículo formula un problema de optimización distribuida de orden cero que unifica objetivos de tiempo variable, estructuras de información de orden cero y dinámicas multi-agente estocásticas dentro de un marco de tiempo continuo.
• Acoplamiento Lento-Rápido Novedoso: Se diseña una nueva arquitectura de sistema donde un estimador de gradiente suave auxiliar (subsistema rápido) proporciona estimaciones de gradiente robustas y en tiempo real para la evolución del estado (subsistema lento). Esto separa las escalas temporales de estimación y optimización.
• Análisis de Perturbación Singular Estocástica: Los autores establecen un marco de análisis riguroso que demuestra que el estimador auxiliar logra un rastreo exponencial de la densidad de gradiente estocástica instantánea. Derivan una relación aproximada entre el sistema lento-rápido completo y el sistema reducido, mostrando que el error de aproximación desaparece cuando $\epsilon \to 0$.
• Garantías de Convergencia: El artículo establece que el sistema logra un Consenso de Tiempo Fijo Práctico (Pfxc) en probabilidad y un Rastreo de Límite Exponencial Globalmente Acotado en el Sentido de la Media (MS-GEUB) de la trayectoria óptima que varía en el tiempo. Se proporcionan límites explícitos para caracterizar los efectos de los parámetros de diseño, las perturbaciones estocásticas y las propiedades de la función objetivo sobre el desempeño.

Resultados
Los resultados teóricos demuestran que, a pesar de las perturbaciones estocásticas y los errores de estimación de gradiente:

• El subsistema rápido converge rápidamente a las estimaciones de gradiente estocásticas instantáneas.
• El subsistema lento logra el consenso en probabilidad dentro de un tiempo fijo (esperanza limitada del tiempo de asentamiento).
• Los estados de los agentes rastrean asintóticamente la trayectoria óptima variable con un error acotado.
• El error de rastreo y el error de consenso están explícitamente acotados por funciones del parámetro de perturbación $\epsilon$, la intensidad del ruido y el sesgo de estimación del gradiente.

Simulaciones numéricas que involucran a 10 agentes rastreando una trayectoria óptima sinusoidal validan estos hallazgos teóricos. Los resultados muestran que los agentes logran el consenso y rastrean la trayectoria óptima con errores significativamente menores que los límites superiores teóricos, confirmando la efectividad del esquema propuesto.

Significancia
El artículo afirma proporcionar una base teórica sistemática para la optimización distribuida de orden cero en entornos estocásticos. Al utilizar el modelado en tiempo continuo y el análisis de perturbación singular, revela las dinámicas internas de los algoritmos de optimización que los modelos de tiempo discreto podrían ocultar. El marco propuesto permite la aplicación de métodos de sistemas dinámicos y teoría de control para resolver problemas de optimización complejos donde la información de gradiente no está disponible y la incertidencia es prevalente. El trabajo sugiere que las investigaciones futuras podrían centrarse en mecanismos adaptativos de escala temporal, optimización no convexa y arquitecturas basadas en aprendizaje, pero la contribución actual es el establecimiento del marco estocástico fundamental de escala lenta-rápida y sus propiedades de convergencia.