A Slow-Fast Stochastic Framework for Zeroth-Order Distributed Time-Varying Optimization

Resumo Técnico: Uma Estrutura Estocástica Lenta-Rápida para Otimização Distribuída de Tempo Variável de Ordem Zero

Formulação do Problema
Este artigo aborda o desafio da otimização distribuída de tempo variável para Sistemas Multiagentes Estocásticos (SMASs) sob restrições de informação de ordem zero. Diferente da otimização estática, o objetivo aqui envolve rastrear uma trajetória ótima global que varia no tempo, onde as funções de custo locais evoluem continuamente. O sistema opera sob restrições significativas:

1. Informação de Ordem Zero: Os agentes não possuem acesso à informação exata do gradiente; apenas os valores das funções estão disponíveis.
2. Estocasticidade: O sistema está sujeito a distúrbios ambientais, ruídos de comunicação e perturbações externas aleatórias modeladas via equações diferenciais estocásticas (SDEs).
3. Restrições de Consenso: Os agentes devem cooperativamente rastrear a trajetória ótima enquanto mantêm um consenso relaxado (consenso enviesado) devido à impossibilidade inerente de manter o consenso estrito na presença de movimento browniano.

Métodos existentes frequentemente dependem de gradientes de primeira ordem ou estruturas de tempo discreto, que falham em capturar a evolução contínua de processos físicos (ex: coordenação de múltiplos robôs, enxames de UAVs) ou são inaplicáveis quando os gradientes não estão disponíveis.

Metodologia
Os autores propõem uma nova Estrutura Estocástica Lenta-Rápida baseada na teoria de perturbação singular estocástica. A inovação central é a construção de um sistema de duas escalas temporais:

1. Subsistema Rápido (Estimativa de Gradiente): Uma variável auxiliar rápida $g_i$ é introduzida para cada agente. Este subsistema atua como um estimador de gradiente suave. Ele utiliza um método de estimativa de gradiente de dois pontos com perturbações por coordenada para gerar uma estimativa de gradiente estocástica instantânea. A dinâmica rápida é projetada para rastrear e suavar rapidamente essas estimativas, atuando efetivamente como um filtro passa-baixa adaptativo contra ruído e viés de estimativa.
2. Subsistema Lento (Otimização e Consenso): O estado do agente $x_i$ evolui como o subsistema lento. Suas dinâmicas são impulsionadas pelas estimativas de gradiente suavizadas do subsistema rápido, combinadas com protocolos de consenso envolvendo interações de vizinhança (usando funções lineares e do tipo sinal não lineares).
3. Análise Teórica: A análise emprega técnicas de perturbação singular estocástica para desacoplar o sistema. Os autores constroem um "sistema reduzido" (R-SMASs) onde a variável rápida é substituída pelo seu valor de estado estacionário quase-estacionário. Usando a teoria de Lyapunov estocástica, eles provam que o sistema lento-rápido original aproxima o sistema reduzido com um limite de erro dependente do parâmetro de perturbação $\epsilon$.

Principais Contribuições

• Estrutura Unificada: O artigo formula um problema de otimização de ordem zero distribuída que unifica objetivos variantes no tempo, estruturas de informação sem gradiente e dinâmicas multiagentes estocásticas dentro de um framework de tempo contínuo.
• Acoplamento Lento-Rápido Inovador: Uma nova arquitetura de sistema é projetada onde um estimador de gradiente suave auxiliar (subsistema rápido) fornece estimativas de gradiente robustas e em tempo real para a evolução do estado (subsistema lento). Isso separa as escalas temporais de estimativa e otimização.
• Análise de Perturbação Singular Estocástica: Os autores estabelecem um rigoroso framework de análise provando que o estimador auxiliar alcança o rastreamento exponencial do gradiente estocástico instantâneo. Eles derivam uma relação aproximada entre o sistema lento-rápido completo e o sistema reduzido, mostrando que o erro de aproximação desaparece conforme $\epsilon \to 0$.
• Garantias de Convergência: O artigo estabelece que o sistema alcança Consenso de Tempo Fixo Prático (Pfxc) em probabilidade e Limitação Exponencial Globalmente Eventualmente Limitada em Média Quadrática (MS-GEUB) do rastreamento da trajetória ótima variante no tempo. Limites explícitos são fornecidos para caracterizar os efeitos dos parâmetros de projeto, distúrbios estocásticos e propriedades da função objetivo sobre o desempenho.

Resultados
Resultados teóricos demonstram que, apesar das perturbações estocásticas e erros de estimativa de gradiente:

• O subsistema rápido converge rapidamente para as estimativas de gradiente estocásticas instantâneas.
• O subsistema lento alcança o consenso em probabilidade dentro de um tempo fixo (esperança limitada do tempo de assentamento).
• Os estados dos agentes rastreiam assintoticamente a trajetória ótima variante no tempo com um erro limitado.
• O erro de rastreamento e o erro de consenso são explicitamente limitados por funções do parâmetro de perturbação $\epsilon$, da intensidade do ruído e do viés de estimativa do gradiente.

Simulações numéricas envolvendo 10 agentes rastreando uma trajetória ótima senoidal validam esses achados teóricos. Os resultados mostram que os agentes alcançam o consenso e rastreiam a trajetória ótima com erros significativamente menores do que os limites superiores teóricos, confirmando a eficácia do esquema proposto.

Significância
O artigo afirma fornecer uma base teórica sistemática para a otimização distribuída de ordem zero variante no tempo em ambientes estocásticos. Ao utilizar modelagem de tempo contínuo e análise de perturbação singular, ele revela a dinâmica interna de algoritmos de otimização que modelos de tempo discreto podem obscurecer. O framework proposto permite a aplicação de métodos de sistemas dinâmicos e teoria de controle para resolver problemas de otimização complexos onde a informação de gradiente não está disponível e a incerteza é prevalente. O trabalho sugere que pesquisas futuras poderiam focar em mecanismos adaptativos de escala temporal, otimização não convexa e arquiteturas baseadas em aprendizado, mas a contribuição atual é o estabelecimento da estrutura fundamental lenta-rápida estocástica e suas propriedades de convergência.