On a mean-field Pontryagin minimum principle for stochastic optimal control

Resumo Técnico: Um Princípio do Mínimo de Pontryagin de Campo Médio para Controle Ótimo Estocástico

Enunciado do Problema
O artigo aborda o problema de controle ótimo estocástico para sistemas governados por equações diferenciais estocásticas (EDEs) controladas da forma $dX_t = b(X_t)dt + G(X_t)U_t dt + \Sigma^{1/2}dB_t$. O objetivo é encontrar uma lei de controle em malha fechada $U_t = u_t(X_t)$ que minimize um custo de horizonte finito ou um custo descontado de horizonte infinito. Enquanto o Princípio do Mínimo de Pontryagin (PMP) clássico resolve o controle ótimo determinístico por meio de equações diferenciais ordinárias (EDOs) de avanço e retrocesso, sua extensão para sistemas estocásticos geralmente depende de equações diferenciais estocásticas de avanço e retrocesso (EDEs-AR). Os autores observam que as EDEs-AR são computacionalmente desafiadoras e frequentemente exigem a resolução de sistemas acoplados que são difíceis de desacoplar.

Metodologia: O Princípio do Mínimo de McKean–Pontryagin
Os autores propõem uma formulação determinística de campo médio, inovadora, denominada Princípio do Mínimo de McKean–Pontryagin. Esta abordagem evita o uso direto de EDEs-AR introduzindo um par de funções auxiliares para construir uma estrutura hamiltoniana. A metodologia procede através das seguintes etapas:

1. Formulação Euleriana: Os autores partem da equação de Hamilton-Jacobi-Bellman (HJB) e da equação de Fokker-Planck. Eles introduzem funções auxiliares $\phi_t$ (relacionadas à função valor) e um multiplicador de Lagrange $\beta_t$ para desacoplar o termo de difusão e impor restrições. Isso leva a um sistema hamiltoniano restrito envolvendo a evolução da densidade de probabilidade $\rho_t$ e a função valor $v_t$.
2. Formulação Lagrangiana: Transformando as EDPs eulerianas em uma estrutura lagrangiana, o sistema é descrito por partículas interagentes $(X_t, P_t)$, onde $X_t$ representa o estado e $P_t$ representa o co-estado (momento). A evolução dessas partículas segue um sistema de EDOs hamiltonianas.
3. Liberdade de Gauge e Desacoplamento: Uma característica fundamental da formulação é uma "liberdade de gauge" na escolha da função auxiliar $\beta_t$. Os autores demonstram que, ao selecionar $\beta_t$ adequadamente (por exemplo, $\beta_t = -G(X_t)R G(X_t)^T P_t$), a evolução avançada dos estados $X_t$ e a evolução retrocedida dos co-estados $P_t$ podem ser desacopladas. Isso simplifica significativamente o problema de valor de contorno em comparação com o PMP estocástico padrão.
4. Extensão para Horizonte Infinito: Para problemas de custo descontado de horizonte infinito, a formulação é adaptada para produzir um par de EDOs de campo médio de avanço. Ao executar essas equações para frente no tempo a partir de condições iniciais apropriadas, o sistema converge assintoticamente para a lei de controle estacionária ótima, eliminando a necessidade de integração retrocedida.

Principais Contribuições

• PMP de Campo Médio Determinístico: O artigo introduz uma alternativa determinística ao PMP estocástico, substituindo as EDEs-AR por sistemas de partículas interagentes governados por EDOs hamiltonianas.
• Mecanismo de Desacoplamento: A introdução da liberdade de gauge permite o desacoplamento das equações de avanço e retrocesso em problemas de horizonte finito, facilitando a solução numérica de problemas de valor de contorno.
• Simulação de Avanço para Horizonte Infinito: Para problemas de horizonte infinito, o método converte o cálculo da lei de controle ótima em uma simulação puramente avançada de EDOs acopladas, evitando a complexidade de resolver equações HJB estacionárias diretamente.
• Aproximações Numéricas: O artigo discute várias estratégias de implementação numérica, incluindo:
  • Formulações de regressão: Usando mínimos quadrados para aproximar o gradiente da função valor.
  • Pontes de Schrödinger discretas: Aproximando o gerador do processo de difusão para lidar com a interação entre partículas.
  • Abordagens variacionais: Usando funções de ansatz paramétricas para as variáveis auxiliares.

Resultados Numéricos
A metodologia é validada através de quatro experimentos numéricos:

1. Pêndulo Invertido (Horizonte Infinito): O método estabiliza com sucesso o equilíbrio instável de um pêndulo invertido controlado. A formulação de campo médio permite a exploração do espaço de estados via difusão adicionada (viscosidade), levando a uma rápida equalização.
2. Sistema Lorenz-63 (Horizonte Infinito): Aplicado a um sistema caótico, a lei de controle restringe com sucesso a trajetória a uma região específica ($x_t \geq 0$), eliminando efetivamente a natureza caótica do sistema não controlado e guiando-o para uma órbita quase-periódica.
3. Pêndulo Invertido (Horizonte Recorrente/NMPC): A formulação é adaptada para Controle Preditivo por Modelo Não Linear (NMPC) usando uma aproximação linear local. Ela estabiliza com sucesso o pêndulo em um cenário de horizonte recorrente.
4. Sistema Lorenz-96 (Alta Dimensionalidade): A abordagem é testada em um sistema de 40 dimensões. Usando uma aproximação linear e localização de covariância, o método estabiliza o sistema em torno de uma solução de referência, demonstrando escalabilidade para dimensões mais altas.

Significado e Alegações
Os autores afirmam que o Princípio do Mínimo de McKean–Pontryagin oferece uma alternativa computacionalmente atraente aos métodos de controle estocástico existentes. Ao fornecer uma formulação determinística de campo médio, permite o uso de implementações de partículas interagentes (EDOs hamiltonianas) que produzem trajetórias suaves, potencialmente reduzindo a variância nas aproximações em comparação com contrapartes estocásticas. A capacidade de desacoplar equações de avanço e retrocesso simplifica a solução de problemas de valor de contorno, e a capacidade de simulação apenas de avanço para problemas de horizonte infinito oferece uma vantagem distinta sobre as abordagens tradicionais de retrocesso no tempo.

O artigo posiciona este trabalho como uma extensão das formulações de campo médio ao framework do PMP, distinto de abordagens que aproximam a função valor diretamente via aprendizado profundo ou resolvem sistemas acoplados HJB-Fokker-Planck. Embora o foco seja no controle ótimo estocástico padrão, os autores notam o potencial de extensibilidade da formulação para problemas de controle de campo médio e sistemas parcialmente observados (combinando com filtros de Kalman de conjunto), embora estes sejam identificados como áreas para trabalho futuro e não resultados atuais.