Resumo Técnico: Aprendizado Actor-Critic para Controle de Campo Médio Estendido com Políticas Determinísticas

Formulação do Problema

Este artigo aborda problemas de controle de campo médio (MFC) estendido em tempo contínuo. Neste cenário, um planejador central otimiza o comportamento coletivo de uma grande população de agentes homogêneos e interagentes. O estado controlado de um agente representativo segue uma equação diferencial estocástica (SDE) de McKean-Vasov:
$$dX^\alpha_s = b(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))ds + \sigma(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))dW_s$$
Crucialmente, ao contrário do MFC padrão onde os coeficientes dependem apenas da distribuição do estado, o MFC estendido permite que o drift $b$, a difusão $\sigma$ e as funções de recompensa dependam da distribuição conjunta do estado e do controle, denotada por $\mathcal{P}(X^\alpha_s, \alpha_s)$.

O objetivo é maximizar um funcional de recompensa sobre processos de controle admissíveis. Um desafio primário neste domínio é a natureza infinita do problema, onde a função de valor depende do tempo, do estado individual e da distribuição do estado. Além disso, as abordagens de Aprendizado por Reforço (RL) existentes para MFC em tempo contínuo frequentemente dependem de políticas estocásticas (exploratórias). Os autores argumentam que as políticas estocásticas enfrentam obstáculos algorítmicos significativos no MFC estendido: a randomização das ações altera a distribuição do controle, quebrando a linearidade do gerador em relação à política e complicando a derivação de dinâmicas auxiliares. Adicionalmente, as políticas estocásticas exigem amostragem de alta frequência e aproximações de Monte Carlo sobre espaços de ação contínuos, levando à ineficiência computacional e instabilidade.

Metodologia

O artigo propõe um framework Actor-Critic model-free utilizando políticas de feedback determinísticas. Em vez de otimizar sobre kernels estocásticos, o método otimiza sobre uma família parametrizada de políticas determinísticas $\phi_\theta(t, x, \mu)$, que mapeiam o tempo atual, o estado e a lei do estado diretamente para uma ação.

1. Fundamentos Teóricos

O núcleo da metodologia é a derivação de uma fórmula de gradiente de política determinística (DPG) para o MFC estendido em tempo contínuo.

• Sensibilidade Model-Free: Os autores estabelecem primeiro uma fórmula de sensibilidade model-free para a dinâmica de McKean-Vlasov parametrizada. Eles derivam uma fórmula de gradiente para a função de valor em relação aos parâmetros da política $\theta$ sem exigir conhecimento explícito dos coeficientes de drift ou difusão.
• Função de Taxa de Vantagem (Advantage-Rate): O gradiente é expresso como uma integral envolvendo a derivada de uma função de taxa de vantagem ao longo do fluxo de distribuições de estado.
• Decomposição Local (Teorema 3.2): Um refinamento teórico fundamental envolve a decomposição das funções de valor e de taxa de vantagem elevadas em funções locais do estado, ação e distribuição conjunta estado-ação. Esta decomposição resulta em um gradiente de política contendo:
  1. Uma derivada em relação à ação local.
  2. Um termo de derivada de medida em relação à distribuição de controle.
• Caracterização de Martingales: Os autores estabelecem uma condição de martingal para essas representações locais. Isso permite que as funções de valor e de vantagem sejam aprendidas diretamente a partir de trajetórias observadas de estado e controle, contornando a necessidade de aprender apenas a partir do fluxo das leis de estado.

2. Algoritmo: CT-DDPG

Baseado nos resultados teóricos, o artigo propõe o algoritmo Continuous-Time Deep Deterministic Policy Gradient (CT-DDPG).

• Arquitetura: O algoritmo emprega redes neurais dependentes de medida. A função de valor $V_\phi$ e a função de taxa de vantagem $q_\psi$ são aproximadas usando redes neurais que recebem como entrada não apenas o estado e o tempo, mas também embeddings de dimensão finita da distribuição do estado (por exemplo, momentos ou mapas de características aprendíveis).
• Atualização do Crítico (Critic Update): Os críticos são treinados usando um esquema de aprendizado de diferença temporal (TD) derivado da caracterização de martingal. A função de perda impõe as restrições de Bellman e as condições terminais.
• Atualização do Ator (Actor Update): A política é atualizada via ascensão de gradiente usando a fórmula de DPG derivada (Eq. 3.22), que utiliza a função de taxa de vantagem local e suas derivadas.
• Exploração: Como a política é determinística, a exploração é introduzida externamente via dois mecanismos:
  1. Exploração no espaço de ação: Adição de ruído às ações selecionadas pela política.
  2. Exploração no espaço de parâmetros: Perturbação dos parâmetros da rede da política.
• Simulação: A dinâmica de McKean-Vlasov é simulada usando uma aproximação de partículas (discretização Euler-Maruyama) com $M$ agentes para estimar as distribuições empíricas.

Principais Contribuições

1. Framework de Política Determinística para MFC Estendido: O artigo introduz um framework de RL model-free especificamente para o MFC estendido em tempo contínuo que evita as limitações das abordagens de política estocástica (como a perda de linearidade no gerador e o alto custo computacional).
2. Nova Fórmula de Gradiente de Política: Deriva uma fórmula de gradiente de política determinística que contabiliza explicitamente a dependência da distribuição conjunta estado-ação. Isso inclui um novo termo de derivada de medida em relação à distribuição de controle, essencial para problemas de MFC estendido.
3. Representação de Vantagem Local: Ao decompor as funções de valor e de vantagem em componentes locais, os autores permitem sinais de aprendizado mais informativos derivados de trajetórias individuais, em vez de apenas o fluxo agregado do estado.
4. Implementação Algorítmica: O artigo apresenta o algoritmo CT-DDPG, integrando aproximações de partículas, redes neurais dependentes de medida e aprendizado TD para resolver esses problemas de controle de alta dimensão e dimensão infinita.

Resultados Numéricos

O método proposto é avaliado em dois problemas de benchmark:

1. Controle de Consenso de Cucker-Smale Estocástico:

   • Caso Linear-Quadrático (LQ) ($\gamma=0$): O CT-DDPG converge mais rapidamente para o valor ótimo do que as baselines model-aware existentes (Actor-Critic e Q-Learning), apesar de não explorar a estrutura LQ conhecida.
   • Caso Não-LQ ($\gamma=1$): O método demonstra robustez e eficiência. Variantes que utilizam mapas de características aprendíveis para o embedding da distribuição performam comparavelmente àquelas que utilizam características de kernel manuais, validando a natureza model-agnostic da abordagem.
   • Exploração: A exploração no espaço de ação mostrou-se mais robusta à calibração da escala de ruído do que a exploração no espaço de parâmetros, embora ambas possam atingir desempenho comparável com ajuste cuidadoso.

2. Liquidação Ótima com Crowding de Negociação (Trade Crowding):

   • Este problema depende explicitamente da distribuição de controle (impacto de mercado permanente).
   • O CT-DDPG exibe velocidade de convergência e estabilidade superiores em comparação com as baselines.
   • Neste cenário específico, a exploração no espaço de parâmetros mostrou potenciais vantagens sobre a exploração no espaço de ação quando ajustada corretamente, pois o ruído no espaço de ação não perturbou suficientemente a dinâmica do processo de preço.

Significância e Alegações

O artigo afirma que a proposta abordagem de política determinística oferece vantagens computacionais significativas sobre métodos de política estocástica em configurações de MFC estendido em tempo contínuo. Ao evitar a otimização sobre kernels estocásticos e utilizar diretamente a estrutura de push-forward de políticas determinísticas, o método alcança:

• Melhor Estabilidade: A natureza determinística da política reduz a variância associada à amostragem estocástica de ações.
• Convergência Mais Rápida: O princípio de aprendizado baseado em martingais e as representações de vantagem local fornecem gradientes mais informativos.
• Capacidade Model-Free: O algoritmo opera sem conhecimento das dinâmicas do sistema ($b, \sigma$) ou das funções de recompensa, tornando-o aplicável a cenários complexos do mundo real onde tais modelos são desconhecidos ou intratáveis.

Os autores enfatizam que sua abordagem remove suposições restritivas encontradas em trabalhos anteriores (por exemplo, estruturas separáveis ou dependência explícita conhecida de controles) e fornece um framework unificado para aprender em problemas de MFC estendido onde a distribuição de controle desempenha um papel crítico.