Resumo Técnico: Gradiente de Política Bayesiano e Algoritmos Actor-Critic

1. Declaração do Problema

Os métodos de Gradiente de Política (PG) são um pilar do Aprendizado por Reforço (RL), otimizando uma política parametrizada seguindo uma estimativa do gradiente de desempenho. No entanto, os métodos PG convencionais dependem fortemente de técnicas de Monte-Carlo (MC) para estimar esses gradientes.

• Alta Variância: Os estimadores MC são não tendenciosos, mas sofrem de alta variância, exigindo um grande número de amostras para alcançar estimativas precisas, o que leva a uma convergência lenta.
• Ineficiência de Amostragem: A dependência de estimativas pontuais frequentistas ignora a incerteza inerente aos dados, falhando em aproveitar o conhecimento prévio ou a estrutura da distribuição de dados de forma eficaz.
• Limitações das Soluções Existentes: Embora linhas de base e gradientes naturais (usando a Matriz de Informação de Fisher) ajudem, eles não abordam fundamentalmente o problema da variância ou a falta de quantificação de incerteza na própria estimativa do gradiente.

O artigo aborda a necessidade de um framework mais eficiente em amostras, robusto e consciente da incerteza para a estimativa de gradiente de política e aprendizado actor-critic.

2. Metodologia

Os autores propõem um framework bayesiano que substitui a estimativa MC frequentista por Quadratura Bayesiana (BQ). A ideia central é modelar o gradiente do retorno esperado como um Processo Gaussiano (GP).

A. Gradiente de Política Bayesiano (BPG)

A abordagem BPG trata a integral do gradiente $\nabla \eta(\theta) = \int \bar{R}(\xi) \nabla \log P(\xi; \theta) d\xi$ como uma integral de uma função aleatória.

• Modelagem: O integrando é dividido em uma parte determinística (relacionada à probabilidade da política) e uma parte estocástica (o retorno). A parte estocástica é modelada como um GP.
• Dois Modelos:
  1. Modelo 1 (GP Vetorial): Modela os componentes do gradiente diretamente como um GP vetorial. Utiliza um kernel de Fisher quadrático.
  2. Modelo 2 (GP Escalar): Modela o retorno como um GP escalar e integra-o contra o gradiente da probabilidade da política. Utiliza um kernel de Fisher padrão.
• Mecanismo Chave: Ao observar trajetórias, o algoritmo computa a distribuição posterior do gradiente. Isso produz não apenas uma estimativa pontual (a média), mas também uma matriz de covariância representando a incerteza da estimativa do gradiente.
• Escolha do Kernel: O uso de Kernels de Fisher (baseados na Matriz de Informação de Fisher) é crucial. Permite a derivação de expressões de forma fechada para os momentos posteriores do gradiente, tornando o cálculo tratável.
• Aplicabilidade: Como o BPG trata trajetórias inteiras do sistema como a unidade básica, não requer a propriedade de Markov, tornando-o naturalmente extensível a MDPs Parcialmente Observáveis (POMDPs).

B. Actor-Critic Bayesiano (BAC)

Para abordar a limitação de que o BPG não pode explorar a propriedade de Markov (levando a uma variância maior em sistemas markovianos), os autores introduzem um algoritmo Actor-Critic Bayesiano.

• Critic: Utiliza aprendizado de Diferença Temporal com Processo Gaussiano (GPTD). A função valor-ação $Q(z)$ é modelada como um GP.
• Actor: Atualiza os parâmetros da política usando os momentos posteriores do gradiente derivados do GP do critic.
• Integração: Ao escolher uma covariância a priori específica para o kernel do GP (soma de um kernel de estado e o kernel de Fisher), os autores derivam expressões de forma fechada para a média e covariância posteriores do gradiente da política.
• Vantagem: O BAC usa transições individuais estado-ação-recompensa como unidade observável. Isso permite explorar a propriedade de Markov, reduzindo significativamente a variância em comparação com o BPG baseado em trajetórias, especialmente em problemas de horizonte longo.

C. Esparsificação Online

Tanto o BPG quanto o BAC envolvem matrizes de kernel que crescem com o número de amostras (complexidade $O(M^3)$). O artigo incorpora esparsificação online (baseada em Engel et al., 2002) para manter um "dicionário" de amostras representativas. Isso garante que os algoritmos permaneçam computacionalmente eficientes em tempo e memória, controlando o erro de aproximação via um parâmetro de limiar.

3. Contribuições Principais

1. Framework de Gradiente de Política Bayesiano: Uma formulação novel de métodos PG usando Quadratura Bayesiana e Processos Gaussianos, fornecendo uma distribuição posterior completa sobre o gradiente em vez de uma única estimativa pontual.
2. Soluções de Forma Fechada: A derivação de expressões analíticas para a média e covariância posteriores do gradiente usando kernels de Fisher, evitando a necessidade de integração numérica ou amostragem para a própria estimativa do gradiente.
3. Quantificação de Incerteza: A capacidade de computar a covariância do gradiente com pouco custo adicional. Isso permite aprendizado consciente de risco (por exemplo, usar a covariância para adaptar os tamanhos de passo).
4. Actor-Critic Bayesiano (BAC): Um novo algoritmo AC que combina críticos GPTD com atualizações de política bayesianas, aproveitando a propriedade de Markov para obter variância menor que o BPG.
5. Extensão para POMDPs: Demonstrar que a abordagem BPG baseada em trajetórias lida naturalmente com sistemas não markovianos sem modificação.
6. Avaliação Abrangente: Comparações experimentais extensas contra métodos clássicos de PG e Actor-Critic baseados em MC em diversos domínios.

4. Resultados Experimentais

Os autores avaliaram seus métodos em vários benchmarks:

• Problema do Bandit e Regulador Linear Quadrático (LQR):
  • As estimativas de gradiente via BQ (Quadratura Bayesiana) mostraram variância ordens de magnitude menor e maior precisão em comparação com estimativas MC, particularmente com tamanhos de amostra pequenos.
  • O BPG (usando gradientes naturais) superou o MCPG (PG Monte-Carlo) no LQR, convergindo mais rápido e alcançando retornos finais melhores, especialmente com tamanhos de amostra moderados ($M=10, 20, 40$).
  • Uma variante usando a covariância do gradiente para ajustar os tamanhos de passo (BPG-var) mostrou o melhor desempenho.
• Passeio Aleatório (10 estados):
  • O BAC superou significativamente tanto o BPG quanto o MCPG. O BAC aprendeu mais rápido e foi mais robusto a mudanças na taxa de aprendizado.
  • O BPG teve dificuldades quando os comprimentos das trajetórias variavam, enquanto o BAC (usando transições estado-ação) permaneceu estável.
• Carro na Montanha (Estado Contínuo/Ação Discreta):
  • O BAC superou consistentemente o MCPG, encontrando boas políticas com muito poucas amostras ($M=5$) e mantendo baixa variância. O MCPG exigiu tamanhos de amostra maiores para igualar o desempenho do BAC.
• Direção de Navio (Estado Contínuo/Ação Contínua):
  • Neste domínio complexo e de alta dimensão, o BAC novamente demonstrou velocidade de convergência superior e taxas de sucesso em comparação com o MCPG, com menor variância de desempenho.

5. Significado e Impacto

• Eficiência de Amostragem: O principal significado é a redução drástica no número de amostras necessárias para aprender uma política eficaz. Ao modelar o gradiente como um GP, o algoritmo "aprende" a forma da função de gradiente, permitindo-lhe generalizar a partir de menos pontos de dados do que os métodos MC.
• Aprendizado Consciente de Incerteza: A provisão da covariância do gradiente permite atualizações de política sensíveis ao risco. O algoritmo pode dar passos maiores quando a incerteza é baixa e passos menores e mais seguros quando a incerteza é alta, uma característica ausente nos métodos PG padrão.
• Rigor Teórico: O artigo fornece provas rigorosas para as soluções de forma fechada dos momentos posteriores, preenchendo a lacuna entre métodos não paramétricos bayesianos e RL.
• Versatilidade: O framework unifica o tratamento de problemas markovianos (via BAC) e não markovianos/POMDP (via BPG) sob um único guarda-chuva bayesiano.

Em conclusão, este trabalho estabelece uma base teórica e empírica sólida para o Aprendizado por Reforço Bayesiano, demonstrando que tratar gradientes de política como variáveis aleatórias modeladas por Processos Gaussianos leva a algoritmos de aprendizado mais eficientes, estáveis e robustos em comparação com abordagens frequentistas tradicionais.