Resumo Técnico: Distribuições como Ações: Um Framework Unificado para Espaços de Ação Diversos

Declaração do Problema

Algoritmos de Aprendizado por Reforço (RL) são tradicionalmente categorizados por sua adequação a estruturas específicas de espaço de ação. Métodos baseados em valor (por exemplo, DQN) excel em espaços discretos ao enumerar valores de ação, enquanto métodos baseados em política (por exemplo, DPG, SAC) são projetados para espaços contínuos, aproveitando a diferenciabilidade das funções valor-ação. No entanto, os algoritmos atuais permanecem fortemente acoplados à estrutura específica do espaço de ação. Projetar algoritmos unificados que generalizem através de espaços de ação discretos, contínuos e híbridos é difícil, pois diferentes estimadores de gradiente e arquiteturas são frequentemente necessários para cada domínio. Além disso, estimadores de gradiente de política existentes para políticas estocásticas, como os métodos de Razão de Verossimilhança (LR) e Reparametrização (RP), frequentemente sofrem de alta variância ou introduzem viés, particularmente em configurações discretas.

Metodologia

O Framework Distribuições como Ações (DA)

O artigo introduz uma formulação inovadora que redefine a fronteira entre o agente e o ambiente. No framework clássico de RL, a política do agente $\pi_\theta$ produz uma ação (ou parâmetros de distribuição) e amostra a ação internamente. No proposto framework Distribuições como Ações (DA):

1. O agente produz parâmetros de distribuição $\bar{\pi}_\theta(s)$ (por exemplo, média e variância para Gaussiana, vetores de probabilidade para categóricas) como sua ação.
2. O processo de amostragem $A \sim f(\cdot|\bar{\pi}_\theta(s))$ é tratado como parte da função de transição estocástica do ambiente.

Esta transformação converte o espaço de ação original $\mathcal{A}$ (que pode ser discreto, contínuo ou híbrido) em um espaço contínuo de parâmetros de distribuição $\mathcal{U}$. Consequentemente, o agente opera dentro de um novo Processo de Decisão de Markov (DA-MDP) com um espaço de ação contínuo $\mathcal{U}$, independentemente da natureza subjacente de $\mathcal{A}$.

Gradiente de Política Distribuições como Ações (DA-PG)

Construindo sobre o DA-MDP, os autores derivam o estimador DA-PG. Ao aplicar o teorema do Gradiente de Política Determinística (DPG) ao espaço de parâmetros contínuo $\mathcal{U}$, eles obtêm um estimador de gradiente:
$$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$$
onde $\bar{Q}_w$ é um crítico estimando o retorno esperado sobre a distribuição de ação definida pelos parâmetros $U$.

Propriedades Teóricas:

• Redução de Variância: O artigo prova que o DA-PG é a expectativa condicional de ambos os estimadores LR e RP. Pela lei da variância total, isso resulta em variância estritamente menor que os estimadores originais, desde que a variância condicionada à ação ou induzida por ruído seja não nula.
• Unificação: Quando a distribuição é um delta de Dirac, o DA-PG reduz-se exatamente ao estimador DPG padrão, estabelecendo-o como uma generalização estrita.

Aprendizado de Crítico Interpolado (ICL)

Um desafio no framework DA é que o crítico $\bar{Q}_w$ deve aprender sobre um espaço de entrada de maior dimensão (parâmetros de distribuição), o que pode ser difícil e levar a um viés aumentado se o crítico for impreciso. Para abordar isso, os autores propõem o Aprendizado de Crítico Interpolado (ICL).

• Mecanismo: Em vez de atualizar o crítico apenas nos parâmetros de distribuição amostrados $U_t$, o ICL utiliza a ação observada $A_t$ para inferir que a transição poderia ter sido gerada por outros parâmetros de distribuição.
• Implementação: O crítico é atualizado em um ponto interpolado $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$, onde $U_{A_t}$ representa os parâmetros determinísticos correspondentes à ação observada $A_t$, e $\omega_t \sim \text{Uniforme}[0, 1]$.
• Objetivo: Isso encoraja o crítico a aprender uma paisagem de valor mais suave com curvatura informativa, facilitando uma melhor otimização da política no espaço de parâmetros.

Algoritmo DA-AC

Os autores implementam um algoritmo prático de RL profundo, Ação-Crítico Distribuições como Ações (DA-AC), baseado na arquitetura TD3. O DA-AC incorpora o estimador DA-PG para o ator e a atualização ICL para o crítico, permitindo que um único algoritmo lide com espaços de ação diversos.

Principais Contribuições

1. Framework Unificado: Uma reparametrização do problema de RL que trata parâmetros de distribuição como ações, unificando controle discreto, contínuo e híbrido sob um único algoritmo de ação contínua.
2. Estimador DA-PG: Um estimador de gradiente de política generalizado com variância teoricamente menor que os estimadores LR e RP padrão, aplicável a tipos arbitrários de espaço de ação.
3. Estratégia ICL: Uma técnica simples, porém eficaz, para melhorar o aprendizado do crítico no framework DA, aproveitando atualizações fora da distribuição via interpolação.
4. Validação Empírica: Avaliação abrangente mostrando que o DA-AC alcança desempenho competitivo ou superior através de benchmarks de controle contínuo, discreto e híbrido em comparação com bases especializadas.

Resultados Experimentais

O artigo avalia o DA-AC em quatro configurações distintas:

• Controle Contínuo: Em tarefas MuJoCo e DeepMind Control Suite, o DA-AC alcança desempenho competitivo, frequentemente superando o TD3 e outras bases, particularmente em ambientes de alta dimensão.
• Controle Discreto: Em ambientes clássicos de controle do Gym e MinAtar, o DA-AC performa comparavelmente ao DQN e outras bases discretas fortes.
• Controle Discreto de Alta Dimensão: Em versões discretizadas de tarefas de controle contínuo (por exemplo, Humanoid-v4 com 17 dimensões discretizadas em 7 bins), o DA-AC supera significativamente bases como ST-AC, LR-AC e PPO, onde outros métodos lutam com a explosão combinatória ou alta variância.
• Controle Híbrido: Em MDPs de Ação Parametrizada (PAMDPs), o DA-AC alcança resultados competitivos contra algoritmos especializados como PATD3 e PDQN.

Estudos de Ablação:
Experimentos em configurações de bandit e controle discreto de alta dimensão demonstram que remover o ICL (DA-AC sem ICL) leva a desempenho significativamente pior, confirmando que o ICL é crucial para aprender um crítico eficaz no framework DA.

Significado e Afirmações

O artigo afirma que o framework Distribuições como Ações oferece uma maneira principiante de desacoplar o algoritmo de aprendizado da estrutura específica do espaço de ação. Ao deslocar a fronteira agente-ambiente, permite a aplicação de métodos de gradiente de baixa variância e estilo determinístico a problemas discretos e híbridos. Os autores enfatizam que esta abordagem:

• Fornece o primeiro estimador sem viés e de baixa variância no estilo de reparametrização para distribuições discretas.
• Permite que um único framework algorítmico (DA-AC) lide com uma ampla variedade de configurações de controle sem necessidade de mudanças arquitetônicas específicas do domínio.
• Demonstra que tratar a amostragem como parte do ambiente pode simplificar o aprendizado e abrir novas perspectivas algorítmicas, particularmente para espaços de ação híbridos complexos.

O trabalho sugere que pesquisas futuras poderiam estender este framework para métodos baseados em modelo, controle hierárquico e estratégias de aprendizado de crítico mais avançadas, mas a contribuição atual foca em estabelecer a viabilidade do framework através do algoritmo DA-AC e seu sucesso empírico.