Resumo Técnico: Métodos Actor-Critic de Segunda Ordem para MDPs Descontados via Decomposição do Hessiano da Política

Declaração do Problema

A aprendizagem por reforço (RL) em cenários de grande escala enfrenta dois desafios principais: a maldição da dimensionalidade, que torna os métodos tabulares intratáveis, e as limitações dos métodos de busca de política de primeira ordem. Embora as abordagens actor-critic mitiguem a variância da aproximação de valor, elas dependem de atualizações de primeira ordem que ignoram a curvatura da função objetivo. Isso leva a uma convergência lenta e à sensibilidade à parametrização da política. Por outro lado, a otimização de segunda ordem oferece atualizações conscientes da curvatura que aceleram a convergência, mas raramente é aplicada em RL devido à complexidade computacional proibitiva ($O(d^3)$) da estimação do Hessiano e à instabilidade causada por termos de interação de alta variância na decomposição do Hessiano da política.

A literatura existente geralmente aborda a estimação de valor e a incorporação de curvatura de forma independente. Este artigo identifica uma lacuna: aproximações de segunda ordem são frequentemente instáveis devido a componentes de curvatura de alta variância, e há uma falta de um framework unificado que estabilize essas aproximações enquanto mantém a eficiência computacional em Processos de Decisão de Markov (MDPs) descontados.

Metodologia

Os autores propõem um framework Actor-Critic de Segunda Ordem em Duas Escalas de Tempo (SOTTAC) que aproveita a informação de curvatura completa da função objetivo através de uma aproximação estruturada do Hessiano da Política.

1. Decomposição do Hessiano da Política

A função objetivo $J(\theta)$ é analisada via sua derivada de segunda ordem. O Hessiano $H(\theta)$ é decomposto em quatro componentes (Teorema 1):

• $H_1$ (Termo de produto externo): Um termo semelhante ao de Fisher envolvendo o produto externo do gradiente da política.
• $H_2$ (Curvatura intrínseca): O Hessiano do log-política, capturando a geometria intrínseca da distribuição da política.
• $H_{12}$ e $H_{12}^\top$ (Termos de interação): Termos envolvendo o gradiente da função valor estado-ação $Q$ em relação aos parâmetros da política ($\nabla_\theta Q$).

Os autores identificam que $H_{12}$ introduz variância significativa e acoplamento computacional, tornando as atualizações diretas de segunda ordem instáveis.

2. Insight de Duas Escalas de Tempo e Aproximação

Para estabilizar o Hessiano, o método emprega um framework actor-critic em duas escalas de tempo:

• O crítico (estimando $Q$) evolui em uma escala de tempo mais rápida do que o ator (política $\pi_\theta$).
• Sob este framework, o crítico é tratado como quase-estacionário durante as atualizações do ator. Consequentemente, o gradiente do crítico em relação aos parâmetros do ator é aproximado como zero ($\nabla_\theta Q_c \approx 0$).
• Esta aproximação elimina efetivamente o termo de interação de alta variância $H_{12}$, simplificando o Hessiano para $\tilde{H} \approx H_1 + H_2$.

3. Implementação Eficiente via Produtos Hessiano-Vetor (HVP)

Para evitar a construção explícita do Hessiano ($O(d^3)$), o método utiliza Produtos Hessiano-Vetor (HVP). A direção de atualização é derivada maximizando um modelo quadrático local usando o Hessiano aproximado. Duas aproximações específicas são formuladas:

• ACGN1 (Gauss-Newton baseado em vantagem): Substitui o valor estado-ação $Q$ pela função vantagem $A$ nos termos de curvatura ($H_1 + H_2 \approx A_1 + A_2$). Isso reduz a variância e aproveita o termo de produto externo, mantendo a curvatura intrínseca.
• ACGN2 (Curvatura Intrínseca): Descarta completamente o termo de produto externo $H_1$, retendo apenas a curvatura intrínseca $H_2$. Isso é teoricamente justificado para políticas log-côncavas (por exemplo, softmax), onde $H_2$ é semidefinido negativo, garantindo uma direção de maximização estável sem o viés convexo introduzido por $H_1$.

A regra de atualização envolve uma otimização de loop interno para resolver o deslocamento $\Delta$ usando HVPs, seguida por uma atualização da política $\theta \leftarrow \theta + \Delta$.

Contribuições Principais

1. Unificação Teórica: O artigo estabelece uma conexão entre a estabilidade do actor-critic em duas escalas de tempo e a otimização de segunda ordem. Demonstra que a suposição de quase-estacionariedade do crítico em um framework de duas escalas de tempo justifica a aproximação $\nabla_\theta Q \approx 0$, removendo assim o termo de interação instável $H_{12}$.
2. Atualizações de Segunda Ordem Estáveis: Ao eliminar $H_{12}$, os autores formulam atualizações de segunda ordem estáveis que incorporam informação completa de curvatura sem o ônus computacional da estimação completa do Hessiano.
3. Aproximações Estruturadas: A introdução de ACGN1 e ACGN2 fornece duas estratégias distintas para lidar com a curvatura: ACGN1 equilibra termos de produto externo e intrínsecos para redução de variância, enquanto ACGN2 prioriza a estabilidade estrutural ao confiar exclusivamente na curvatura intrínseca.
4. Análise de Convergência: O artigo fornece uma prova de convergência para a atualização do ator de segunda ordem amortecida, mostrando convergência para um ponto estacionário até erros de aproximação (rastreio do crítico, curvatura e amortecimento).

Resultados Experimentais

Os métodos foram avaliados em tarefas de controle discreto (CartPole, LunarLander) e domínios de controle contínuo (Reacher, Humanoid) do MuJoCo.

• Espaços de Ação Discretos: ACGN2 demonstrou consistentemente convergência mais rápida e eficiência amostral aprimorada em comparação com baselines de primeira ordem (REINFORCE) e Gradiente Natural (NGA). Isso é atribuído à dependência do ACGN2 da curvatura intrínseca semidefinida negativa, que se alinha bem com a parametrização de política log-côncava utilizada. O ACGN1 também superou as baselines, mas convergiu ligeiramente mais devido ao viés convexo introduzido pelo termo de produto externo.
• Espaços de Ação Contínuos: Em ambientes de alta dimensionalidade (Humanoid), ACGN1 e NGA exibiram convergência mais estável, enquanto o ACGN2 mostrou desempenho comparável com variância ligeiramente maior devido à sensibilidade a estimativas de curvatura ruidosas. No entanto, todos os métodos de segunda ordem superaram o REINFORCE, confirmando o benefício da informação de curvatura mesmo com políticas Gaussianas não log-côncavas.
• Compensações Computacionais: Embora os métodos de segunda ordem incorram em maior tempo de relógio por iteração devido aos cálculos de HVP, eles alcançam convergência mais rápida em termos de episódios de treinamento. O ACGN2 oferece um equilíbrio favorável entre custo computacional e qualidade da curvatura, enquanto o ACGN1 é o mais caro computacionalmente devido à inclusão de ambos os componentes de curvatura.

Significado e Alegações

O artigo alega que sua contribuição principal é resolver a instabilidade dos métodos de RL de segunda ordem ao aproveitar o framework actor-critic em duas escalas de tempo para justificar a negligência de termos de interação de alta variância. Isso permite a aplicação prática de atualizações conscientes da curvatura que são tanto computacionalmente eficientes (via HVPs) quanto estáveis.

Os autores afirmam que sua abordagem melhora a convergência e a eficiência amostral sobre as baselines de primeira ordem e gradiente natural em diversas tarefas de controle. Eles enfatizam que, embora o método não garanta a positividade definida da matriz de curvatura em todos os casos (particularmente para o ACGN1), o uso de amortecimento e as propriedades estruturais específicas das aproximações (especialmente o ACGN2) produzem atualizações bem comportadas nas vizinhanças de ótimos locais. O trabalho sugere que a captura precisa da curvatura intrínseca é crítica para a otimização eficiente de políticas, particularmente em espaços de ação discretos.

Trabalhos futuros, conforme notado pelos autores, focarão em estender essas aproximações de curvatura para métodos de região de confiança (TRPO) e otimização de política proximal (PPO), e no desenvolvimento de aproximações escaláveis para problemas de maior escala.