Resumo Técnico: Gradientes de Política de Tentativa (Retry Policy Gradients) em Espaços de Ação Contínuos

Declaração do Problema

A exploração continua sendo um desafio central no aprendizado por reforço (RL), particularmente no controle contínuo. Abordagens padrão tipicamente dependem de políticas estocásticas combinadas com regularização de entropia explícita (ex: Soft Actor-Critic, SAC) ou injeção de ruído. Embora eficazes, esses métodos introduzem um bônus de entropia auxiliar que enviesa a política ótima em direção a uma entropia mais alta, potencialmente impedindo a convergência para o verdadeiro ótimo determinístico.

Recentemente, objetivos baseados em "tentativas" (ex: pass@K, max@K) mostraram-se promissores em espaços de ações discretas e no pós-treinamento de Grandes Modelos de Linguagem (LLMs). Esses objetivos otimizam o retorno máximo obtido de $M$ trajetórias amostradas, em vez do retorno esperado. O trabalho anterior (ReMax) demonstrou que, em espaços discretos, esse objetivo naturalmente incentiva a exploração ao se adaptar à incerteza do retorno, mesmo sem bônus de entropia explícitos. No entanto, as propriedades teóricas do ReMax em espaços de ação contínuos permaneceram inexploradas, e os estimadores de gradiente existentes para espaços discretos não se estendem para domínios contínuos.

Metodologia

Estrutura Teórica

Os autores estendem o objetivo ReMax para espaços de ação contínuos usando um estimador de derivada de caminho (pathwise derivative estimator).

• Objetivo: Dado uma função Q $Q(s, a)$ e um orçamento de tentativa $M$, o objetivo é definido como:
  $$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$$
  Ao contrário dos objetivos regularizados por entropia, esta formulação preserva a política ótima determinística ($\pi^*$) como o ótimo global, evitando o viés para a estocasticidade inerente aos bônus de entropia.

• Estimativa de Gradiente: Como o cálculo exato é inviável em espaços contínuos, os autores utilizam um estimador de gradiente de Reparametrização (RP). As ações são amostradas via $a_i = \mu + \sigma \epsilon_i$ (onde $\epsilon_i \sim \mathcal{N}(0, I)$). O objetivo é aproximado amostrando $B$ ações, ordenando seus valores Q e computando uma soma ponderada dos top $M$ valores. Isso permite a retropropagação através da rede Q e dos parâmetros da política.

Análise Teórica da Dinâmica de Gradiente

O artigo fornece uma análise detalhada de como o gradiente ReMax remodela o cenário de otimização para uma política Gaussiana $\mathcal{N}(\mu, \sigma^2)$ com uma recompensa quadrática $r(a) = -a^2$. Dois mecanismos principais são identificados quando $M > 1$:

1. Aumento de Entropia (Efeito Direcional): Quando a média da política está longe do ótimo e a escala $\sigma$ é pequena, a direção do gradiente aponta naturalmente para o aumento de $\sigma$. Isso ocorre porque o operador "max" sobre $M$ amostras cria uma expectativa positiva de flutuação ascendente na recompensa (ou descendente no custo) que só é acessível aumentando a escala da política. Isso promove a exploração estocástica sem um bônus explícito.
2. Amortecimento de Gradiente (Efeito de Magnitude): À medida que a política se aproxima do ótimo, a norma do gradiente diminui. Selecionar o melhor de $M$ amostras reduz o desvio do ótimo, efetivamente "perdoando" amostras subótimas e retardando a convergência. Esse efeito de amortecimento ajuda a sustentar uma entropia mais alta por mais tempo durante o treinamento.

Os autores também analisam a interação com o otimizador Adam. Eles mostram que a normalização adaptativa do Adam (especificamente o parâmetro de estabilização $\epsilon$) pode neutralizar o efeito de amortecimento do gradiente. Um $\epsilon$ pequeno (padrão $10^{-8}$) normaliza os gradientes, potencialmente acelerando a convergência e reduzindo o efeito de sustentação da entropia, enquanto um $\epsilon$ maior restaura o comportamento de amortecimento.

Algoritmo: ReMAC

Os autores instanciam essas descobertas no ReMax Actor-Critic (ReMAC), um algoritmo actor-critic off-policy.

• Crítico: Treinado via regressão de diferença temporal padrão com double Q-learning clipado (usando dois críticos para reduzir a superestimação).
• Ator: Otimizado usando a derivada de caminho do objetivo ReMax.
• Implementação: O ReMAC é apresentado como uma modificação mínima ao SAC, removendo o bônus de entropia do alvo do crítico e do ajuste de temperatura, e substituindo a perda do ator pela perda ReMax.

Principais Resultados

Descobertas Teóricas

• Análise de Campo Vetorial: Visualizações do campo vetorial de gradiente para políticas Gaussianas 1D confirmam que, para $M > 1$, os gradientes empurram a política para uma entropia mais alta quando longe do ótimo, enquanto o RL padrão ($M=1$) sempre empurra para uma entropia menor.
• Propriedades de Convergência: O ReMax converge para o ótimo determinístico ($\mu=0, \sigma=0$), enquanto a regularização de entropia converge para um ótimo estocástico ($\mu=0, \sigma>0$).
• Interação com Adam: A análise teórica e empírica de um problema de brinquedo demonstra que o efeito de amortecimento é sensível ao parâmetro $\epsilon$ do Adam.

Avaliação Empírica

Experimentos foram conduzidos em seis tarefas de controle contínuo do conjunto Brax (Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d) ao longo de 3 milhões de passos.

• Desempenho: O ReMAC com $M > 1$ alcançou desempenho comparável ao SAC e geralmente superou o PPO. Em vários ambientes (Ant, Reacher, Swimmer, Walker2d), orçamentos de tentativa maiores ($M=4, 8$) renderam retornos médios superiores do que $M=1$.
• Dinâmica de Entropia: Consistente com as previsões teóricas, o ReMAC com $M > 1$ manteve uma entropia de política mais alta do que o $M=1$ (RL padrão) durante todo o treinamento. A entropia geralmente aumentou com $M$, particularmente nos ambientes Ant e Swimmer.
• Comparação com SAC: Embora o ReMAC tenha alcançado maior entropia do que o RL padrão ($M=1$), sua entropia permaneceu inferior à do SAC, o que é esperado dado o bônus de maximização de entropia explícito do SAC.

Significância e Alegações

O artigo posiciona suas contribuições da seguinte forma:

1. Extensão Teórica: É o primeiro trabalho a estender o ReMax para espaços de ação contínuos e fornecer uma explicação teórica rigorosa para suas propriedades de promoção de exploração via derivadas de caminho.
2. Exploração Intrínseca: Demonstra que objetivos baseados em tentativas podem induzir exploração estocástica através da geometria do cenário do gradiente (direção e magnitude) em vez de bônus de entropia explícitos. Isso evita o viés de deslocar a política ótima para longe da solução determinística.
3. Viabilidade Prática: A introdução do ReMAC mostra que essas propriedades teóricas se traduzem em cenários práticos de deep RL, alcançando desempenho de nível SAC com mudanças arquiteturais mínimas.
4. Insight de Otimização: O trabalho destaca o papel crítico dos hiperparâmetros do otimizador (especificamente o $\epsilon$ do Adam) na modulação do compromisso entre exploração e explotação em objetivos baseados em tentativas.

Os autores mantêm a modéstia quanto ao escopo, observando que sua análise teórica assume suavidade e convexidade forte, o que pode não se aplicar a todos os ambientes práticos de deep RL. Eles apresentam o ReMAC como uma prova de conceito para exploração estocástica e sugerem que trabalhos futuros possam integrar o ReMax com amostragem posterior sobre funções Q para permitir "exploração profunda" em cenários de recompensa esparsa.