Resumo Técnico: Ator-Crítico Generativo com Políticas de Ponte Suave

Declaração do Problema

O aprendizado por reforço (RL) online de máxima entropia (MaxEnt) é uma abordagem dominante para controle contínuo off-policy, equilibrando a maximização de valor com estocasticidade explícita. Embora o Ator-Crítico Suave (SAC) padrão dependa de políticas Gaussianas tratáveis, problemas de controle complexos frequentemente exigem distribuições de ação multimodais ou altamente não Gaussianas. Políticas generativas expressivas (por exemplo, modelos de difusão e fluxo) oferecem uma solução, mas enfrentam dois obstáculos críticos quando aplicadas ao RL MaxEnt:

1. Entropia Intratável: As atualizações MaxEnt exigem a densidade de ponto final da política ou um regularizador equivalente. Para atores generativos, a densidade marginal de ação é frequentemente indisponível ou cara de computar porque a ação é obtida marginalizando-se sobre caminhos latentes. Métodos existentes recorrem a limites de entropia, proxies heurísticos ou aproximações, criando uma conexão indireta com o objetivo MaxEnt.
2. Custo Computacional: Políticas generativas de alto desempenho frequentemente usam amostradores iterativos (por exemplo, difusão com muitas etapas de remoção de ruído) que reutilizam parâmetros de rede compartilhados. Isso eleva os custos de inferência na implantação e, crucialmente, aumenta os custos de treinamento. Durante as atualizações do ator, a retropropagação através do tempo (BPTT) deve atravessar cada etapa de refinamento, aumentando o uso de memória e desestabilizando a otimização. Reduzir o número de avaliações de função (NFE) diminui o custo, mas frequentemente causa uma queda acentuada no desempenho.

O artigo busca um ator generativo que retenha a expressividade da geração estocástica latente, ao mesmo tempo em que expõe um objetivo MaxEnt tratável e evita o ônus computacional de amostradores longos com parâmetros compartilhados.

Metodologia: SoftGAC

Os autores propõem o SoftGAC (Ator-Crítico Generativo Suave), um método que eleva o objetivo MaxEnt da distribuição de ação terminal para todo o caminho de geração latente.

1. Objetivo Suave no Espaço de Caminhos

Em vez de otimizar a entropia da ação final $a$, o SoftGAC otimiza um objetivo no espaço de caminhos sobre a trajetória latente $\tau = (z_0, \dots, z_K)$. O objetivo é definido como:
$$J_{path}(P_\theta | s) = \mathbb{E}_{\tau \sim P_\theta} [Q(s, T(z_K))] - \alpha D_{KL}(P_\theta(\cdot|s) \| R)$$
onde $R$ é uma lei de caminho de referência de alta entropia.

• Fundamento Teórico: Os autores provam que a divergência KL do caminho se decompõe em um termo KL de ponto final (recuperando o regularizador MaxEnt padrão) e um termo de caminho condicional. Essa entropia relativa no caminho atua como um regularizador mais estrito que controla como o ator atinge a ação terminal, e não apenas a distribuição da ação em si.
• Restrição de Base Fixa: Na prática, o ator começa a partir de uma distribuição latente de base fixa $p_0$. A análise teórica mostra que, embora uma base fixa introduza uma lacuna constante em relação ao ótimo irrestrito, ela não quebra o problema variacional; simplesmente atua como um viés indutivo.

2. Políticas de Ponte Suave

Para tornar a KL do caminho tratável e computacionalmente eficiente, o SoftGAC emprega uma política de ponte suave:

• Arquitetura: O ator é uma cadeia de Markov finita no espaço latente pré-tanh. Ele começa a partir de uma lei de base fixa (distribuição logística) e aplica $K$ transições residuais Gaussianas leves e específicas de etapa para atingir um latente terminal $z_K$.
• Design de Passagem Única: Diferentemente dos modelos de difusão que reutilizam uma única rede para $K$ etapas, o SoftGAC usa $K$ blocos de transição distintos. Isso permite a geração de ação via uma única passagem amostrada direta pela rede, evitando amostragem iterativa e grafos BPTT longos.
• Processo de Referência: A ponte de referência $R$ é definida usando uma base logística e um kernel Gaussiano de Euler derivado da pontuação da densidade pré-tanh que mapeia para uma distribuição de ação uniforme.
• Regularizador Tratável: Como tanto as transições do ator quanto as de referência são Gaussianas, a divergência KL do caminho fatora-se em uma soma de termos KL locais. Essa soma, denotada como Energia de Controle $C_\theta(s, \tau)$, é analiticamente computável.
  $$D_{KL}(P_\theta \| R) = D_{KL}(p_0 \| r_0) + \mathbb{E}[C_\theta(s, \tau)]$$
  A atualização do ator minimiza $\alpha C_\theta(s, \tau) - Q(s, a)$, efetivamente trocando valor contra a energia de controle de transição amostrada.

3. Algoritmo de Treinamento

O SoftGAC segue um loop ator-crítico off-policy:

• Crítico: Atualiza uma função de valor suave $Q$ usando alvos que incluem a energia de controle amostrada do caminho do próximo estado: $y = r + \gamma(Q_{min}(s', a') - \alpha C_{\bar{\theta}}(s', \tau'))$.
• Ator: Atualiza parâmetros para minimizar a energia de controle amostrada enquanto maximiza o valor Q.
• Ajuste de Temperatura: Uma atualização dual ajusta $\alpha$ para manter a energia de controle média próxima a um orçamento alvo $\rho_{ctrl} K d_a$.

Contribuições Principais

1. Formulação no Espaço de Caminhos: Os autores formulam um objetivo suave no espaço de caminhos para atores generativos, demonstrando que ele contém o regularizador KL de ponto final como um componente marginal e caracteriza o efeito do uso de uma base de ator fixa.
2. Design de Política de Ponte Suave: Eles projetam uma arquitetura de política específica usando uma sequência curta de transições Gaussianas locais no espaço pré-tanh. Isso torna o regularizador no caminho exatamente computável como energia de controle de passos finitos, permitindo uma atualização direta do ator com geração de ação via uma única passagem amostrada.
3. Compromisso Custo-Retorno: Experimentos demonstram que o SoftGAC alcança retornos mais altos ou competitivos em comparação com fortes baselines generativas (difusão e correspondência de fluxo), mantendo o regime de baixa latência de atores de passagem única.

Resultados Experimentais

O método foi avaliado em benchmarks desafiadores de controle contínuo do DeepMind Control Suite (Humanoid, Dog) e HumanoidBench (H1).

• Desempenho: O SoftGAC alcançou o melhor desempenho geral em tarefas de locomoção de longo horizonte e alta dimensionalidade (por exemplo, Humanoid Run, Dog Run, H1 Hurdle), superando tanto as baselines generativas (FLAC, DIME, FlowRL, QSM, QVPO) quanto a baseline Gaussiana unimodal (CrossQ-SAC).
• Eficiência:
  • Tempo de Inferência: O SoftGAC opera no regime de baixa latência (aproximadamente 61–75 $\mu$s por ação em CPU), comparável a baselines de fluxo de uma etapa e significativamente mais rápido que baselines de difusão de alto NFE (que levam 300–400+ $\mu$s).
  • Orçamento de Parâmetros: A contagem de parâmetros do ator é comparável a baselines fortes, evitando a necessidade de redes maiores para ocultar o custo da amostragem iterativa.
• Ablações: A remoção do regularizador suave no espaço de caminhos ($\alpha=0$) degradou consistentemente o desempenho, confirmando que os ganhos derivam do objetivo suave principiado e não apenas da parametrização da ponte.

Significado e Alegações

O artigo alega que o SoftGAC resolve a tensão entre a expressividade das políticas generativas e as restrições computacionais/otimizativas do RL MaxEnt. Ao tratar o ator como uma lei de caminho explícita e leve, em vez de uma distribuição de ponto final, o método:

• Fornece uma regularização suave principial (energia de controle de transição amostrada) que é analiticamente tratável, substituindo limites de entropia heurísticos.
• Evita o ônus de otimização de cadeias BPTT longas associadas a amostradores iterativos, estabilizando as atualizações do ator.
• Entrega um compromisso custo-retorno superior, alcançando retornos de última geração em tarefas difíceis sem a alta latência de inferência de amostradores de difusão de múltiplas etapas.

Os autores concluem que as políticas de ponte suave representam um design prático para aprendizado eficiente de ator-crítico generativo, oferecendo uma alternativa viável às abordagens de difusão iterativa em configurações de RL online.