Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning

Resumo Técnico: Substituição de Ação Proximal para Clonagem de Comportamento em Actor-Critic no Aprendizado por Reforço Offline

1. Declaração do Problema

O Aprendizado por Reforço (RL) Offline visa aprender políticas ótimas a partir de conjuntos de dados estáticos, previamente coletados, sem interação adicional com o ambiente. Uma abordagem dominante para garantir estabilidade no RL Offline é a regularização por Clonagem de Comportamento (BC), que restringe a política aprendida a permanecer próxima à política de comportamento presente no conjunto de dados. Isso mitiga o problema de deslocamento de distribuição e impede que o agente explore ações fora da distribuição (OOD).

No entanto, os autores identificam uma limitação fundamental: a regularização por BC impõe um teto de desempenho. Quando o conjunto de dados offline contém ações subótimas, a imitação indiscriminada força o ator a convergir para essas regiões subótimas, mesmo quando o crítico (função de valor) identifica ações melhores. Os autores argumentam que isso cria um compromisso estrutural onde a política não pode explorar plenamente as sugestões de melhoria da função de valor, particularmente nos estágios posteriores de treinamento, quando o principal gargalo muda de "realismo" para "optimalidade".

2. Metodologia: Substituição de Ação Proximal (PAR)

Para romper esse teto de desempenho mantendo a estabilidade do treinamento, os autores propõem a Substituição de Ação Proximal (PAR), um substituto de amostras de treinamento plug-and-play. O PAR modifica dinamicamente os alvos de supervisão para a perda de clonagem de comportamento do ator. Em vez de imitar cegamente a ação registrada no conjunto de dados, o PAR substitui seletivamente essa ação por uma ação melhor gerada por uma política-alvo estável, sujeita a duas restrições principais:

A. Substituição de Ação Consciente da Direção do Gradiente (GDAAR)
Este componente determina quando substituir uma ação.

• Mecanismo: Para um dado estado $s$, o método compara a ação registrada $a$ e uma ação candidata $\hat{a}$ (gerada por um ator-alvo $\pi'$) contra a direção de subida local da função valor-ação do crítico $Q(s, a)$.
• Métrica: Calcula a similaridade de cosseno entre os vetores de deslocamento ($v = a - \pi_\theta(s)$ e $v' = \hat{a} - \pi_\theta(s)$) e o gradiente do crítico $g = \nabla_a Q(s, a)|_{a=\pi_\theta(s)}$.
• Regra de Decisão: Se a ação-alvo $\hat{a}$ estiver mais alinhada com a direção de subida local do crítico do que a ação registrada $a$ (ou seja, $\cos(g, v') > \cos(g, v)$), o alvo de supervisão da BC é substituído por $\hat{a}$. Caso contrário, a ação original $a$ é mantida.
• Garantia Teórica: Os autores provam que, sob suposições de suavidade, essa regra de seleção garante que a melhoria de valor de um passo não seja pior do que a BC comum, até um erro de segunda ordem.

B. Ponderação de Ações OOD em Forma de Gaussiana (GSOAW)
Este componente determina quanto confiar na substituição, garantindo estabilidade contra o deslocamento de distribuição.

• Motivação: A substituição de ações pode fazer com que a política se desvie significativamente da política de comportamento, levando ao colapso do crítico (instabilidade) devido a erros de extrapolação.
• Mecanismo: O PAR introduz uma função de valor-estado auxiliar $V(s)$ e aprende um desvio padrão $\sigma(s)$ para modelar a incerteza de $Q(s, a)$ em relação às ações.
• Ponderação: Um peso $w$ é atribuído à ação de substituição com base no desvio do seu valor-Q em relação ao valor esperado $V(s)$, normalizado pela incerteza $\sigma(s)$:
  $$w = \exp\left(-\frac{|Q(s, \hat{a}) - V(s)|}{\tau \sigma(s) + \epsilon}\right)$$
• Efeito: Se a ação gerada estiver longe da distribuição de valores observados no conjunto de dados (alta incerteza ou grande desvio), $w$ aproxima-se de 0, suprimindo efetivamente a substituição e revertendo para a âncora de comportamento conservadora. Isso limita adaptativamente a divergência da política sem restrições rígidas.

3. Contribuições Principais

1. Caracterização Teórica da Suboptimalidade: Os autores provam formalmente (Teorema 3.1) que, para objetivos regularizados por BC (incluindo formas MSE, KL e MLE), se o conjunto de dados contém ações subótimas, o ponto estacionário da otimização não pode coincidir com a política ótima verdadeira. A política é estruturalmente forçada a comprometer entre imitação e optimalidade.
2. Substituição de Ação Proximal (PAR): Um módulo novo e plug-and-play que se integra a algoritmos existentes de actor-critic regularizados por BC. Combina GDAAR para guiar a melhoria da política em direção a regiões de maior valor e GSOAW para manter a estabilidade penalizando ações OOD arriscadas.
3. Validação Empírica Extensa: O método é testado em diversos benchmarks de RL Offline (MuJoCo, AntMaze, FrankaKitchen) e integrado a múltiplos algoritmos de base (BCQ, TD3+BC, IQL, EDP, SSAR).

4. Resultados Experimentais

• Ganhos de Desempenho: O PAR melhora consistentemente o desempenho em todos os algoritmos e domínios testados.
  • Em tarefas MuJoCo, a combinação de PAR com TD3+BC aumentou a pontuação normalizada média de 75,3 para 87,7 (+12,4).
  • Em AntMaze, o PAR permitiu que o IQL melhorasse de 57,1 para 70,8 (+13,7) e salvou o TD3+BC de um desempenho próximo de zero (de 0,2 para 2,0).
  • Em FrankaKitchen, o PAR melhorou o TD3+BC de 0,0 para 20,0 e o IQL de 48,7 para 61,5.
• Comparação com o Estado da Arte: A combinação de SSAR + PAR alcançou a maior pontuação média (90,9) em tarefas MuJoCo, superando métodos complexos do estado da arte como QIPO (87,4) e outras abordagens de planejamento de trajetória.
• Estudos de Ablação:
  • Remover a substituição de ação (apenas filtragem) resultou em ganhos menores, confirmando que introduzir ações melhores é crucial.
  • Remover o GSOAW ("Sem GSOAW") causou degradação severa de desempenho em conjuntos de dados médio-expert devido à instabilidade OOD, destacando a necessidade da ponderação consciente da incerteza.
• Eficiência: O PAR introduz uma sobrecarga computacional mínima (aumento de aproximadamente 3-8% no tempo de treinamento), pois reutiliza computações de gradiente existentes e adiciona apenas operações vetoriais leves.

5. Significado e Afirmações

O artigo afirma que o PAR oferece uma nova perspectiva centrada em dados para superar as limitações estruturais do RL Offline. Ao mudar o paradigma da imitação pura para a melhoria guiada da política, o PAR permite que os agentes transcendam o teto de desempenho imposto pela clonagem de comportamento padrão.

Os autores enfatizam que o PAR é modesto em seu escopo:

• É atualmente projetado para espaços de ação contínuos onde gradientes de subida local podem ser computados.
• Opera no nível de transição de passo único e não captura inerentemente dependências de longo horizonte (embora isso seja notado como trabalho futuro).
• É apresentado como um módulo plug-and-play que aprimora algoritmos existentes, em vez de substituir todo o framework de RL Offline.

Em última análise, o trabalho demonstra que, ao otimizar dinamicamente o próprio sinal de supervisão — substituindo pontos de dados subótimos por alternativas melhores e limitadas pela incerteza —, algoritmos de RL Offline podem alcançar desempenho significativamente maior sem sacrificar a estabilidade fornecida pela clonagem de comportamento.