Resumo Técnico: Aprendizado por Reforço Profundo Consistente com Comportamento

Declaração do Problema

Algoritmos de Aprendizado por Reforço (RL) frequentemente exibem alta variância entre execuções de treinamento independentes. Embora as métricas finais de desempenho (retornos) possam parecer semelhantes, as políticas subjacentes frequentemente divergem significativamente em suas distribuições comportamentais. Essa falta de consistência impõe desafios para a avaliação científica, que exige a média sobre inúmeras sementes, e para a implantação prática, onde processos iterativos como design de recompensa, depuração e validação de segurança tornam-se pouco confiáveis se condições idênticas produzirem comportamentos qualitativamente diferentes. Trabalhos existentes trataram essa variabilidade principalmente como ruído a ser eliminado pela média, em vez de uma propriedade a ser controlada explicitamente.

Metodologia

Fundamentação Teórica

Os autores formalizam o Aprendizado por Reforço Consistente com Comportamento (BRL), um objetivo para aprender políticas que sejam tanto de alto desempenho quanto distribucionalmente semelhantes entre execuções independentes. A principal percepção teórica baseia-se no Aprendizado por Reforço de Máxima Entropia (MaxEnt RL). Ao regularizar as políticas em direção a um prior comum (especificamente, um prior uniforme no MaxEnt), o espaço de políticas é restringido.

O artigo estabelece uma ligação teórica entre divergência de políticas e discordância da função Q:

1. Teorema 4.1: Para políticas de Boltzmann, se o parâmetro de temperatura $\alpha(s)$ for definido proporcionalmente à discordância ponto a ponto entre dois vetores de valores-Q ($\|Q^{(1)} - Q^{(2)}\|_\infty$), a divergência de Kullback-Leibler (KL) entre as políticas induzidas é limitada. Especificamente, definir $\alpha(s) = \max(\alpha_{min}, \frac{\|Q^{(1)} - Q^{(2)}\|_\infty}{\kappa})$ garante $D_{KL}(\pi^{(1)} \|\pi^{(2)}) \leq 2\kappa$.
2. Teorema 4.2: Ao usar essa temperatura escalada pela discordância na iteração de valor suave, execuções acopladas convergem para uma vizinhança da função Q ótima não regularizada, com o limite de erro controlado pelo piso de temperatura $\alpha_{min}$ e pela discordância inicial.

Algoritmo Prático: Discordância de Expectile de Valor-Q (QED)

Acessar diretamente funções Q de outras execuções independentes é impraticável. Para abordar isso, os autores propõem a Discordância de Expectile de Valor-Q (QED), que utiliza um proxy de execução única para a discordância entre execuções.

• Proxy de Crítico Duplo: O QED aproveita o truque de "double Q", utilizando dois críticos de rede neural ($Q_{\theta_1}, Q_{\theta_2}$) treinados em paralelo. Os autores hipotetizam que a discordância entre esses dois críticos dentro de uma única execução serve como um proxy representativo para a discordância que existiria entre duas execuções independentes.
• Agregação por Expectile: Para evitar a natureza adversária da maximização sobre todas as ações (que poderia destacar erros de extrapolação em ações fora da distribuição), o QED calcula um expectile superior das diferenças absolutas entre os dois críticos sobre ações amostradas da política atual.
• Temperatura Adaptativa: A temperatura $\alpha_{QED}(s)$ é ajustada dinamicamente com base nessa discordância de expectile:
  $$\alpha_{QED}(s) = \text{clip}\left( \frac{e\Delta(s)}{k \cdot d}, \alpha_{min}, \alpha_{max} \right)$$
  onde $e\Delta(s)$ é a discordância de expectile, $k$ é um hiperparâmetro que controla o compromisso, e $d$ é a dimensão da ação.
• Tratamento da Instabilidade Off-Policy: O artigo observa que aumentar a entropia de forma ingênua pode amplificar erros de extrapolação off-policy, levando ao colapso do treinamento. Para mitigar isso, o QED é avaliado sobre algoritmos especificamente projetados para lidar com mudanças de distribuição: SAC-LN (Soft Actor-Critic com Normalização de Camada) e MAD-SAC (Model-Augmented Data SAC).

Contribuições Principais

1. Formalização do BRL: Introdução do cenário de Aprendizado por Reforço Consistente com Comportamento, enquadrando a consistência comportamental como um objetivo central ao lado da maximização do retorno.
2. Conexão Teórica: Prova de uma relação entre divergência de políticas e discordância de críticos no MaxEnt RL, mostrando que escalar a temperatura pela discordância limita a divergência KL entre políticas.
3. Identificação de Desafios Off-Policy: Ilustração de como o MaxEnt RL de alta entropia pode exacerbar erros de extrapolação off-policy, levando ao colapso funcional da política se não for gerenciado com algoritmos base estáveis.
4. Algoritmo QED: Proposição do QED, um método prático para ajuste adaptativo de entropia que utiliza discordância de críticos de execução única para induzir consistência comportamental entre execuções.

Resultados Experimentais

Os autores avaliaram o QED em 18 tarefas de controle contínuo do conjunto dm_control, utilizando 10 sementes aleatórias por tarefa.

• Redução da Divergência: O QED reduziu a divergência de políticas em pares (medida por KL simétrico) em duas ordens de magnitude em comparação com o ajuste padrão de entropia (por exemplo, SAC com entropia alvo).
• Preservação de Desempenho: Na maioria dos casos, o QED manteve retornos normalizados competitivos. Para divergências KL muito baixas, observou-se uma redução menor no retorno (no máximo 5%), atribuída a uma perda temporária de eficiência de amostragem à medida que o algoritmo explora por mais tempo para reduzir a incerteza da função Q.
• Redução da Variância: Na linha de base MAD-SAC, o QED reduziu a variância dos retornos (medida pela largura dos intervalos de confiança bootstrap de 95%) em aproximadamente 50%.
• Consistência Comportamental: Visualizações qualitativas (por exemplo, cheetah_run) e métricas quantitativas (distância cumulativa L2 de ação) confirmaram que o QED produz políticas com comportamentos visivelmente e estatisticamente semelhantes entre execuções, enquanto o treinamento padrão gera modos comportamentais distintos (por exemplo, padrões diferentes de pulo ou caminhada).
• Tarefas de Alta Variância: Na tarefa notoriamente instável hopper_hop, o QED não apenas melhorou o desempenho, mas alinhou todas as execuções de treinamento para convergir a um nível de desempenho idêntico, enquanto a linha de base exibiu alta variância.

Significado e Alegações

O artigo argumenta que controlar a consistência comportamental é tanto viável quanto benéfico para a estabilidade e reprodutibilidade de sistemas de RL. Ao tratar a variabilidade como uma propriedade explícita a ser controlada, em vez de ruído a ser eliminado pela média, os autores sugerem que a consistência comportamental é um ingrediente faltante para um RL escalável e confiável.

O significado reside em permitir uma avaliação mais confiável:

• Avaliação Científica: Reduzindo a necessidade de médias massivas sobre sementes para detectar melhorias algorítmicas reais.
• Implantação: Garantindo que processos iterativos como ajuste de recompensa e validação de segurança não sejam confundidos por idiossincrasias estocásticas.
• Depuração: Facilitando a distinção entre falhas algorítmicas e variância aleatória.

Os autores observam modestamente limitações, particularmente que o método depende de estimativas ponto a ponto de Q, que podem levar tempo para convergir, e que um compromisso entre desempenho e similaridade torna-se mais pronunciado em tarefas de alta dimensionalidade. Eles concluem que, embora o QED ofereça uma abordagem principial para a estabilidade, trabalhos futuros são necessários para abordar a consistência de longo horizonte e o equilíbrio entre diversidade e uniformidade em estratégias de comportamento válidas.