Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

Resumo Técnico: Modelagem de Recompensa por Evolução de Nível Bilateral para Generalização em Aprendizado por Reforço

Formulação do Problema
Este artigo aborda a lacuna de generalização no Aprendizado por Reforço Profundo (RL), onde políticas treinadas em ambientes limitados falham ao atuar em ambientes de teste não vistos com dinâmicas diferentes (por exemplo, variações nas probabilidades de transição). Os autores focam em um cenário específico e restrito, comum em configurações de preservação de privacidade ou restritas:

• Ambientes de Treinamento ($M_{train}$): Um conjunto pequeno e fixo de ambientes onde trajetórias completas de estado-ação são observáveis.
• Ambientes de Validação ($M_{val}$): Um conjunto maior de ambientes onde apenas métricas escalares de desempenho (recompensas cumulativas não descontadas) estão disponíveis. Trajetórias completas são inacessíveis, impedindo o cálculo de gradientes de política ou técnicas padrão de Randomização de Domínio (DR) que dependem de dados de trajetórias diversas.
• Objetivo: Maximizar o desempenho de generalização ($J_{gen}$) em ambientes de teste não vistos, utilizando o feedback escalar limitado dos ambientes de validação para guiar o treinamento nos ambientes de treinamento acessíveis.

Metodologia: Generalização via Modelagem de Recompensa Evolutiva (GERS)
Os autores propõem o GERS, uma estrutura de otimização de nível bilateral projetada para moldar automaticamente a função de recompensa para melhorar a generalização sem acesso às trajetórias de validação.

1. Formulação Bilateral:

   • Nível Inferior (Otimização da Política): Um agente de RL (usando Proximal Policy Optimization, PPO) aprende uma política $\pi_\theta$ nos ambientes de treinamento ($M_{train}$) usando uma função de recompensa moldada $\hat{r}_\nu$. O objetivo é maximizar o retorno descontado nos dados de treinamento: $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$.
   • Nível Superior (Otimização da Modelagem de Recompensa): Uma estratégia evolucionária (Covariance Matrix Adaptation Evolution Strategy, CMA-ES) otimiza os parâmetros de modelagem de recompensa $\nu$. O objetivo é maximizar a recompensa não moldada cumulativa obtida pela política de nível inferior nos ambientes de validação: $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$.
   • A recompensa moldada é definida linearmente: $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$, onde $\phi(s, a)$ concatena os vetores de estado e ação.

2. Implementação Algorítmica:

   • Pré-treinamento: Um agente PPO é primeiro pré-treinado na função de recompensa original para fornecer uma inicialização robusta.
   • Busca Evolucionária: O CMA-ES amostra candidatos de parâmetros de recompensa $\nu$. Para cada candidato, o agente PPO é ajustado (usando a política pré-treinada como ponto de partida) nos ambientes de treinamento com a recompensa moldada.
   • Avaliação: As políticas resultantes são avaliadas nos ambientes de validação para obter pontuações escalares. Essas pontuações guiam a atualização do CMA-ES.
   • Eficiência: Para reduzir o custo computacional, o método emprega compartilhamento de parâmetros (herdando tanto as redes Actor quanto Critic) do modelo pré-treinado e utiliza a avaliação paralela de candidatos do CMA-ES.

Principais Contribuições

• Cenário Inovador: O artigo formaliza e aborda o desafio da generalização em RL onde os ambientes de validação são "caixas pretas" que fornecem apenas retornos escalares, uma restrição frequentemente ignorada por métodos padrão de Randomização de Domínio (DR) ou Geração de Conteúdo Procedural (PCG).
• Estrutura Bilateral: Introduz uma abordagem de otimização de nível bilateral que desacopla o aprendizado da política (nível inferior) do design da função de recompensa (nível superior), utilizando estratégias evolucionárias para fazer a ponte entre o desempenho de treinamento e de validação.
• Eficiência de Dados: O método demonstra que uma alta generalização pode ser alcançada sem acessar trajetórias nos ambientes de validação, baseando-se apenas no feedback escalar para direcionar a modelagem da recompensa.

Resultados Experimentais
Os autores avaliaram o GERS em quatro tarefas de controle contínuo do MuJoCo (InvertedPendulum, Hopper, HalfCheetah, Ant) com parâmetros físicos variados (ex: massa, fricção, gravidade).

• Comparação com Baselines: O PPO padrão treinado em um único ambiente mostrou um overfitting significativo, alcançando altas recompensas de treinamento, mas baixo desempenho em ambientes de teste não vistos.
• Desempenho do GERS: O GERS superou significativamente o baseline padrão do PPO em todas as tarefas, alcançando um desempenho de generalização comparável ao desempenho de treinamento em vários casos (ex: InvertedPendulum).
• Comparação com Randomização de Domínio (DR):
  • O GERS foi comparado contra um baseline de DR que utilizou o mesmo conjunto de ambientes como dados de treinamento (com acesso total à trajetória).
  • Embora o DR tenha performado melhor em tarefas complexas (HalfCheetah, Ant), o GERS superou o DR em tarefas mais simples (InvertedPendulum, Hopper).
  • Crucialmente, o GERS alcançou uma robustez competitiva em relação ao DR, apesar de operar sob restrições de informação muito mais rigorosas (sem acesso a trajetórias nos ambientes de validação).
• Análise Out-of-Distribution (OOD): Avaliações por mapas de calor mostraram que o GERS manteve uma forte robustez quando um parâmetro físico foi levado a regiões extremas de OOD, embora o desempenho caísse quando múltiplos parâmetros eram simultaneamente extremos.

Significância e Alegações
O artigo afirma que o GERS melhora efetivamente a generalização de RL sob restrições de acesso a dados. Sua principal significância reside em demonstrar que a modelagem de recompensa otimizada via estratégias evolucionárias através de feedback escalar de validação pode servir como uma alternativa viável à Randomização de Domínio quando dados de trajetória não estão disponíveis. Os autores postulam que esta abordagem é particularmente relevante para aplicações do mundo real, como red teaming automatizado ou implantações sensíveis à privacidade, onde os desenvolvedores podem observar resultados de desempenho, mas não podem acessar as transições de estado internas dos sistemas alvo.

Limitações Reconhecidas
Os autores notam modestamente algumas limitações:

• A avaliação foi restrita a tarefas de controle contínuo de recompensa densa; a aplicabilidade a problemas de recompensa esparsa não foi verificada.
• Altos custos computacionais limitaram o número de tentativas independentes, afetando o poder estatístico.
• O ganho de desempenho é uma combinação de modelagem de recompensa e a seleção da melhor política de muitos experimentos estocásticos; um estudo de ablação para isolar a contribuição específica da modelagem de recompensa é necessário.
• O CMA-ES de nível superior não convergiu totalmente em todos os experimentos, sugerindo a necessidade de variantes conscientes de ruído em trabalhos futuros.