Proximal Policy Optimization with Evolutionary Mutations

Resumo Técnico: Otimização de Política Próxima com Mutações Evolutivas (POEM)

Definição do Problema
Algoritmos de Aprendizado por Reforço (RL), particularmente a Otimização de Política Próxima (PPO), frequentemente enfrentam um desafio crítico ao equilibrar exploração e explotação. Embora o PPO seja renomado por sua estabilidade e eficiência de amostras, sua dependência de atualizações de política pequenas e incrementais pode levar à convergência prematura em ótimos locais. Este problema é exacerbado em ambientes com estruturas de recompensa ineficazes, onde o mecanismo padrão do PPO — usando a divergência de Kullback–Leibler (KL) para limitar mudanças na política — pode inadvertidamente suprimir a exploração necessária. O resultado é o "estagnação da política", onde o modelo se estabelece em uma política subótima em vez de descobrir ativamente comportamentos melhores.

Metodologia
Para abordar isso, os autores propõem o POEM (Otimização de Política Próxima com Mutações Evolutivas), uma modificação inovadora que integra um mecanismo de exploração adaptativa inspirado em algoritmos evolutivos. A inovação central reside no monitoramento da diversidade da política ao longo do tempo para disparar a exploração quando a política se torna muito previsível.

O algoritmo POEM opera através dos seguintes mecanismos:

1. Monitoramento de Diversidade: O POEM mantém uma média móvel exponencial dos parâmetros de política passados ($\hat{\theta}$). Ele calcula a divergência KL entre a política atual ($\pi_\theta$) e esta política de referência de média móvel ($\pi_{\hat{\theta}}$).
2. Gatilho Adaptativo: O algoritmo rastreia esta divergência ($d_{post}$) após as atualizações padrão do PPO. Se a divergência cair abaixo de um limiar predefinido ($\delta$), isso indica que a política estagnou ou tornou-se muito semelhante ao seu histórico recente.
3. Mutação Evolutiva: Ao disparar o gatilho, o POEM realiza uma mutação adaptativa dos parâmetros da política. O ruído de mutação é amostrado de uma distribuição Gaussiana com um desvio padrão ($\sigma$) que escala inversamente com a métrica de diversidade (ou seja, menor diversidade resulta em maior variância de mutação).
   • A política candidata mutada ($\theta'$) é avaliada contra a função de perda total, que inclui o padrão de perda de substituto recortado (clipped surrogate loss) do PPO, a perda da função de valor, o bônus de entropia e um termo de bônus de diversidade ponderado por $\lambda_{div}$.
   • A mutação é aceita apenas se resultar em uma perda total menor do que a política atual.
4. Implementação: O sistema foi implementado utilizando o framework Stable-Baselines3 e PyTorch. Os hiperparâmetros foram ajustados usando Optuna (Estimador de Parzen Estruturado em Árvore) para garantir uma comparação justa com o PPO padrão em todos os ambientes.

Configuração Experimental
Os autores avaliaram o POEM contra o PPO padrão em quatro ambientes OpenAI Gym:

• CarRacing (v0): Uma tarefa de controle contínuo usando quadros em tons de cinza empilhados.
• MountainCar (v0): Um ambiente de recompensa esparsa que requer acúmulo de momento.
• BipedalWalker (v3): Uma tarefa de locomoção complexa com recompensas de progresso frontal contínuo.
• LunarLander (v2): Modificado para incluir uma mecânica de combustível (600 unidades) para impor a tomada de decisão consciente de recursos.

A avaliação envolveu 10 execuções de treinamento independentes para cada algoritmo por ambiente, seguidas de 15 episódios de avaliação determinísticos. A significância estatística foi avaliada usando o teste t de Welch.

Resultos Principais
O POEM demonstrou melhorias estatisticamente significativas sobre o PPO padrão em três dos quatro ambientes:

• CarRacing: O POEM alcançou uma recompensa média de 640,01 comparado aos -610,83 do PPO. A diferença foi altamente significativa ($t = -6,3987, p = 0,0002$). O POEM navegou de forma confiável pela pista, enquanto o PPO frequentemente falhou em completar os episódios.
• MountainCar: O POEM alcançou uma recompensa média de 93,52 contra os -311,75 do PPO ($t = -6,2431, p < 0,0001$). O POEM conseguiu escapar do vale e atingir o objetivo, enquanto o PPO frequentemente estagnava ou sofria timeout.
• BipedalWalker: O POEM superou o PPO com uma recompensa média de 180,58 comparada a 62,43 ($t = -2,0642, p = 0,0495$). O POEM produziu trajetórias mais suaves e uma taxa de sucesso maior (12/15 conclusões vs. 7/15 para o PPO).
• LunarLander: Embora o POEM tenha alcançado uma recompensa média superior (242,10 vs. 210,94), a diferença não foi estatisticamente significativa ($t = -1,8707, p = 0,0778$). Os autores observam que o POEM adotou uma estratégia de descida rápida inicial seguida de ajuste fino, enquanto o PPO pairou em altas altitudes, uma estratégia que ocasionalmente levou à exaustão catastrófica de combustível.

Significância e Alegações
O artigo afirma que integrar princípios evolutivos em métodos de gradiente de política oferece uma solução viável para o equilíbrio entre exploração e explotação. Ao usar a divergência KL como uma métrica de "novidade" para disparar mutações adaptativas, o POEM escapa efetivamente de ótimos locais sem sacrificar a estabilidade inerente do PPO. Os resultados sugerem que essa abordagem impulsionada pela diversidade permite que os agentes aprendam políticas mais robustas em ambientes caracterizados por recompensas tanto esparsas quanto densas.

Os autores concluem que, embora o POEM se iguale ao PPO no LunarLander, sua capacidade de superar significativamente o PPO no CarRacing, MountainCar e BipedalWalker valida a hipótese de que mutações adaptativas, disparadas pela diversidade, podem desbloquear exploração adicional. O trabalho futuro proposto pelos autores inclui testar o POEM em ambientes com espaços de ação discretos, escalar para aplicações de alto nível no mundo real e realizar o benchmarking contra outros variantes contemporâneos de PPO, como aqueles aprimorados com módulos de curiosidade intrínseca.