Transfer Learning for Customized Car Racing Environments

Resumo Técnico: Aprendizado por Transferência para Ambientes Personalizados de Corrida de Carros

Enunciado do Problema
O Aprendizado por Reforço (RL) enfrenta um compromisso fundamental entre exploração e exploração, frequentemente exigindo grandes quantidades de dados para convergir, particularmente em ambientes com recompensas esparsas, observabilidade parcial e espaços de controle contínuo de alta dimensão. Embora o Aprendizado por Transferência (TL) seja bem estabelecido no aprendizado profundo supervisionado, sua aplicação no RL profundo é não trivial devido à complexidade de transferir conhecimento dentro de Processos de Decisão de Markov (MDPs). O desafio específico abordado neste trabalho é alcançar voltas rápidas no ambiente Car Racing da OpenAI, treinando um agente em um circuito fonte e aplicando esse conhecimento a ambientes alvo personalizados (com mapas, aceleração, frenagem ou parâmetros de atrito diferentes) via transferência zero-shot ou ajuste fino.

Metodologia
O estudo emprega uma análise comparativa de algoritmos de aprendizado por reforço profundo sem modelo e baseados em modelo dentro do ambiente Car Racing do OpenAI Gym.

• Algoritmos Testados:
  • Sem Modelo: Proximal Policy Optimization (PPO), Soft Actor-Critic (SAC) e Deep Deterministic Policy Gradient (DDPG).
  • Baseados em Modelo: Dreamer (especificamente uma versão personalizada do DreamerV2), que aprende dinâmicas latentes através de um modelo de mundo para planejar em "imaginação".
• Configuração Experimental:
  • Domínio Fonte: Um mapa padrão de Car Racing com curvas menos extremas, usado para treinamento inicial ao longo de 1 milhão de passos.
  • Domínios Alvo: Ambientes personalizados criados alterando:
    1. Pista de Corrida: Um mapa alvo com curvas mais apertadas e difíceis.
    2. Dinâmicas: Coeficientes de aceleração modificados (+0,2/passo de tempo vs. padrão +0,1), coeficientes de frenagem (0,6 vs. 0,8) e atrito da grama (0,8 vs. 0,6).
  • Protocolos de Transferência:
    • Transferência Zero-Shot: Avaliação de modelos pré-treinados em domínios alvo sem interação adicional.
    • Transferência Few-Shot (Ajuste Fino): Treinamento adicional de 300 mil passos no domínio alvo.
  • Implementação: Os autores utilizaram o repositório Stable Baselines3 (SB3) para PPO, SAC e DDPG, e um fork personalizado do repositório DreamerV2. Pesos de redes neurais foram transferidos entre tarefas fonte e alvo.

Principais Contribuições
O artigo apresenta um extenso estudo de ablação comparando a eficácia das abordagens baseadas em modelo versus sem modelo em cenários de aprendizado por transferência para tarefas de controle contínuo. As contribuições específicas incluem:

1. Teste sistemático de PPO, SAC, DDPG e Dreamer no ambiente padrão OpenAI CarRacing.
2. Avaliação da capacidade desses algoritmos de transferir para ambientes personalizados envolvendo mudanças em pistas de corrida e dinâmicas veiculares (aceleração, frenagem, atrito).
3. Uma análise comparativa da velocidade de convergência, eficiência de amostragem e desempenho final entre paradigmas baseados em modelo e sem modelo no contexto de aprendizado por transferência.

Resultados

• Desempenho no Ambiente Base: A abordagem baseada em modelo (Dreamer) superou significativamente as contrapartes sem modelo, alcançando recompensas acima de 900 e convergindo em aproximadamente 200 mil passos. Em contraste, PPO e SAC atingiram recompensas de 550 e ~500, respectivamente, em 1 milhão de passos. O DDPG falhou em convergir, produzindo consistentemente recompensas negativas (-84) apesar de extenso ajuste de hiperparâmetros.
• Transferência Zero-Shot: No mapa alvo, o Dreamer alcançou a maior recompensa (500), seguido pelo PPO (400) e SAC (~350). Todos performaram abaixo de seus níveis no mapa fonte. O DDPG continuou a ter dificuldades.
• Ajuste Fino: Após 300 mil passos de ajuste fino, o Dreamer recuperou o desempenho ao nível da fonte (~915 recompensas) e resolveu a tarefa alvo. PPO e SAC mostraram desempenho semelhante às suas contrapartes zero-shot, falhando em igualar a recuperação do Dreamer.
• Dinâmicas Personalizadas:
  • Aceleração: PPO e Dreamer mantiveram o desempenho do nível base; SAC caiu ligeiramente.
  • Frenagem: PPO e SAC performaram pior que a base; Dreamer manteve o desempenho do nível base.
  • Atrito: PPO performou significativamente pior e degradou ainda mais com o ajuste fino; SAC manteve os níveis base; Dreamer performou ligeiramente pior, mas ainda superou todos os algoritmos sem modelo.
• Observações Qualitativas: A análise de vídeo revelou que, enquanto agentes sem modelo às vezes alcançavam recompensas decentes, eles frequentemente exibiam comportamentos inseguros (por exemplo, dirigindo na direção errada ou derrapando). O Dreamer, particularmente após o ajuste fino, demonstrou manobrabilidade superior em curvas fechadas.

Significado e Alegações
Os autores afirmam que as abordagens baseadas em modelo, especificamente o Dreamer, dominam neste ambiente em termos de desempenho, velocidade de convergência e eficiência de amostragem em comparação com métodos sem modelo. O estudo destaca que algoritmos sem modelo exibem propriedades de convergência frágeis, exigindo ajuste meticuloso de hiperparâmetros e ainda falhando em generalizar de forma confiável entre diferentes ambientes (como visto com o DDPG e a degradação do PPO em cenários de alto atrito).

O artigo afirma que o aprendizado por transferência, particularmente quando combinado com ajuste fino, não apenas impulsiona o desempenho em domínios alvo, mas também demonstra alta capacidade de desempenho durante o processo de aprendizado, sugerindo potencial para aprendizado por reforço seguro. Os autores concluem que, embora tenham resolvido com sucesso a tarefa de corrida de carros em configurações personalizadas usando RL baseado em modelo, seu trabalho foi limitado por restrições computacionais (cada experimento levando ~24 horas). Eles expressam interesse em trabalhos futuros envolvendo meta-RL, RL seguro e testes no mundo real, mas não afirmam aplicabilidade imediata além do escopo de seus experimentos de simulação.