Resumo Técnico: Forager – Um Ambiente de Teste Leve para Aprendizado Contínuo com Observabilidade Parcial

Declaração do Problema

O Aprendizado por Reforço Contínuo (CRL) visa desenvolver agentes capazes de aprender, agir e explorar indefinidamente em um "grande mundo" que é parcialmente observável e não estacionário. A pesquisa atual em CRL concentrou-se amplamente na perda de plasticidade—a incapacidade dos agentes de continuar aprendendo após trocas de tarefas—frequentemente dentro de Processos de Decisão de Markov (MDPs) totalmente observáveis, onde a não estacionariedade é introduzida artificialmente.

Existe uma lacuna crítica no estudo do CRL sob observabilidade parcial. Embora a observabilidade parcial seja uma característica fundamental de ambientes do mundo real (a "Hipótese do Grande Mundo"), a maioria das benchmarks existentes ou:

1. São totalmente observáveis (por exemplo, ALE, Mujoco), onde os agentes podem teoricamente simular o ambiente perfeitamente.
2. São proibitivamente caras para executar experimentos de CRL de longo prazo (por exemplo, Minecraft, Craftax), frequentemente exigindo paralelismo massivo ou informações de estado privilegiadas para alcançar o sucesso.
3. Sofrem de limitações técnicas, como pegadas de memória crescentes que impedem iteração rápida (por exemplo, Jelly Bean World).

Consequentemente, a interação entre construção de estado (usando memória/recorrência para lidar com observabilidade parcial) e aprendizado contínuo (rastreamento de dinâmicas em mudança) permanece pouco explorada.

Metodologia: O Ambiente Forager

Os autores introduzem o Forager, um ambiente de mundo em grade leve e configurável projetado para servir como um ambiente de teste escalável para CRL.

• Estrutura do Ambiente: O Forager simula um mundo toroidal infinito onde um agente navega para coletar cogumelos com recompensas variáveis e comportamentos de renascimento. O mundo é gerado proceduralmente, mas não depende de física complexa ou gráficos ricos.
• Observabilidade Parcial: O agente opera com um Campo de Visão (FOV) limitado e centrado no agente. A observação é uma imagem RGB ou um tensor binário da área visível. O agente não pode ver o estado global, necessitando de memória para rastrear localizações de objetos e tempos de renascimento fora do FOV.
• Não Estacionariedade: O ambiente suporta várias formas de não estacionariedade, incluindo:
  • Troca de Tarefas: Mudanças periódicas nas funções de recompensa para tipos específicos de objetos (por exemplo, um tipo de cogumelo que era anteriormente positivo torna-se negativo).
  • Recompensas Dinâmicas: Recompensas que decaem ao longo do tempo ou mudam com base em cronogramas ocultos.
  • Fluxos Sem Fim: Uma variante onde novas espécies de cogumelos substituem as extintas, criando uma sequência infinita de tarefas.
• Características de Desempenho: O Forager é otimizado para velocidade e eficiência de memória. Ele roda a até $10^5$ quadros por segundo (FPS) com uma pegada de memória constante, independentemente do histórico de exploração do agente. Isso contrasta com benchmarks como o Jelly Bean World, onde o uso de memória cresce com a exploração.
• Implementação: O ambiente está disponível em uma implementação em CPU e em uma implementação baseada em JAX (Foragax) que permite centenas de ensaios paralelos em uma única GPU.

Contribuições Principais

1. Um Ambiente de Teste Eficiente em Recursos: O Forager fornece um ambiente configurável para prototipagem rápida de algoritmos de CRL. Permite que os pesquisadores controlem o grau de observabilidade parcial (via tamanho do FOV) e a dificuldade do problema (via colocação de objetos e dinâmicas de recompensa) sem a sobrecarga computacional de motores de jogos complexos.
2. Demonstração da Necessidade de Construção de Estado: O artigo fornece evidências empíricas de que agentes padrão de RL profundo (DQN, PPO) falham em se sair bem no Forager devido à observabilidade parcial. Destaca que a construção de estado (via traços de memória ou arquiteturas recorrentes) é mais crítica para o desempenho contínuo neste cenário do que técnicas padrão de mitigação de plasticidade.
3. Suite Abrangente de Benchmarking: Os autores avaliam uma ampla gama de algoritmos, incluindo:
   • Baselines: DQN e PPO.
   • Mitigações de Plasticidade: Regularização em direção à inicialização, ativações cReLU, Shrink & Perturb, regularização L2 e Aprendizado Q Permanente-Transitório (PT-DQN).
   • Construção de Estado: Traços de memória exponencialmente ponderados, Deep Recurrent Q-Networks (DRQN) e Recurrent Temporal Unit PPO (RTU-PPO).
4. Variante de Tarefa Sem Fim: Uma configuração específica que gera um fluxo contínuo de novas tarefas, forçando os agentes a aprender para sempre sem convergir para uma política estática, destacando assim as limitações dos agentes atuais de CRL.

Resultados Experimentais

1. Impacto da Observabilidade Parcial (Campo de Visão)

• Observação: À medida que o FOV diminui, o desempenho dos agentes DQN feed-forward cai significativamente.
• Descoberta: Com FOVs grandes, o DQN se aproxima do desempenho de uma Busca Oráculo. Com FOVs pequenos (onde o agente não pode ver através de lacunas de "bioma"), o DQN falha em aprender estratégias ótimas de forrageamento, comportando-se como uma busca aleatória ou de vizinho mais próximo. Isso confirma que o ambiente exige efetivamente memória para rastrear estados ocultos.

2. Perda de Plasticidade e Mitigações

• Observação: Em uma variante de troca de tarefas, o PPO exibiu perda severa de plasticidade (o desempenho degradou ao longo do tempo), enquanto o DQN mostrou apenas degradação menor.
• Teste de Mitigação: Várias mitigações propostas (cReLU, L2 Init, Shrink & Perturb, PT-DQN) foram testadas.
  • Resultados: Embora algumas mitigações (notavelmente L2 Init e cReLU) tenham melhorado a velocidade de adaptação ou evitado o colapso total, nenhuma permitiu que os agentes se aproximassem do desempenho da baseline de Busca Oráculo.
  • Conclusão: Mitigar a perda de plasticidade isoladamente é insuficiente para CRL em ambientes parcialmente observáveis; os agentes ainda carecem da capacidade de construir um estado interno útil.

3. O Papel da Construção de Estado

• Memória Simples: Adicionar um traço de memória de recompensas recentes com ponderação exponencial melhorou significativamente o desempenho tanto para DQN quanto para PPO.
• Arquiteturas Recorrentes:
  • DRQN: Um DRQN modificado com GRUs não superou o DQN padrão, sugerindo que a implementação específica ou o algoritmo não estava extraindo estado útil neste contexto.
  • RTU-PPO: Uma variante recorrente do PPO usando uma camada Recurrent Temporal Unit (RTU) alcançou o melhor desempenho entre todos os agentes de aprendizado, quase igualando a baseline de Busca Oráculo.
  • Evidência de Aprendizado Contínuo: Quando o agente RTU-PPO foi "congelado" (parou de aprender) no meio do experimento, seu desempenho caiu significativamente. Isso prova que o agente não estava convergindo para uma política estática, mas estava ativamente reaprendendo continuamente e adaptando-se às trocas de tarefas enquanto aproveitava seu estado recorrente para lidar com a observabilidade parcial.

4. Fluxo de Tarefas Sem Fim

• Na variante mais desafiadora (quatro biomas, substituição dinâmica de espécies, pistas ocultas), mesmo os melhores agentes recorrentes (RTU-PPO) estabilizaram e falharam em atingir o desempenho do Oráculo.
• Interpretação: A combinação de não estacionariedade rápida de recompensas, grande tamanho do mundo e FOV limitado cria um desafio que os algoritmos atuais não conseguem superar totalmente, particularmente em um cenário de aprendizado de fluxo único (síncrono).

Significado e Alegações

O artigo alega que o Forager preenche uma lacuna crítica na pesquisa de CRL ao fornecer um ambiente escalável e eficiente em memória que isola os desafios da observabilidade parcial e da construção de estado.

• Alegações Moderadas: Os autores afirmam explicitamente que o Forager não é uma simulação realista e carece de física complexa. Seu valor reside na capacidade de equilibrar prototipagem rápida com complexidade suficiente para desafiar algoritmos atuais.
• Insight Central: A descoberta principal é que, embora mitigar a perda de plasticidade seja importante, a construção de estado (via recorrência ou memória) é o fator dominante para permitir que os agentes aprendam continuamente em mundos parcialmente observáveis.
• Direção Futura: A variante de tarefa sem fim serve como um "problema de desafio" para impulsionar pesquisas futuras em algoritmos que possam lidar com adaptação rápida, abstração temporal e exploração eficaz em grandes mundos parcialmente observáveis.

O artigo conclui que os agentes atuais de CRL têm limitações claras nestes cenários e que o Forager oferece um ambiente de teste científico para investigar essas limitações sem as proibições computacionais de ambientes de maior escala.