Resumo Técnico: Neuroevolução de Dois Tempos Provavelmente Sublinear com Plasticidade Online

Declaração do Problema

A Neuroevolução (NE), particularmente algoritmos como o NeuroEvolution of Augmenting Topologies (NEAT), é um método estabelecido para otimizar arquiteturas e pesos de redes neurais sem o uso de gradiente descendente. No entanto, as abordagens padrão de NE enfrentam duas limitações primárias em tarefas de controle contínuo complexas:

1. Escalabilidade em Altas Dimensões: A NE pura depende de perturbações baseadas em mutação para a otimização de pesos em espaços de alta dimensão. Isso frequentemente leva a atribuições de aptidão (fitness) fracas, dinâmicas de otimização instáveis e convergência prematura.
2. Falta de Adaptação Online: A maioria dos algoritmos de NE é "offline", evoluindo uma população para uma tarefa e fixando a política no momento da implantação. Isso é inadequado para ambientes que exigem adaptação em tempo real a interações sequenciais e condições não estacionárias.

Embora métodos híbridos que combinam neuroevolução com aprendizado online existam, suas propriedades teóricas, especificamente em relação aos limites de arrependimento (regret bounds), permanecem amplamente inexploradas. As análises teóricas existentes focam em otimização discreta ou análise de tempo de execução de busca de arquitetura, mas não abordam a neuroevolução com aprendizado online em espaços de busca contínuos.

Metodologia: O Framework NEOL

O artigo introduz a NeuroEvolutionary Online Learning (NEOL), um framework geral que desacopla o aprendizado em dois tempos distintos:

1. Loop Externo (Busca de Arquitetura): Um processo evolutivo busca topologias de rede ideais (genomas). Este loop opera em um tempo mais lento, selecionando arquiteturas com base na aptidão.
2. Loop Interno (Adaptação de Peso Online): Dentro de um único episódio (rollout), a arquitetura selecionada adapta seus pesos online via plasticidade modulada por recompensa. Este loop opera em um tempo mais rápido, permitindo que o agente aprenda a partir do feedback de interação imediata sem retropropagar gradientes através do tempo.

Componentes Principais

• Regras de Plasticidade: O loop interno utiliza regras de aprendizado local, motivadas biologicamente, controladas por sinais de recompensa:
  • Hebbiana Modulada por Recompensa: Fortalece sinapses com base na atividade correlacionada pré e pós-sináptica, escalonada pela recompensa.
  • Oja Modulada por Recompensa: Adiciona feedback negativo dependente de atividade para evitar a divergência, ofereção uma interpretação de componente principal.
  • BCM Modulada por Recompensa: Introduz um limiar deslizante para separar depressão de potenciação, apoiando seletividade e homeostase.
• Mecanismo de Seleção: Para tratabilidade teórica, a seleção do loop externo é modelada como uma atualização de peso exponencial (semelhante ao algoritmo Hedge) sobre um conjunto finito de arquiteturas candidatas, em vez de mecanismos específicos de NEAT como especiação ou compartilhamento explícito de aptidão.
• Desacoplamento: Diferente do NEAT padrão, que muta tanto a topologia quanto os pesos offline, o NEOL mantém os pesos fixos durante a variação evolutiva, mas permite que eles se adaptem durante o rollout de avaliação via plasticidade. A recompensa cumulativa desses rollouts adaptados determina a aptidão para a próxima geração.

Contribuições Principais

1. Primeira Análise de Regret para NEOL: O artigo fornece a primeira análise formal de arrependimento para um framework geral de Aprendizado Online Neuroevolutivo. Sob suposições brandas (espaço de arquitetura finito, recompensas limitadas e atualizações sinápticas locais limitadas), os autores provam que o NEOL alcança um arrependimento sublinear de $O(\sqrt{T})$. Isso implica que o desempenho médio do algoritmo converge assintoticamente para a política ótima dentro do conjunto candidato.
2. Implementação NEAT-NEOL: Uma implementação prática é proposta que integra o NEAT para evolução estrutural com as regras de plasticidade mencionadas para adaptação de peso online.
3. Validação Empírica: Experimentos extensos foram conduzidos em quatro benchmarks de controle padrão (CartPole, Lunar Lander, Hopper e Bipedal Walker) sob orçamentos de interação fixos.

Resultados Experimentais

A implementação NEAT-NEOL foi comparada contra o NEAT padrão e baselines fortes de Aprendizado por Reforço (RL) (PPO e SAC).

• vs. NEAT Padrão: O NEAT-NEOL alcançou consistentemente maior aptidão final e menor variância nas tarefas de controle contínuo mais complexas (Lunar Lander, Hopper, Bipedal Walker). A significância estatística foi confirmada via testes de soma de postos de Wilcoxon ($p < 0,05$).
• vs. Baselines de RL:
  • Em CartPole e Lunar Lander, o NEAT-NEOL superou o PPO e o SAC, alcançando maior aptidão com menor variância sob o mesmo orçamento de interação ($10^7$ passos).
  • Em Hopper e Bipedal Walker, o PPO e o SAC permaneceram superiores, embora o NEAT-NEOL tenha sido mais competitivo contra o PPO do que o NEAT padrão foi.
• Estudos de Ablação: Desativar o componente de plasticidade online (criando "NEAT w/o") resultou em desempenho mediano significativamente menor e maior variância em tarefas contínuas, confirmando que a melhoria advém especificamente da adaptação de peso online.

Significância e Alegações

O artigo afirma que a integração da plasticidade online na neuroevolução oferece um mecanismo robusto para melhorar a eficiência de amostragem e a estabilidade em ambientes interativos.

• Significância Teórica: O limite de arrependimento sublinear ($O(\sqrt{T})$) fornece uma base teórica rigorosa para métodos híbridos de aprendizado evolutivo-online, demonstrando que a combinação de busca estrutural e adaptação de peso local é teoricamente sólida.
• Significância Prática: Os resultados sugerem que a plasticidade online permite que agentes neuroevolutivos se adaptem dentro de sua "vida útil" (durante um rollout), levando a dinâmicas de aprendizado mais confiáveis e melhor desempenho em tarefas que exigem adaptação rápida.
• Limitações: Os autores reconhecem que a análise teórica depende de suposições específicas, como a seleção de peso exponencial para o loop externo e regras de plasticidade local específicas (Hebb, Oja, BCM). A análise ainda não se estende a classes mais amplas de algoritmos de seleção ou regras de plasticidade não locais mais complexas. Além disso, a robustez empírica em ambientes altamente complexos e não estacionários além dos benchmarks testados permanece uma questão aberta.

Em resumo, o artigo estabelece que a neuroevolução de dois tempos, quando aumentada com plasticidade modulada por recompensa, é uma abordagem teoricamente fundamentada e empiricamente eficaz para controle contínuo, preenchendo a lacuna entre a busca evolutiva e o aprendizado online.