💻 computer science

NeuroSynth: A Biologically Inspired Continual Reinforcement Learning Architecture for Mitigating Catastrophic Forgetting

Este artigo apresenta o NeuroSynth, uma arquitetura de aprendizagem por reforço contínua de inspiração biológica que mitiga o esquecimento catastrófico através de um mecanismo de consolidação de via dupla, demonstrando uma retenção significativamente melhorada do conhecimento de tarefas anteriores em comparação com as bases PPO e EWC em tarefas de navegação sequencial.

Autores originais: Yash Kini

Publicado 2026-08-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yash Kini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Segredo do Cérebro para Nunca Esquecer (E Por Que os Robôs Têm Dificuldade)

Imagine que você está tentando aprender um novo videogame. Você fica muito bom no primeiro nível, mas no momento em que começa o segundo nível, seu cérebro parece apertar um botão de "reset" e você esquece como jogar o primeiro. Isso não é apenas uma peculiaridade humana; é uma dor de cabeça enorme para a Inteligência Artificial (IA). No mundo do aprendizado de máquina, isso é chamado de "esquecimento catastrófico". Isso acontece quando uma IA aprende uma nova tarefa e acidentalmente sobrescreve o código que usava para a tarefa antiga, como escrever uma música nova em uma fita cassete e apagar o sucesso dos anos 90 no processo.

Cientistas têm estudado como nossos próprios cérebros resolvem esse problema. Eles acreditam que nossos cérebros usam um sistema inteligente de duas partes. Uma parte, o hipocampo, é como um bloco de notas super-rápido que captura novas informações instantaneamente. A outra parte, o neocórtex, é como uma biblioteca de cozimento lento que leva tempo para organizar e armazenar essas notas na memória de longo prazo. Enquanto podemos aprender coisas novas sem perder as antigas, a maioria dos sistemas de IA é construída como um cérebro único e gigante que tenta fazer tudo ao mesmo tempo, levando àquele frustrante efeito de botão de "reset". A grande questão é: Podemos construir uma IA que aprenda como um humano, mantendo suas habilidades antigas enquanto domina novas?

NeuroSynth: A IA Que Lembra de Suas Raízes

Conheça o NeuroSynth, uma nova arquitetura de IA criada por Yash Kini, um pesquisador do ensino médio, projetada para interromper essa perda de memória. Pense no NeuroSynth não como um céreamente único, mas como uma equipe de dois especialistas trabalhando juntos: um "Planejador" e um "Formador de Hábitos".

O Planejador é inspirado no hipocampo do cérebro. Ele é o aprendiz rápido. Quando a IA enfrenta um novo desafio, o Planejador entra em ação, entende-o rapidamente e então — crucialmente — congela seu conhecimento. É como tirar uma foto perfeita da solução e trancá-la em um cofre para que ela nunca possa ser apagada acidentalmente. O Formador de Hábitos, inspirado no córtex cerebral, é o trabalhador flexível. Ele permanece aberto e continua aprendendo coisas novas. Mas aqui está o truque de mágica: o Formador de Hábitos não aprende apenas por conta própria. Ele observa constantemente a foto congelada no cofre (o Planejador) e pratica os movimentos antigos usando uma técnica chamada "replay" (imaginar o jogo antigo) e "destilação" (copiar o estilo do Planejador). Dessa forma, a IA pode aprender um novo nível sem deletar o antigo.

Para testar se essa equipe inspirada no cérebro funcionava melhor que a IA padrão, os pesquisadores submeteram três modelos diferentes ao teste em um labirinto digital chamado NeuroMaze-CL. O objetivo era simples: navegar por uma grade para encontrar uma saída específica. A reviravolta? A saída mudava toda vez. A IA tinha que aprender a primeira saída, depois a segunda, depois a terceira, sem nunca ter permissão para praticar as duas primeiras novamente. Esta regra de "não-revisitação" foi desenhada para forçar a IA a esquecer, tal como um aluno que só tem permissão para estudar para o exame final e nunca olha para suas notas antigas.

Os resultados foram uma vitória clara para a abordagem inspirada no cérebro. O modelo de IA padrão, chamado PPO, foi um desastre total em termos de memória. Após aprender o terceiro labirinto, ele esqueceu completamente o primeiro, alcançando uma taxa de sucesso de apenas 0,33% na Tarefa A. Era como se a IA nunca tivesse visto o primeiro labirinto. O segundo modelo, EWC, tentou proteger suas memórias antigas sendo muito cuidadoso com suas atualizações, mas era tão cauteloso que teve dificuldades para aprender os novos labirintos de forma eficaz.

O NeuroSynth, no entanto, encontrou o ponto ideal. Após o mesmo treinamento, ele lembrou do primeiro labirinto com uma taxa de sucesso de 18,00% — significativamente melhor do que o desempenho quase nulo do PPO. Ele não apenas lembrou da primeira tarefa; ele também manteve a segunda tarefa muito melhor, alcançando uma taxa de sucesso de 35,33% na Tarefa B, comparado aos 0,00% do PPO. Quando chegou à tarefa final, a mais difícil (Tarefa C), o NeuroSynth teve um desempenho melhor que o cauteloso modelo EWC (9,00% vs. 2,00%), embora essa diferença específica não tenha sido estatisticamente forte o suficiente para ser chamada de uma vitória definitiva.

O estudo sugere que, ao separar o "aprendizado rápido" do "lembrar lento" e usar o replay para praticar habilidades antigas, podemos construir uma IA que seja ao mesmo tempo estável e flexível. Embora isso ainda não seja uma solução mágica que resolva todos os problemas na robótica ou na IA médica, mostra que copiar o sistema de duas vias do cérebro é uma maneira promissora de impedir que os robôs apertem aquele frustrante botão de "esquecer" toda vez que aprendem algo novo. Como observa o autor, este é um passo em direção a máquinas que podem verdadeiramente aprender uma vida inteira de habilidades sem perder aquelas que já dominaram.

Resumo Técnico: NeuroSynth – Uma Arquitetura de Aprendizado por Reforço Contínuo Inspirada Biologicamente

Declaração do Problema

Sistemas de Inteligência Artificial, particularmente em aprendizado por reforço (RL), sofrem frequentemente de esquecimento catastrófico. Este fenômeno ocorre quando uma rede neural treinada sequencialmente em novas tarefas sobrescreve os parâmetros críticos para comportamentos previamente aprendidos, levando a uma rápida degradação do conhecimento anterior. Embora sistemas de aprendizado biológicos mitiguem essa interferência através de processos de memória complementares — especificamente a interação entre o codificação hipocampal rápida e a consolidação cortical mais lenta — a maioria das arquiteturas de RL artificiais carece de uma separação explícita de sistemas de memória. As soluções existentes geralmente dependem de um único espaço de representação adaptável, tornando-as vulneráveis a atualizações de gradiente que priorizam novas tarefas em detrimento das antigas.

Metodologia

Estrutura Experimental

O estudo avalia o NeuroSynth, uma arquitetura inspirada no cérebro, contra duas linhas de base padrão de aprendizado contínuo:

Otimização de Política Próxima (PPO): Um método actor-critic padrão sem mecanismos específicos de aprendizado contínuo, servindo como referência para o esquecimento catastrófico.
Consolidação de Peso Elástico (EWC): Uma abordagem baseada em regularização que penaliza atualizações em parâmetros estimados como importantes para tarefas anteriores usando matrizes de Informação de Fisher.

A avaliação ocorre no NeuroMaze-CL, um ambiente de RL contínuo customizado construído sobre o framework Gymnasium. O ambiente é um mundo de grade 8×8 onde agentes navegam para locais de objetivo específicos usando observações RGB egocêntricas de 7×7 parcialmente observáveis. O experimento consiste em três tarefas sequenciais (Tarefa A → Tarefa B → Tarefa C) com mudanças nos locais dos objetivos. Crucialmente, a configuração é de não-revisitação: uma vez que uma fase de tarefa termina, o agente nunca mais treina nela, forçando o modelo a depender de mecanismos internos de retenção.

Arquitetura NeuroSynth

O NeuroSynth traduz a teoria dos Sistemas de Aprendizado Complementares (CLS) em um framework algorítmico funcional ao separar a aquisição rápida da consolidação de longo prazo via um mecanismo de via dupla:

Via de "Planejamento" Inspirada no Hipocampo:
- Adquire rapidamente representações para a tarefa inicial (Tarefa A) via aprendizado de diferença temporal.
- Uma vez concluído o treinamento da Tarefa A, todos os parâmetros de planejamento são congelados para preservar as representações iniciais.
- Uma cópia por Média Móvel Exponencial (EMA) desta rede congelada atua como um "professor" para as fases subsequentes.
Via de "Hábito" Inspirada no Córtex:
- Permanece plástica durante as Tarefas B e C, permitindo que o agente aprenda novos objetivos.
- Previne o esquecimento da Tarefa A através de dois mecanismos:
  - Replay: Um buffer de amostragem de reservatório armazena estados históricos da Tarefa A. Durante o novo treinamento, a via do hábito é exposta a uma mistura de experiências da tarefa atual e experiências replayed da tarefa anterior.
  - Destilação de Política: A via do hábito (aluno) é alinhada com a via de planejamento congelada (professor) usando perdas de divergência de Kullback–Leibler (KL) nos estados replayed da Tarefa A. Isso estabiliza o comportamento da política associado aos estados anteriores sem retreinar o planejador congelado.

Protocolo de Treinamento

Seeds: Seis sementes aleatórias independentes foram usadas para confiabilidade estatística.
Passos: Tarefa A (100k passos), Tarefa B (100k passos), Tarefa C (200k passos). A Tarefa C foi estendida para aumentar a interferência representacional.
Avaliação: Cronogramas determinísticos com 50 episódios por tarefa pós-treinamento. A taxa de sucesso é definida como a porcentagem de episódios que alcançam o objetivo.

Principais Resultados

O estudo relata o desempenho através das três tarefas após o treinamento sequencial, focando na retenção de tarefas anteriores e na aquisição da tarefa final.

Retenção da Tarefa A (Pós-Tarefa C):
- PPO: Sofreu esquecimento quase total, alcançando uma taxa de sucesso de 0,33%.
- NeuroSynth: Alcançou uma taxa de sucesso de 18,00%.
- Significância: A diferença é estatisticamente significativa ( $p = 0,014929$ ) com um grande tamanho de efeito (Cohen's $d = 1,49$ ).
Retenção da Tarefa B (Pós-Tarefa C):
- PPO: Alcançou 0,00% de taxa de sucesso.
- NeuroSynth: Alcançou 35,33% de taxa de sucesso.
- Significância: A diferença é altamente significativa ( $p = 0,002376$ ) com um tamanho de efeito muito grande (Cohen's $d = 2,31$ ).
Aquisição da Tarefa C (Desempenho Final):
- EWC: Alcançou 2,00% de taxa de sucesso, indicando que as restrições de parâmetros limitaram a adaptabilidade a novas tarefas.
- NeuroSynth: Alcançou 9,00% de taxa de sucesso.
- Significância: Embora o NeuroSynth tenha superado o EWC, a diferença não foi estatisticamente significativa ( $p = 0,226643$ ), embora tenha mostrado um efeito moderado (Cohen's $d = 0,56$ ).

Principais Contribuições

Separação Arquitetural: O NeuroSynth introduz um design de via dupla que separa explicitamente a aquisição rápida (Plano) da consolidação lenta (Hábito), mimetizando interações hipocampo-corticais biológicas.
Estabilização Híbrida: A arquitetura combina replay (rehearsal de dados) com destilação de política (alinhamento comportamental) para estabilizar representações sem depender apenas de regularização estática de parâmetros.
Validação Empírica: O estudo demonstra que esta abordagem inspirada biologicamente supera significativamente o PPO padrão na retenção de conhecimento prévio e oferece uma melhoria moderada sobre o EWC ao equilibrar estabilidade com plasticidade.

Significância e Alegações

O artigo afirma que o NeuroSynth aborda com sucesso o tradeoff estabilidade-plasticidade no aprendizado por reforço contínuo. Ao desacoplar os mecanismos para aprender novas tarefas e reter as antigas, a arquitetura evita que as atualizações de gradiente de novas tarefas sobrescrevam parâmetros críticos de tarefas anteriores.

O autor conclui que mecanismos de consolidação inspirados biologicamente — especificamente a separação de vias de memória e o uso de destilação guiada por replay — oferecem uma direção promissora para o desenvolvimento de sistemas de aprendizado vitalício estáveis. Os resultados sugerem que tais arquiteturas podem manter comportamentos adquiridos anteriormente enquanto continuam a se adaptar a novos ambientes, uma capacidade que métodos baseados puramente em gradiente (PPO) e métodos de regularização rígida (EWC) lutam para alcançar simultaneamente.

Limitações e Direções Futuras

O artigo admite modestamente algumas limitações:

Complexidade do Ambiente: Os experimentos foram conduzidos em mundos de grade discretos e de baixa dimensão, que não capturam totalmente a complexidade de entradas sensoriais de alta dimensão ou controle contínuo.
Escopo de Tarefas: Apenas três tarefas sequenciais foram utilizadas; a escalabilidade para benchmarks de aprendizado vitalício maiores permanece não testada.
Comparação de Baselines: As comparações foram limitadas ao PPO e EWC; comparações mais amplas com sistemas de memória baseados em transformadores ou híbridos são necessárias.
Fidelidade Biológica: O modelo é "inspirado biologicamente" e não "biologicamente realista", simplificando processos complexos como o replay dependente do sono e a modulação sináptica.

O trabalho futuro proposto pelo autor inclui testar o NeuroSynth em ambientes de robótica e controle contínuo, investigar cenários de recompensa esparsa e explorar mecanismos de consolidação adaptativos (por exemplo, congelamento dinâmico de vias) em vez de congelamento estático para melhorar a flexibilidade de longo prazo.