Resumo Técnico: Plasticidade com Gatilho de Evidência Sensível ao Contexto para Aprendizado de Múltiplos Objetivos em Redes Neurais de Impulsos (Spiking Neural Networks)

Declaração do Problema

Redes neurais de impulsos (SNNs) inspiradas biologicamente oferecem um arcabouço para modelar o comportamento adaptativo, mas enfrentam dificuldades com o aprendizado contínuo de múltiplos objetivos. Em arquiteturas de rede compartilhadas, as atualizações sinápticas impulsionadas por diferentes alvos de navegação podem interferir umas nas outras. Especificamente, quando uma rede aprende a navegar para múltiplos objetivos usando a plasticidade padrão de dependência de tempo de disparo modulada por recompensa online (STDP/RL), as atualizações associadas a um alvo frequentemente degradam as políticas previamente aprendidas para outros alvos. Essa interferência se manifesta como "atração pelo alvo errado", onde um agente navega em direção a alvos incorretos após o treinamento, e o desempenho colapsa quando a plasticidade online é desativada. O desafio central é desenvolver um mecanismo de aprendizado que permita a uma SNN adquirir e reter múltiplas políticas de navegação distintas dentro de um substrato sináptico compartilhado sem interferência catastrófica.

Metodologia

Arquitetura do Modelo

Os autores desenvolveram um modelo de navegação de circuito fechado inspirado na circuiteria entorrinal-hipocampal, implementado em Python usando o ambiente de simulação NEURON/NetPyNE. A arquitetura inclui:

• Representação Espacial: Populações do tipo célula de grade ($E_{Grid}$) e célula de lugar ($E_{Place}$) que codificam a posição atual do agente.
• Representação do Alvo: Populações análogas ($EV_{Grid}$, $EV_{Place}$) que codificam a localização do objetivo ativo.
• Camada de Associação: Populações excitatórias específicas de ação ($E_{AN}, E_{AS}, E_{AE}, E_{AW}$) que integram o contexto espacial e do alvo.
• Saída Motora: Populações ($E_{MN}, E_{MS}, E_{ME}, E_{MW}$) que impulsionam o movimento em quatro direções cardinais.
• Inibição: Populações inibitórias de disparo rápido e baixo limiar para regular a excitabilidade.
• Plasticidade: Restrita às projeções excitatórias da camada de associação para a camada motora ($E_A \to E_M$).

Regras de Aprendizado

O estudo comparou três regimes de aprendizado:

1. STDP/RL Padrão Modulado por Recompensa: Uma regra de aprendizado online onde traços de elegibilidade (gerados pelo tempo de disparo pré-pós dentro de 100ms) são imediatamente convertidos em mudanças de peso sináptico baseadas em um sinal de recompensa escalar.
2. Plasticidade com Gatilho de Evidência Global (EGP): Um mecanismo de duas fases que separa a geração rápida de candidatos da consolidação mais lenta.
   • FASE DE TREINAMENTO (TRAIN): Modificações sinápticas candidatas acumulam-se em um armazenamento de proposta transitório ($P$), mas não alteram imediatamente a matriz de pesos durável ($W$).
   • FASE DE TESTE (TEST): A rede avalia o comportamento usando os pesos propostos. A consolidação ocorre apenas se a recompensa do TESTE exceder a recompensa do TREINAMENTO, quantificada por um sinal de melhoria de recompensa normalizado ($x$).
   • Uma função sigmoide retificada gatilha a consolidação, garantindo que apenas evidências positivas fortaleçam os pesos.
3. EGP de Contexto de Alvo: Uma variante do EGP projetada para prevenir a interferência entre objetivos.
   • Em vez de um único armazenamento de proposta global, buffers de proposta separados ($P^{(k)}$) e estimativas de recompensa são mantidos para cada contexto de alvo ativo ($k$).
   • As atualizações candidatas são acumuladas e avaliadas independentemente para cada alvo antes de serem consolidadas na matriz de pesos durável compartilhada.
   • Um mecanismo de ponderação "baseado em necessidade" aumenta a pressão de consolidação para alvos com baixo desempenho.

Protocolos Experimentais

• Ambiente: Uma arena quadrada 2D (100x100 pixels) com localizações iniciais aleatórias.
• Tarefas:
  • Alvo Único: Aprender a alcançar um alvo central (50,50).
  • Múltiplos Alvos: Aprender sequencialmente a alcançar cinco alvos (quatro quadrantes e um centro) ao longo de 800 episódios por alvo.
  • Avaliação: O desempenho foi medido via acertos de alvo, recompensa cumulativa e matrizes de confusão de tempo de permanência (analisando o tempo gasto perto de alvos corretos vs. incorretos). Simulações incluíram avaliação pós-aprendizado com a plasticidade desativada para testar a retenção.

Principais Contribuições

1. Demonstração de Interferência: O artigo mostra empiricamente que o STDP/RL online padrão, embora capaz de aprender políticas de alvo único, falha em reter robustamente múltiplas políticas em uma SNN compartilhada, levando a uma severa interferência entre alvos e degradação de desempenho ao desativar a plasticidade.
2. Plasticidade com Gatilho de Evidência (EGP): Os autores introduzem uma regra de aprendizado de múltiplas escalas de tempo que desacopla a geração de mudanças sinápticas candidatas de sua consolidação. Ao acumular propostas e avaliar contra a evidência comportamental subsequente, o EGP filtra atualizações desestabilizadoras.
3. Gatilho de Contexto de Alvo: A contribuição inovadora do EGP de Contexto de Alvo é a manutenção de armazenamentos de proposta separados e atribuição de crédito para diferentes contextos de objetivo. Este mecanismo impede explicitamente a mistura de atualizações candidatas de contextos de navegação conflitantes antes da consolidação.
4. Plausibilidade Biológica: O arcabouço abstrai mecanismos biológicos como marcação e captura de sinapses (synaptic tagging and capture), replay e gatilho dependente de contexto em um modelo computacional adequado para SNNs, ligando regras de plasticidade local a processos de consolidação mais lentos.

Resultados

Aprendizado de Alvo Único

O STDP/RL padrão aprendeu com sucesso uma política de navegação de alvo único. A rede adquiriu comportamento direcionado ao objetivo, e o desempenho permaneceu estável após a desativação da plasticidade, confirmando que a política foi armazenada nos pesos sinápticos.

Aprendizado de Múltiplos Alvos com STDP/RL

Ao serem treinados em múltiplos alvos, o STDP/RL padrão mostrou aprendizado inicial, mas sofreu de severa interferência:

• O desempenho variou significativamente entre os alvos.
• Ao desativar a plasticidade, o desempenho declinou e os agentes exibiram atração por alvos incorretos (presença de valores fora da diagonal nas matrizes de confusão de tempo de permanência).
• O substrato sináptico compartilhado não conseguiu separar as políticas de forma limpa.

Desempenho das Variantes de EGP

• EGP Global vs. EGP de Contexto de Alvo: Através de 10 sementes de conectividade, o EGP de Contexto de Alvo superou significativamente o EGP Global.
  • Recompensa de Estágio Tardio: O EGP de Contexto de Alvo alcançou maior recompensa cumulativa nos estágios finais do aprendizado.
  • Desempenho do Alvo Mais Fraco: A recompensa mínima entre os alvos melhorou significamente, indicando um aprendizado mais equilibrado.
  • Taxa de Sucesso: A fração de alvos que atingiu recompensa positiva aumentou de ~50% (Global) para ~82% (Contexto de Al alvo).
• Redução de Interferência: As matrizes de confusão de tempo de permanência revelaram que o EGP de Contexto de Alvo reduziu drasticamente a "atração pelo alvo errado". A razão entre o tempo de permanência no alvo correto e o tempo de permanência fora da diagonal (alvo incorreto) aumentou de ~12 (STDP/RL) para ~31 (EGP de Contexto de Alvo).
• Dinâmicas de Longo Prazo: Em simulações estendidas (2000 episódios), o EGP de Contexto de Alvo mostrou aumentos progressivos de recompensa para todos os alvos. A magnitude das propostas sinápticas acumuladas cresceu ao longo do tempo, e o sistema consolidou com sucesso políticas estáveis e seletivas ao alvo que se generalizaram através de localizações iniciais aleatórias.

Significância e Alegações

O artigo afirma que, embora as SNNs inspiradas biologicamente possam aprender comportamentos direcionados a objetivos usando plasticidade local, o aprendizado robusto de múltiplos objetivos requer mecanismos que preservem a atribuição de crédito específica ao contexto durante a consolidação.

Os autores argumentam que:

1. A interferência é o principal gargalo: A plasticidade online padrão falha em configurações de múltiplos objetivos porque as atualizações para um objetivo sobrescrevem ou conflitam com as de outro.
2. A separação de escalas de tempo é crítica: Ao separar a geração rápida de candidatos (TRAIN) da consolidação baseada em evidência (TEST), a rede pode avaliar a utilidade das mudanças sinápticas antes de comprometê-las, mimetizando a estabilização de memória biológica.
3. O contexto é essencial: Manter armazenamentos de proposta separados para diferentes objetivos (EGP de Contexto de Alvo) é necessário para reduzir a interferência, permitindo que uma rede compartilhada aprenda políticas distintas sem esquecimento catastrófico.
4. Relevância Biológica: Os achados apoiam a hipótese de que a plasticidade de múltiplas escalas de tempo e com gatilho de contexto é um componente fundamental para o aprendizado contínuo em sistemas biológicos, abstraindo conceitos como marcação e captura de sinapses em um algoritmo de aprendizado funcional para redes de impulsos.

O estudo conclui que o EGP de Contexto de Alvo fornece um mecanismo biologicamente motivado para reduzir a interferência no aprendizado por reforço contínuo, permitindo que circuitos de navegação de impulsos aprendam e retenham múltiplos objetivos de forma eficaz.