A bio-inspired hybrid lifelong learning based on self-selective memristors

Resumo Técnico: Um Sistema de Aprendizado Contínuo Híbrido Bioinspirado Baseado em Memristores Autoseletivos

Definição do Problema
Sistemas de inteligência artificial que operam em ambientes dinâmicos e de código aberto requerem capacidades de aprendizado contínuo (lifelong learning) — a habilidade de adquirir e reter conhecimento continuamente enquanto preservam habilidades prévias. Os modelos de IA atuais enfrentam o "dilema da estabilidade-plasticidade", onde o aprendizado de novas tarefas frequentemente sobrescreve representações estabelecidas, levando ao esquecimento catastrófico. As soluções existentes geralmente se dividem em duas categorias divergentes: métodos baseados em regularização, que protegem o conhecimento ao custo da adaptabilidade, e métodos de arquitetura dinâmica ou de replay de memória, que promovem a flexibilidade, mas correm o risco de desestabilizar representações aprendidas. Além disso, essas abordagens centradas em software impõem um overhead computacional e custos de memória significativos. Existe um descompasso crítico entre algoritmos bioinspirados complexos e o hardware utilizado para executá-los; a maioria dos modelos bioinspirados adota mecanismos biológicos isolados (por exemplo, esquecimento ativo ou metaplasticidade) em vez de uma integração sinérgica, e eles dependem de arquiteturas von Neumann que separam memória e processamento, resultando em custos proibitivos de energia e latência para aplicações de borda (edge).

Metodologia
Os autores propõem um paradigma de co-design de hardware-algoritmo que preenche essa lacuna, integrando princípios neurobiológicos complementares em um sistema de aprendizado nativo de hardware.

1. Estrutura Algorítmica (Aprendizado Contínuo Híbrido - HLL):
   O modelo HLL funde dois mecanismos biológicos distintos:

   • Esquecimento Ativo Dinâmico (DAF) inspirado em Drosophila: Mimetizando o corpo de cogumelo da Drosophila, este mecanismo poda sinapses redundantes para otimizar a alocação de recursos e aumentar a plasticidade. Envolve uma "taxa de esquecimento ativo" ($\alpha$), onde entradas fracamente potencializadas decaem rapidamente, enquanto entradas fortemente potencializadas são retidas.
   • Metaplasticidade e Consolidação inspiradas no Cérebro Humano (HB): Baseando-se nos mecanismos do cérebro humano, este componente protege o conhecimento consolidado e promove a transferência direta (forward transfer). Utiliza um parâmetro de ganho global ($\beta$) para modular a plasticidade sináptica com base em expectativas e erros específicos da tarefa, de forma análoga à metaplasticidade mediada pela dopamina.

2. Implementação de Hardware (Memristores Autoseletivos - SSM):
   Para instanciar fisicamente essas dinâmicas, os autores fabricaram matrizes crossbar de 1-kb (32×32) de memristores autoseletivos de ITO/InOx/GaOx/Pt.

   • Física do Dispositivo: A heteroestrutura de camada dupla apresenta uma camada de GaOx com baixa concentração de vacâncias de oxigênio (7,6%) atuando como uma barreira retificadora, e uma camada de InOx com alta concentração de vacâncias de oxigênio (65,33%) facilitando a comutação resistiva. Essa assimetria gera alta autorretificação (SR > 10⁶) e não linearidade (NL > 10⁶), eliminando a necessidade de seletores externos e prevenindo o cross-talk.
   • Dinâmicas Intrínsecas: Os dispositivos exibem decaimento de condutância ajustável, emulando o esquecimento ativo. A taxa de decaimento é dependente do estímulo, permitindo taxas de retenção programáveis. Os dispositivos também suportam funções sinápticas essenciais como STDP, PPF e PPD.
   • Arquitetura do Sistema: O sistema integra cinco Núcleos de Processamento Sináptico (SPCs) paralelos. Cada SPC é programado com dinâmicas de atualização de peso distintas e ajustáveis (via amplitude e frequência de pulso) para criar um gradiente de plasticidade-estabilidade. O SPC1 é configurado para alta plasticidade (adaptação rápida, ~92% de taxa de esquecimento), enquanto o SPC5 é configurado para alta estabilidade (retenção de conhecimento, ~37% de taxa de esquecimento).

3. Estratégia de Co-Design:
   O sistema opera através de uma arquitetica de processamento distribuído onde todos os cinco núcleos processam tarefas de entrada em paralelo. O núcleo cujo perfil de plasticidade-estabilidade melhor se ajusta à tarefa atual torna-se o atrator dominante. Um parâmetro de ganho ($\beta$) compatível com o hardware faz a ponte entre as regras algorítmicas e a física do dispositivo, modulando os parâmetros de pulso para implementar neuromodulação e controle de portão esparso (sparse gating).

Principais Contribuições

• Integração Biológica Sinérgica: O trabalho vai além de mecanismos biológicos isolados ao integrar o esquecimento ativo inspirado em Drosophila com a metaplasticidade derivada do cérebro humano em um único modelo de aprendizado unificado.
• Emulação Nativa de Hardware: Os dispositivos SSM instanciam fisicamente o continuum de estabilidade-plasticidade. O decaimento de condutância intrínseco e as propriedades de autorretificação do hardware executam diretamente as regras de aprendizado (esquecimento e consolidação) sem depender de regularização baseada em software ou seletores externos.
• Arquitetura Escalável: O design alcança uma capacidade de armazenamento de escala de terabits (até 17,1 Tb com esquema 1/3V) sob uma margem de leitura de 10%, possibilitada pela alta autoseletividade dos SSMs que suprime correntes de caminho falso (sneak-path currents).
• Continuum de Gradiente de Plasticidade-Estabilidade: A arquitetura de cinco núcleos cria um continuum nativo de hardware de reconfigurabilidade rápida para retenção de longo prazo, permitindo o particionamento colaborativo emergente de tarefas sem lógica explícita de seleção de núcleo.

Resultados
O sistema foi avaliado em 20 tarefas sequenciais variantes do CIFAR (S-CIFAR-100, R-CIFAR-100, R-CIFAR-10/100) usando simulações calibradas pelo hardware e validadas por testes de hardware por bloco (tile).

• Desempenho: O sistema alcançou uma acurácia média de teste de 68,5%, comparável às implementações em CPU (70%) e GPU (70,3%), superando significativamente os modelos apenas com DAF.
• Eficiência: Comparado aos aceleradores CMOS convencionais, o sistema baseado em SSM demonstrou um aceleração de 3,42× e uma melhoria de 91× na eficiência energética.
• Equilíbrio Estabilidade-Plasticidade: O sistema equilibrou com sucesso a transferência direta (FT) e a transferência reversa (BWT). A faixa ideal da taxa de esquecimento ativo ($\alpha$) foi encontrada em torno de 120%; valores abaixo disso levaram a uma transferência insuficiente, enquanto valores acima causaram degradação catastrófica de desempenho.
• Robustez: O sistema manteve o desempenho apesar das variações dispositivo-a-dispositivo (D2D) e ciclo-a-ciclo (C2C), que foram minimizadas através de fabricação robusta (variação D2D no LRS foi de 2,91%).
• Validação de Hardware: Erros de leitura em toda a matriz de 1-kb foram limitados a ±0,06%, e erros relativos ao nível de bloco foram de 0,08%, confirmando alta fidelidade computacional.

Significância
O artigo afirma estabelecer uma base escalável e integrada de hardware-algoritmo para o implante eficiente de aprendizado contínuo em sistemas do mundo real. Ao resolver o compromisso estabilidade-plasticidade através de uma sinergia de múltiplos mecanismos incorporados diretamente na física do memristor, o trabalho une a longa divisão entre algoritmos bioinspirados complexos e implementação de hardware prática. Demonstra que a IA neuromórfica pode ir além de substratos de memória passivos para plataformas de computação ativa e adaptativa, capazes de adaptação contínua e eficiente em termos de recursos em ambientes dinâmicos. Os autores posicionam este paradigma de co-design como um passo crítico em direção a sistemas autônomos que podem operar efetivamente em cenários de mundo real de código aberto sem as penalidades de energia e latência das arquiteturas tradicionais von Neumann.