Self-Organized Learning in Oscillatory Neural Networks with Memristive Signed Couplings

Resumo Técnico: Aprendizado Auto-Organizado em Redes Neurais Oscilatórias com Acoplamentos Memristivos Assinados

Definição do Problema
As Redes Neurais Oscilatórias (ONNs) oferecem uma arquitetura neuromórfica promissora para aprendizado contínuo e inferência, aproveitando sistemas dinâmicos acoplados onde a informação é representada através de relações de fase. No entanto, uma limitação significativa nas implementações de hardware de ONNs é a dificuldade de realizar pesos negativos (inibitórios). Embora modelos numéricos como os de Hopfield ou Ising rotineiramente assumam pesos assinados para suportar estruturas de atratores complexas, as implementações físicas frequentemente dependem apenas de acoplamentos positivos (excitatórios) devido a restrições de dispositivos e circuitos. A ausência de acoplamentos inibitórios impede a estabilização de relações de anti-fase (diferenças de fase de $\pi$), fazendo com que as redes colapsem em estados triviais de sincronização total. Além disso, algoritos de aprendizado tradicionais, como o backpropagation, são incompatíveis com o hardware neuromórfico devido à sua dependência de regras de atualização não locais e à separação física entre memória e computação nas arquiteturas von Neumann. Há uma necessidade de um mecanismo fisicamente realizável que permita o aprendizado auto-organizado e autônomo com pesos assinados, onde memória e computação se co-localizam dentro da física do dispositivo.

Metodologia
Os autores propõem um primitivo neuromórfico que acopla osciladores de ponte de Wien usando uma arquitetura híbrida de resistores estáticos e elementos memristivos para alcançar pesos efetivos assinados.

• Arquitetura do Circuito: Cada par de osciladores é conectado via dois caminhos: um resistor estático no caminho não-inversor (fornecendo acoplamento excitatório) e um memristor no caminho inversor (fornecendo acoplamento inibitório adaptativo).
• Mecanismo de Aprendizado: O sistema baseia-se em plasticidade dependente de fase. A condutância do memristor evolui com base no integral de tempo da diferença de tensão entre os osciladores.
  • Quando os osciladores estão suficientemente fora de fase (grande diferença de tensão), o memristor é levado a um estado de menor resistência, fortalecendo o acoplamento inibitório. Isso segue uma regra "anti-Hebbiana", onde osciladores fora de fase potencializam o elo inibitório, reforçando sua separação.
  • Quando os osciladores estão em fase (pequena diferença de tensão), o memristor relaxa para um estado de maior resistência, enfraquecendo a inibição e direcionando o sistema para a sincronização.
• Abordagem de Simulação: Os autores utilizaram o LTspice para simular redes totalmente conectadas de 4, 9 ($3\times3$), 16 ($4\times4$), 25 ($5\times5$) e 64 ($8\times8$) osciladores. Eles empregaram um modelo de memristor modificado baseado em um dispositivo de $HfO_2$ dependente de estado e limiar de tensão.
• Estrutura Teórica: O sistema é modelado como um sistema de Equações Diferenciais Ordinárias (EDOs) autônomas acopladas envolvendo variáveis de fase ($\phi$) e estados de memristor ($x$). A análise de estabilidade utiliza a teoria de Floquet para caracterizar a estabilidade de atratores de fase travada na presença de correntes periodicamente temporais que drivem os memristores.

Principais Contribuições

1. Primitivo de Acoplamento Assinado: O artigo introduz um design de circuito compacto que permite plasticidade de natureza Hebbiana nativa com pesos efetivos tanto positivos quanto negativos. Isso é alcançado equilibrando resistores excitatórios estáticos com memristores inibitórios adaptativos.
2. Demonstração de Aprendizado Autônomo: Os autores demonstram que o aprendizado surge da co-evolução de malha fechada de fase e condutância sem regras externas de atualização de peso ou clocks globais. O sistema se auto-organiza para armazenar padrões como atratores estáveis.
3. Prova Teórica da Necessidade de Inibição: Uma análise teórica rigorosa utilizando expoentes de Floquet prova que pesos efetivos assinados são estritamente necessários para que os atratores de anti-fase persistam autonomamente. Em redes sem sinal (apenas excitatórias), a curvatura do panorama de energia não consegue suportar restrições de anti-fase, levando à instabilidade.
4. Validação de Denoising e Recall: O sistema foi validado em tarefas de memória auto-associativa, incluindo o denoising de padrões binários e a reconstrução de protótipos de dígitos manuscritos a partir de entradas ruidosas.

Resultos

• Recall de Padrão: Em uma rede de 4 osciladores, o sistema aprendeu e recuperou com sucesso oito padrões de fase distintos, incluindo aqueles com relações de anti-fase. Após a remoção do forçamento externo, a rede convergiu para os estados atratores aprendidos.
• Papel da Inibição: Simulações comparativas entre redes com pesos inibitórios e redes apenas excitatórias mostraram que estas últimas falharam em recuperar qualquer padrão contendo relações de anti-fase, colapsando em vez disso em um estado de sincronização total. Redes com pesos inibitórios alcançaram erro de fase médio próximo de zero ($\approx 3,0 \times 10^{-9}\%$), enquanto redes apenas excitatórias exibiram alto erro ($\approx 62\%$).
• Escalabilidade: A arquitetura escalou com sucesso para redes de $3\times3$, $4\times4$ e $5\times5$ para reconhecimento de dígitos binários ("0" e "1"), mantendo baixos erros de fase absoluta média por par (ex: $0,04^\circ$ para o "1" na rede $4\times4$).
• Denoising: Uma rede de 64 neurônios reconstruiu com sucesso seis protótipos de dígitos manuscritos $8\times8$ a partir de pistas ruidosas (onde 15% das fases foram randomizadas), alcançando um erro de reconstrução médio de 2%.
• Alinhamento Teórico: As previsões teóricas sobre a necessidade de pesos efetivos negativos para a estabilidade de anti-fase foram confirmadas pelos resultados de simulação. A análise de Floquet identificou corretamente que apenas acoplamentos assinados poderiam tornar o manifold de anti-fase um estado atrator.

Significância e Alegações
O artigo afirma que este trabalho fornece uma rota prática para implementar acoplamentos inibitórios em hardware, expandindo a classe de estruturas de atratores acessíveis para redes oscilatórias além de acoplamentos puramente sincrônicos. Ao permitir memórias codificadas por fase onde as restrições de anti-fase persistem autonomamente após o treinamento, a arquitetura proposta posiciona as ONNs como candidatas viáveis para aprendizado contínuo e inferência.

Os autores enfatizam que sua abordagem realiza o aprendizado auto-organizado inteiramente dentro da própria física do dispositivo, onde a formação de memória e o recall emergem da co-evolução local de fase e condutância. Eles observam que, embora as propriedades de memória associativa se reduzam às de uma rede de Hopfield, o significado reside na realização física de pesos assinados sem controle digital externo. O trabalho serve como uma prova de conceito para mecanismos de acoplamento assinado, demonstrando que pesos negativos não são meramente uma conveniência teórica, mas uma necessidade física para estabilizar memórias de fase complexas em sistemas oscilatórios. Os autores mantêm-se modestos quanto à escalabilidade, reconhecendo que demonstrações de grande escala atualmente dependem de acoplamentos resistivos fixos devido aos custos de simulação, e que trabalhos futuros são necessários para validação experimental em hardware físico e exploração de codificação amplitude-fase.