Self-Organized Learning in Oscillatory Neural Networks with Memristive Signed Couplings

Sintesi Tecnica: Apprendimento Auto-Organizzato in Reti Neurali Oscillatorie con Accoppiamenti Memristivi con Segno

Definizione del Problema
Le Reti Neurali Oscillatorie (ONN) offrono un'architettura neuromorfica promettente per l'apprendimento continuo e l'inferenza, sfruttando sistemi dinamici accoppiati dove l'informazione è rappresentata attraverso relazioni di fase. Tuttavia, un limite significativo nelle implementazioni hardware delle ONN è la difficoltà di realizzare pesi negativi (inibitori). Mentre i modelli numerici come quelli di Hopfield o di Ising assumono regolarmente pesi con segno per supportare strutture di attrattori complesse, le implementazioni fisiche spesso si affidano esclusivamente a accoppiamenti positivi (eccitatori) a causa di vincoli dei dispositivi e dei circuiti. L'assenza di accoppiamenti inibitori impedisce la stabilizzazione di relazioni in anti-fase (differenze di fase di $\pi$), causando il collasso delle reti in stati di sincronizzazione totale banali. Inoltre, gli algoritmi di apprendimento tradizionali come la backpropagation sono incompatibili con l'hardware neuromorfico a causa della loro dipendenza da regole di aggiornamento non locali e della separazione fisica tra memoria e computazione nelle architetture von Neumann. È necessario un meccanismo fisicamente realizzabile che permetta un apprendimento autonomo e auto-organizzato con pesi con segno, in cui memoria e computazione siano co-locate all'interno della fisica del dispositivo.

Metodologia
Gli autori propongono un primitivo neuromorfico che accoppia oscillatori a ponte di Wien utilizzando un'architettura ibrida di resistori statici ed elementi memristivi per ottenere pesi effettivi con segno.

• Architettura del Circuito: Ogni coppia di oscillatori è collegata tramite due percorsi: un resistore statico nel percorso non invertente (che fornisce accoppiamento eccitatorio) e un memristore nel percorso invertente (che fornisce accoppiamento inibitorio adattivo).
• Meccanismo di Apprendimento: Il sistema si basa sulla plasticità dipendente dalla fase. La conduttanza del memristore evolve in base all'integrale temporale della differenza di tensione tra gli oscillatori.
  • Quando gli oscillatori sono sufficientemente fuori fase (grande differenza di tensione), il memristore viene spinto verso uno stato di resistenza inferiore, rafforzando l'accoppiamento inibitorio. Questo segue una regola "anti-Hebbiana" in cui gli oscillatori fuori fase potenziano il collegamento inibitorio, rinforzando la loro separazione.
  • Quando gli oscillatori sono in fase (piccola differenza di tensione), il memristore si rilassa verso uno stato di resistenza superiore, indebolendo l'inibizione e orientando il sistema verso la sincronizzazione.
• Approccio di Simulazione: Gli autori hanno utilizzato LTspice per simulare reti completamente connesse di 4, 9 ($3\times3$), 16 ($4\times4$), 25 ($5\times5$) e 64 ($8\times8$) oscillatori. Hanno impiegato un modello di memristore modificato basato su un dispositivo $HfO_2$ dipendente dalla soglia di tensione e dallo stato.
• Framework Teorico: Il sistema è modellato come un sistema di equazioni differenziali ordinarie (ODE) autonome accoppiate che coinvolgono variabili di fase ($\phi$) e stati del memristore ($x$). L'analisi della stabilità utilizza la teoria di Floquet per caratterizzare la stabilità degli attrattori di fase bloccata in presenza di correnti tempo-periodiche che guidano i memristori.

Contributi Chiave

1. Primitivo di Accoppiamento con Segno: L'articolo introduce un design circuitale compatto che consente una plasticità di tipo Hebbiano nativa con pesi effettivi sia positivi che negativi. Ciò si ottiene bilanciando resistori eccitatori statici con memristori inibitori adattivi.
2. Dimostrazione di Apprendimento Autonomo: Gli autori dimostrano che l'apprendimento emerge dall'evoluzione a ciclo chiuso di fase e conduttanza senza regole esterne di aggiornamento dei pesi o clock globali. Il sistema si auto-organizza per memorizzare pattern come attrattori stabili.
3. Prova Teorica della Necessità dell'Inibizione: Un'analisi teorica rigorosa tramite esponenti di Floquet dimostra che i pesi effettivi con segno sono strettamente necessari affinché gli attrattori in anti-fase persistano autonomamente. Nelle reti senza segno (solo eccitatorie), la curvatura del panorama energetico non può supportare i vincoli in anti-fase, portando all'instabilità.
4. Validazione di Denoising e Recall: Il sistema è stato validato su compiti di memoria auto-associativa, inclusi il denoising di pattern binari e la ricostruzione di prototipi di cifre scritte a mano da input rumorosi.

Risultati

• Recall del Pattern: In una rete a 4 oscillatori, il sistema ha appreso e richiamato con successo otto distinti pattern di fase, inclusi quelli con relazioni in anti-fase. Al termine della rimozione del forcing esterno, la rete converge verso gli stati attrattori appresi.
• Ruolo dell'Inibizione: Le simulazioni comparative tra reti con pesi inibitori e reti solo eccitatorie hanno mostrato che le seconde non riuscivano a richiamare alcun pattern contenente relazioni in anti-fase, collassando invece in uno stato di sincronizzazione totale. Le reti con pesi inibitori hanno raggiunto un errore di fase medio vicino allo zero ($\approx 3.0 \times 10^{-9}\%$), mentre le reti solo eccitatorie hanno mostrato un errore elevato ($\approx 62\%$).
• Scalabilità: L'architettura è stata scalata con successo a reti $3\times3$, $4\times4$ e $5\times5$ per il riconoscimento di cifre binarie ("0" e "1"), mantenendo bassi errori di fase assoluti medi per coppia (ad esempio, $0.04^\circ$ per il "1" nella rete $4\times4$).
• Denoising: Una rete di 64 neuroni ha ricostruito con successo sei prototipi di cifre scritte a mano $8\times8$ da cue rumorosi (dove il 15% delle fasi era randomizzato), ottenendo un errore di ricostruzione medio del 2%.
• Allineamento Teorico: Le previsioni teoriche riguardanti la necessità di pesi effettivi negativi per la stabilità in anti-fase sono state confermate dai risultati della simulazione. L'analisi di Floquet ha identificato correttamente che solo gli accoppiamenti con segno potevano rendere il manifold in anti-fase uno stato attrattore.

Significato e Rivendicazioni
L'articolo afferma che questo lavoro fornisce una via pratica per implementare accoppiamenti inibitori nell'hardware, espandendo la classe di strutture di attrattori accessibili per le reti oscillatorie oltre i soli accoppiamenti sincroni. Abilitando memorie codificate in fase in cui i vincoli in anti-fase persistono autonomamente dopo l'addestramento, l'architettura proposta posiziona le ONN come candidati validi per l'apprendimento continuo e l'inferenza.

Gli autori sottolineano che il loro approccio realizza l'apprendimento auto-organizzato interamente all'interno della fisica intrinseca del dispositivo, dove la formazione della memoria e il recall emergono dalla co-evoluzione locale di fase e conduttanza. Notano che, sebbene le proprietà di memoria associativa si riducano a quelle di una rete di Hopfield, la significatività risiede nella realizzazione fisica di pesi con segno senza controllo digitale esterno. Il lavoro funge da prova di concetto per i meccanismi di accoppiamento con segno, dimostrando che i pesi negativi non sono solo una comodità teorica, ma una necessità fisica per stabilizzare memorie complesse codificate in fase in sistemi oscillatori. Gli autori rimangono modesti riguardo alla scalabilità, riconoscendo che le dimostrazioni su larga scala si basano attualmente su accoppiamenti resistivi fissi a causa dei costi di simulazione, e che sono necessari ulteriori lavori per la validazione sperimentale in hardware fisico e l'esplorazione della codifica di ampiezza-fase.