Unified Complex-valued Neural Network: A Magnitude-Phase Computational Model for Event-Driven Neuromorphic Learning

Technische Samenvatting: Unified Complex-valued Neural Network (UCNN)

Probleemstelling
Het artikel adresseert een fundamentele spanning tussen neurale computatieparadigma's: Artificial Neural Networks (ANN's) bieden hoog-precieze continue representaties, maar missen intrinsieke event-gestuurde temporele verwerking, terwijl Spiking Neural Networks (SNN's) efficiënte, asynchrone event-gestuurde computatie bieden, maar vaak de gradiënt van de signaalrepresentatie opofferen door middel van binaire spike-encodering. Bestaande hybride architecturen proberen deze kloof te overbruggen, maar leunen vaak op afzonderlijke modules, geparalleliseerde netwerken of complexe synchronisatiemechanismen, wat ontwerpoverhead introduceert en de nauwe koppeling van statische context en dynamische temporele informatie beperkt. Bovendien hebben pure SNN's moeite met stabiel leren voor robuuste dynamische systeemtaken door de reductie van informatie tot binaire events.

Methodologie
De auteurs stellen het Unified Complex-valued Neural Network (UCNN) voor, gebouwd op een nieuw neuronmodel genaamd de Unified Complex-valued Neuron (UCN).

• Neuronarchitectuur: De UCN maakt gebruik van een asymmetrische complexe interne staat, $z(t) = r(t)e^{i\theta(t)}$.

  • Amplitude ($r$): Codeert de continue signaalsterkte met behulp van een gerectificeerde hyperbolische tangensfunctie van de pre-activatie. Dit kanaal biedt gebonden, continue activatie vergelijkbaar met ANN's.
  • Fase ($\theta$): Fungeert als een interne timingvariabele die wordt beheerst door lek, gedreven eerste-orde dynamica (analoog aan een Leaky Integrate-and-Fire neuron). De fase evolueert continu en reguleert de emissie van events. Wanneer de fase een drempelwaarde overschrijdt (bijv. $2\pi$), wordt een spike gegenereerd.
  • Output: Het neuron emitteert een "valued event" $y(t) = s(t) \cdot r(t)$, waarbij $s(t)$ de fase-gestuurde spike-indicator is. Dit ontkoppelt de timing van het event (gestuurd door de fase) van de amplitude van het signaal (gestuurd door de amplitude).
  • Resetmechanismen: Het model ondersteunt hard reset (naar nul), modulo reset (aftrekken van de drempelwaarde) en soft reset (verval) strategieën om de continuïteit van de fase en de regelmaat van het vuren te beheren.

• Trainingsframeworks:

  1. Unified BP-BPTT: Een fundamentele trainingsregel die Backpropagation (BP) combineert voor het continue amplitudekanaal en Backpropagation Through Time (BPTT) met surrogaatgradiënten voor het event-gestuurde fasekanaal. Dit maakt end-to-end optimalisatie mogelijk van zowel de "wat" (amplitude) als de "wanneer" (fase) informatie.
  2. Event-Driven Adaptive Phase Learning (EAPL): Om de computationele kosten van expliciete temporele unrolling vereist door standaard BPTT te verminderen, introduceren de auteurs EAPL. Deze methode herformuleert leren als een backward-time dynamisch proces met behulp van een adjoint state. Het propageert de taakrelevante foutgevoeligheid door de fase-dynamica zonder de gehele computationele graaf expliciet te unrollen, wat de operaties tijdens de backward-pass aanzienlijk vermindert terwijl de compatibiliteit met de UCNN-architectuur behouden blijft.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van de UCNN, een magnitude-fase event-valued model dat continue staat-nauwkeurigheid verenigt met ijle, fase-gestuurde event-timing in één enkele computationele structuur, waardoor de noodzaak voor geparalleliseerde hybride modules wordt geëlimineerd.
2. Verenigde Trainingsregel: Ontwikkeling van een BP-BPTT framework dat zowel het amplitude- als het fasekanaal gezamenlijk optimaliseert, waarbij ze worden behandeld als een verenigde computationele graaf.
3. Efficiënt Leeralgoritme: Voorstel van de EAPL-regel, die een adjoint-stijl recursie gebruikt om fasegevoeligheid te propageren, wat de computationele last vermindert vergeleken met expliciete unrolling.
4. Validatie: Demonstratie van de effectiviteit van het model op twee verschillende taken: mixed-modality object tracking en de voorspelling van chaotische niet-lineaire dynamica (Lorenz-attractor).

Experimentele Resultaten
Het artikel evalueert de UCNN tegenover standaard ANN's en SNN's op twee taken:

• Object Tracking (Bewegend object op een cirkelvormig pad):

  • Prestaties: De UCNN behaalde een tracking-nauwkeurigheid tussen die van de ANN (hoogste nauwkeurigheid, dichte input) en de SNN (laagste nauwkeurigheid, binaire input). Specifiek verminderde de UCNN de Root Mean Square Error (RMSE) en de maximale trackingfout aanzienlijk vergeleken met de SNN, terwijl het een stabieler foutprofiel met minder jitter behield.
  • Activiteit: De UCNN vertoonde een intermediaire ijlheid (sparsity)—ijler dan de dichte ANN, maar actiever dan de puur spikende SNN.
  • Traject: Het traject van de UCNN volgde de grondwaarheid nauwgezet, waarbij het de SNN overtrof in het vastleggen van lokale afwijkingen en het behouden van consistentie.

• Lorenz Attractor Predictie:

  • Prestaties: Bij het leren van de gekoppelde niet-lineaire dynamica van het Lorenz-systeem, bereikte de UCNN getraind met EAPL de laagste trainingsverlies en de kleinste RMSE over alle staatcomponenten ($x, y, z$) vergeleken met zowel de ANN als de SNN baselines.
  • Stabiliteit: De UCNN demonstreerde superieure stabiliteit, met de smalste foutdistributie en de laagste maximale fout. Het slaagde erin de geometrie van de attractor te reconstrueren met minimale afwijking, terwijl de SNN significante vervorming vertoonde en de ANN matige afwijkingen liet zien.
  • Activiteit: Vergelijkbaar met de tracking-taak behield de UCNN event-gestuurde ijlheid terwijl het rijkere informatiestromen behield dan de SNN.

Betekenis en Claims
Het artikel claimt dat de UCNN er succesvol in is geslaagd de kloof te overbruggen tussen continue waarde-precisie en event-gestuurde temporele verwerking. Door amplitude en fase te integreren in een enkele asymmetrische complexe staat, elimineert het model de architecturale overhead van traditionele hybride netwerken. De auteurs stellen dat de UCNN een robuust, schaalbaar framework biedt voor neuromorfische en edge-AI toepassingen, waarbij nauwkeurige spatio-temporele leerprocessen worden geboden terwijl de energie-efficiëntie en ijlheid van event-gestuurde computatie behouden blijven. De resultaten suggereren dat de magnitude-fase formulering niet alleen effectief is voor visuele perceptietaken, maar ook voor het leren van complexe, chaotische dynamische systemen, wat de UCNN positioneert als een algemeen neuraal computationeel model.