Unified Complex-valued Neural Network: A Magnitude-Phase Computational Model for Event-Driven Neuromorphic Learning

Sintesi Tecnica: Rete Neurale Complessa Unificata (UCNN)

Problema
Il documento affronta una tensione fondamentale nei paradigmi del calcolo neurale: le Reti Neurali Artificiali (ANN) offrono rappresentazioni a valori continui di alta precisione ma mancano di un intrinseco elaborazione temporale guidata da eventi, mentre le Reti Neurali Spiking (SNN) forniscono un'elaborazione efficiente e asincrona guidata da eventi, ma spesso sacrificano la rappresentazione del segnale graduato attraverso la codifica di spike binari. Le architetture ibride esistenti tentano di colmare questo divario, ma spesso si affidano a moduli separati, reti parallelizzate o complessi meccanismi di sincronizzazione, che introducono un sovraccarico di progettazione e limitano il forte accoppiamento tra contesto statico e informazione temporale dinamica. Inoltre, le pure SNN faticano a ottenere un apprendimento stabile per compiti di sistemi dinamici robusti a causa della riduzione dell'informazione in eventi binari.

Metodologia
Gli autori propongono la Rete Neurale Complessa Unificata (UCNN), basata su un nuovo modello di neurone chiamato Neurone Complesso Unificato (UCN).

• Architettura del Neurone: L'UCN utilizza uno stato interno complesso asimmetrico, $z(t) = r(t)e^{i\theta(t)}$.

  • Magnitudo ($r$): Codifica la forza del segnale continuo utilizzando una funzione tangente iperbolica rettificata della pre-attivazione. Questo canale fornisce un'attivazione continua e limitata simile alle ANN.
  • Fase ($\theta$): Agisce come una variabile temporale interna governata da dinamiche di primo ordine di tipo leaky (analogamente a un neurone Leaky Integrate-and-Fire). La fase evolve continuamente e controlla l'emissione di eventi. Quando la fase attraversa una soglia (ad esempio, $2\pi$), viene generato uno spike.
  • Output: Il neurone emette un "evento a valore" $y(t) = s(t) \cdot r(t)$, dove $s(t)$ è l'indicatore di spike controllato dalla fase. Ciò scinde il tempo dell'evento (governato dalla fase) dall'ampiezza del segnale (governata dalla magnitudo).
  • Meccanismi di Reset: Il modello supporta strategie di hard reset (a zero), modulo reset (sottrazione della soglia) e soft reset (decadimento) per gestire la continuità della fase e la regolarità del firing.

• Framework di Addestramento:

  1. Unified BP-BPTT: Una regola di addestramento fondamentale che combina la Backpropagation (BP) per il percorso della magnitudo continua e la Backpropagation Through Time (BPTT) con gradienti surrogati per il percorso della fase governato dagli eventi. Ciò consente l'ottimizzazione end-to-end sia di ciò che è "contenuto" (magnitudo) sia di ciò che è "tempo" (fase).
  2. Event-Driven Adaptive Phase Learning (EAPL): Per ridurre il costo computazionale dell'unrolling temporale esplicito richiesto dalla BPTT standard, gli autori introducono l'EAPL. Questo metodo riformula l'apprendimento come un processo dinamico nel tempo all'indietro utilizzando uno stato aggiunto. Esso propaga la sensibilità dell'errore rilevante per il compito attraverso le dinamiche di fase senza dover srotolare esplicitamente l'intero grafo computazionale, riducendo significativamente le operazioni nel passaggio all'indietro pur mantenendo la compatibilità con l'architettura UCNN.

Contributi Chiave

1. Nuova Architettura: Introduzione della UCNN, un modello a eventi a magnitudo-fase che unifica la precisione dello stato continuo con la temporizzazione degli eventi guidata dalla fase in una singola struttura computazionale, eliminando la necessità di moduli ibridi parallelizzati.
2. Regola di Apprendimento Unificata: Sviluppo di un framework BP-BPTT che ottimizza congiuntamente i percorsi di magnitudo e fase, trattandoli come un grafo computazionale unificato.
3. Algoritmo di Apprendimento Efficiente: Proposta della regola EAPL, che utilizza una ricorsione di tipo adjoint per propagare la sensibilità della fase, riducendo il carico computazionale rispetto all'unrolling esplicito.
4. Validazione: Dimostrazione dell'efficacia del modello su due compiti distinti: tracciamento di oggetti a modalità mista e predizione di dinamiche non lineari caotiche (attrattore di Lorenz).

Risultati Sperimentali
Il paper valuta la UCNN rispetto alle standard ANN e SNN su due compiti:

• Tracciamento di Oggetti (Oggetto in Movimento su Percorso Circolare):

  • Performance: La UCNN ha raggiunto un'accuratezza di tracciamento intermedia tra quella dell'ANN (accuratezza massima, input denso) e quella della SNN (accuratezza minima, input binario). Nello specifico, la UCNN ha ridotto significativamente l'Errore Quadratico Medio (RMSE) e l'errore massimo di tracciamento rispetto alla SNN, mantenendo al contempo un profilo di errore più stabile con meno jitter.
  • Attività: La UCNN ha mostrato una sparsità intermedia — più sparsa delle dense ANN ma più attiva delle SNN puramente spiking.
  • Traiettoria: La traiettoria della UCNN ha seguito da vicino la ground truth, superando la SNN nella capacità di catturare le deviazioni locali e mantenere la coerenza.

• Predizione dell'Attrattore di Lorenz:

  • Performance: Nell'apprendimento delle dinamiche non lineari accoppiate del sistema di Lorenz, la UCNN addestrata con EAPL ha ottenuto la perdita di addestramento più bassa e il minor RMSE in tutte le componenti di stato ($x, y, z$) rispetto ai baseline ANN e SNN.
  • Stabilità: La UCNN ha dimostrato una stabilità superiore, con la distribuzione dell'errore più stretta e l'errore massimo più basso. Ha ricostruito con successo la geometria dell'attrattore con deviazioni minime, mentre la SNN mostrava una distorsione significativa e l'ANN mostrava deviazioni moderate.
  • Attività: Similmente al compito di tracciamento, la UCNN ha mantenuto la sparsità guidata dagli eventi preservando al contempo un flusso di informazioni più ricco rispetto alla SNN.

Significatività e Rivendicazioni
Il paper afferma che la UCNN riesce a colmare il divario tra la precisione dei valori continui e l'elaborazione temporale guidata da eventi. Integrando magnitudo e fase in un unico stato complesso asimmetrico, il modello elimina l'overhead architettonico delle tradizionali reti ibride. Gli autori sostengono che la UCNN fornisca un framework robusto e scalabile per applicazioni neuromorfiche e di edge-AI, offrendo un apprendimento spazio-temporale accurato pur preservando l'efficienza energetica e la sparsità del calcolo guidato da eventi. I risultati suggeriscono che la formulazione magnitudo-fase è efficace non solo per i compiti di percezione visiva, ma anche per l'apprendimento di sistemi dinamici complessi e caotici, posizionando la UCNN come un modello di calcolo neurale generale.