Optical Implementation of Equilibrium Propagation Using Spatial Photonic Ising Machines

Sintesi Tecnica: Implementazione Ottica della Propagazione di Equilibrio tramite Macchine di Ising Fotoniche Spaziali

Definizione del Problema
Le implementazioni hardware di algoritmi di apprendimento automatico sono sempre più ricercate per il loro potenziale di efficienza energetica, in particolare all'interno dei sistemi fotonici. Tuttavia, le reti digitali all'avanguardia si affidano alla backpropagation dell'errore, un algoritmo che è difficile da mappare su sistemi fisici analogici a causa della necessità di una propagazione della luce bidirezionale e di misurazioni di fase precise. Gli approcci basati sull'energia contrastiva offrono un'alternativa sfruttando la dinamica intrinseca dei substrati fisici, ma le realizzazioni sperimentali della Propagazione di Equilibrio (EP) — un framework che addestra reti basate sull'energia senza una esplicita backpropagation — rimangono scarse. Le attuali implementazioni fisiche richiedono spesso cicli di aggiornamento digitali esterni o operano come sistemi completamente autonomi con scalabilità limitata. È necessario un sistema fisico parallelo ed efficiente dal punto di vista energetico capace di eseguire gli aggiornamenti basati sul gradiente richiesti dall'EP.

Metodologia
Gli autori propongono e dimostrano un'implementazione ibrida ottico-digitale della Propagazione di Equilibrio utilizzando una Macchina di Ising Fotonica Spaziale (SPIM). Il nucleo della metodologia prevede:

1. Funzionale di Energia e Dinamica: Il sistema addestra un sistema dinamico che si rilassa allo stato fondamentale di un funzionale di energia $E$. L'energia include il bias di input, interazioni quadratiche, un termine quadratico di confinamento e un termine di costo per i neuroni di output. I parametri apprendibili sono le matrici di interazione $J_{in}$ e $J_{dyn}$.
2. Codifica SPIM: Per superare l'ostacolo computazionale della valutazione dei gradienti di interazione ($O(N_d^2)$ moltiplicazioni matrice-vettore), gli autori utilizzano una SPIM. Impiegano un metodo di trasformazione di gauge per codificare gli stati continui dei neuroni ($s_i \in [-\pi/2, \pi/2]$) e i pattern apprendibili binari di rango 1 ($\xi_{k,i} \in \{-1, 1\}$) come modulazioni di fase su un Modulatore Spaziale di Luce (SLM).
3. Valutazione dell'Hamiltoniana: La SPIM calcola l'Hamiltoniana $H_{SPIM}$ tramite propagazione in spazio libero e una singola misurazione di intensità. Prendendo combinazioni lineari di problemi di Mattis di rango 1, il sistema raggiunge la piena programmabilità della matrice di interazione.
4. Stima del Gradiente:
   • Inferenza: Il gradiente rispetto agli stati dei neuroni è stimato utilizzando uno schema di differenza finita, che richiede due misurazioni ottiche dell'Hamiltoniana con fasi traslate ($\pm \pi/4$).
   • Apprendimento: Il gradiente rispetto ai parametri di accoppiamento ($\lambda_k$) è valutato otticamente in un unico passaggio. Il gradiente rispetto ai pattern binari ($\xi_{k,i}$) è valutato numericamente per ridurre i tempi di esecuzione sperimentale, sebbene il paper noti che potrebbe teoricamente essere valutato otticamente.
5. Ciclo di Ottimizzazione: Il sistema segue un'ottimizzazione a due livelli: un ciclo interno che minimizza l'energia (inferenza) e un ciclo esterno che aggiorna i parametri in base alla sensibilità del sistema al "nudging" (spinta) dei neuroni di output verso un target. Gli autori utilizzano il Binary Optimizer (BOP) per l'aggiornamento dei pattern binari e gli ottimizzatori standard (come Adam) per le variabili continue nelle simulazioni numeriche.

Contributi Chiave

• Implementazione Ibrida: Il paper dimostra un'architettura ibrida ottico-digitale concreta in cui la SPIM gestisce la valutazione computazionalmente intensiva dell'Hamiltoniana e di specifici gradienti, mentre i componenti digitali gestiscono i termini rimanenti e la logica di ottimizzazione.
• Rappresentazione Continua dei Neuroni: Adattando il metodo di trasformazione di gauge, gli autori riescono a rappresentare stati neuronali continui su una piattaforma hardware originariamente progettata per variabili binarie, superando una limitazione significativa delle SPIM standard.
• Dimostrazione Sperimentale: Il sistema è validato sperimentalmente sul dataset di classificazione Wine, raggiungendo un'accuratezza di test del $89.7 \pm 3.2\%$.
• Analisi della Scalabilità Numerica: Gli autori forniscono estese simulazioni numeriche sul dataset MNIST. Mostrano che una futura SPIM con parametri continui (eliminando la restrizione binaria su $\xi$) può raggiungere un'accuratezza del $97.81 \pm 0.15\%$. Dimostrano inoltre che l'architettura rimane valida con risorse limitate (ad esempio, precisione a 8 bit) e può supportare architetture più profonde e strutturate.

Risultati

• Sperimentale (Dataset Wine): Il sistema ibrido ha raggiunto un'accuratezza media del set di test dell' $89.7 \pm 3.2\%$ su sette esecuzioni indipendenti. La discrepanza tra questo risultato e l'accuratezza della simulazione ($98.2\%$) è attribuita al rumore sperimentale (rumore di shot, fluttuazioni di fase, instabilità della potenza del laser), che agisce come una temperatura effettiva influenzando lo stato di equilibrio.
• Accelerazione dell'Inferenza: Post-addestramento, il panorama energetico presentava bacini di attrazione distinti, permettendo di accelerare l'inferenza a un singolo passo di discesa del gradiente mantenendo un'accuratezza dell' $85.71 \pm 2.3\%$.
• Numerico (Dataset MNIST):
  • Con parametri continui, il sistema ha raggiunto un'accuratezza del $97.81 \pm 0.15\%$, comparabile alle implementazioni EP standard e ad altre simulazioni fotoniche.
  • Gli studi di scalabilità hanno indicato che una configurazione minima ($N_d=32, K=22$) potrebbe superare i classificatori lineari.
  • L'analisi di quantizzazione ha rivelato che ridurre la precisione dei neuroni a 8 bit (coerente con la risoluzione dell'SLM) ha accelerato significativamente i passi di inferenza senza degradare l'accuratezza, mentre una precisione a 4 bit ha causato un calo evidente delle prestazioni.

Significatività e Rivendicazioni
Il paper sostiene di fornire un "percorso concreto verso implementazioni fisiche efficienti dal punto di vista energetico della Propagazione di Equilibrio". Sfruttando il parallelismo delle SPIM, l'approccio evita i rigidi vincoli hardware della backpropagation ottica (come la propagazione bidirezionale e la misurazione precisa della fase). Gli autori sottolineano che il loro metodo consente l'uso diretto di piattaforme SPIM scalabili per eseguire compiti standard di apprendimento automatico senza richiedere sistemi ottici complessi o accurati "digital twin" per l'addestramento.

Il lavoro amplia le potenziali applicazioni delle SPIM oltre l'ottimizzazione binaria non vincolata quadratica (QUBO) e l'addestramento delle macchine di Boltzmann, posizionandole come candidati validi per il calcolo neuromorfico analogico a basso consumo. Gli autori concludono che, sebbene le attuali limitazioni sperimentali (pattern binari, rumore) influenzino le prestazioni su dataset complessi, i futuri miglioramenti dell'hardware (parametri continui, SLM più grandi, multiplexing della lunghezza d'onda) potrebbero realizzare pienamente il potenziale di questo metodo per l'apprendimento fisico.