Nonlinear unitary circuits for photonic neural networks

Sintesi Tecnica: Circuiti Unitari Nonlineari per Reti Neurali Fotoniche

Problematica
Sebbene l'hardware fotonico offra un potenziale significativo per l'accelerazione del deep learning efficiente dal punto di vista energetico e ultraveloce, un collo di bottiglia critico rimane il raggiungimento dell'espressività non lineare. Gli approcci fotonici esistenti tipicamente separano i calcoli matriciali ottici lineari dalle attivazioni non lineari, affidandosi alla conversione elettro-ottica, a materiali che codificano il segnale o a interazioni luce-materia che spesso richiedono un sostanziale processamento del segnale elettronico. I ricercatori identificano la necessità di un'architettura fotonica che integri l'espressività lineare e non lineare all'interno di un framework preservante la norma per evitare tali svantaggi, pur soddisfacendo i benchmark delle reti neurali profonde (DNN) implementate via software.

Metodologia
Il documento propone il concetto di circuiti Unitari Nonlineari (NU) che utilizzano l'Auto-Modulazione di Fase (SPM) tramite l'effetto Kerr ottico per ottenere mappature preservanti la norma con prodotti scalari non conservativi. La metodologia è strutturata come segue:

1. Design dell'Unità NU(1): Il blocco fondamentale è un risonatore fotonico integrato accoppiato lateralmente a una guida d'onda. Questa unità realizza un'operazione del gruppo $U(1)$ (trasmissione perfetta con sfasamento). La non linearità è introdotta perturbando la frequenza di risonanza ($\omega_0$) attraverso due meccanismi:

   • Spostamento Lineare ($\Delta\omega_L$): Tunabile tramite sfasatori elettro-ottici o termo-ottici per la programmabilità.
   • Spostamento Non Lineare ($\Delta\omega_{NL}$): Derivato dalla SPM, dove la risonanza si sposta proporzionalmente all'intensità della luce incidente ($\Delta\omega_{NL} = -\alpha|\mu|^2$).
     Lo sfasamento risultante $\xi$ diventa una funzione non lineare dell'intensità dell'input $|\psi_+|^2$ e dello spostamento lineare $\Delta\omega_L$, operando senza isteresi in specifiche condizioni di stato stazionario.

2. Costruzione del Gate NU(2): Per creare un gate funzionale, gli autori costruiscono un Interferometro di Mach-Zehnder (MZI) con un'unità NU(1) in ciascun braccio. Questa configurazione esegue un'operazione preservante la norma $U = R_z(\Delta\xi)R_x(-\pi/2)$, dove l'angolo di rotazione $\Delta\xi$ dipende dallo stato di input. Ciò consente al gate di eseguire operazioni unitarie non lineari in cui i prodotti scalari non sono conservati tra diversi stati di input, una caratteristica chiave per l'espressività del deep learning.

3. Assemblaggio del Circuito e Addestramento: I circuiti NU profondi sono costruiti concatenando gate NU(2) (seguendo i design Reck o Clements). Gli autori valutano questi circuiti utilizzando l'apprendimento neuroevolutivo combinato con il simulated annealing per affrontare i minimi locali nei problemi di ottimizzazione non convessi. I parametri di addestramento includono spostamenti lineari continui e variabili binarie.

Contributi Chiave

• Framework Concettuale: Introduzione dei circuiti "Unitari Non Lineari" che unificano l'espressività lineare e non lineare all'interno di un'architettura fotonica compatta e preservante la norma.
• Design dell'Hardware: Proposta di un blocco costruttivo fotonico integrato specifico (unità NU(1)) e di un gate (NU(2)) che sfruttano la SPM per una non linearità programmabile senza richiedere modulazione di intensità dissipativa o loop di feedback elettronico.
• Validazione Teorica: Dimostrazione che i circuiti NU profondi esibiscono una crescita esponenziale della lunghezza della traiettoria (complessità) e una copertura quasi completa dello spazio di output all'aumentare della profondità del circuito. Questi parametri sono essenziali per l'espressività richiesta nel deep learning.
• Verifica delle Prestazioni: Regressione riuscita di una funzione di Rastrigin 2D non convessa mediante una DNN NU profonda, validando la capacità dell'hardware di risolvere problemi avanzati.

Risultati

• Metriche di Espressività: Le simulazioni numeriche mostrano che, mentre i circuiti unitari lineari preservano la geometria delle traiettorie di input, i circuiti non lineari introducono una complessità sostanziale. La lunghezza della traiettoria ($\mathcal{E}$) sulla sfera di Bloch cresce esponenzialmente con la profondità del circuito ($M$), una caratteristica unica delle DNN.
• Copertura: Nonostante l'introduzione della non linearità, che può causare la concentrazione degli stati, i circuiti NU profondi raggiungono una copertura quasi completa dello spazio di output (entropia normalizzata $\mathcal{C} \approx 1$) per profondità $M > 7$, comparabile ai circuiti universali lineari.
• Task di Regressione: Nella regressione di una funzione non convessa, i circuiti NU più profondi hanno dimostrato prestazioni superiori (errore quadratico medio inferiore) rispetto a quelli più superficiali. Le reti addestrate hanno approssimato con successo la funzione target, mentre le reti non addestrate non sono riuscite a farlo, confermando che l'architettura supporta un apprendimento efficace.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro apre la strada a reti neurali fotoniche con inferenza altamente espressiva e addestramento stabile. Sfruttando le operazioni preservanti la norma, la piattaforma proposta eredita i vantaggi delle reti neurali unitarie, specificamente la mitigazione dei problemi di esplosione e scomparsa del gradiente comuni nel deep learning. L'integrazione dell'espressività lineare e non lineare in un'architettura compatta ed efficiente dal punto di vista energetico affronta una sfida primaria nel deep learning fotonico. Il documento posiziona questo approccio come un candidato hardware promettente sia per le reti neurali ondulatorie classiche che quantistiche, notando che i lavori futuri affronteranno le perdite intrinseche, l'efficienza dell'addestramento e il potenziale uso dell'isteresi per funzioni di memoria.