What should a linear optical frontend compute? Assessing the role of meta-optics, nonlocality, and coherence in hybrid inference systems

Sintesi Tecnica: Valutazione del Ruolo di Meta-Ottica, Nonlocalità e Coerenza nei Sistemi di Inferenza Ibridi

Problema
I sistemi di inferenza ibridi, che accoppiano un frontend ottico con un backend digitale, offrono una via per scaricare il calcolo sul livello fisico, potenzialmente riducendo il consumo energetico e la latenza. Tuttavia, rimangono domande fondamentali su quali siano le operazioni specifiche che un frontend ottico debba eseguire, quando tale scaricamento sia vantaggioso e come progettare efficacemente questi sistemi. Una sfida critica è il regime di "collo di bottiglia", in cui un sensore a bassa risoluzione limita la dimensionalità dei dati passati al backend digitale. Sebbene lavori recenti abbiano esplorato l'ottimizzazione end-to-end per l'imaging e la ricostruzione, i requisiti specifici per i compiti di inferenza (classificazione) sotto rilevamento di intensità rimangono poco chiari. Nello specifico, non è noto se i frontend ottici lineari possano superare i preprocessori digitali lineari addestrati e quali ruoli la coerenza e la nonlocalità giochino in questo contesto.

Metodologia
Gli autori investigano sistemi di inferenza ottico-elettronica ibridi utilizzando il compito di classificazione delle cifre MNIST come problema modello. Il sistema consiste in un frontend ottico ottimizzabile, un sensore di intensità a bassa risoluzione fisso (che funge da collo di bottiglia) e un backend elettronico ottimizzabile (un Multi-Layer Perceptron).

Lo studio valuta diverse configurazioni del frontend:

1. Baseline: Un sistema composto solo dal sensore con una lente fissa ideale.
2. Metasuperficie Locale: Una maschera di fase addestrabile (risposta locale) combinata con la propagazione nello spazio libero.
3. Filtraggio Nonlocale: Una metasuperficie locale aumentata da un filtro di ampiezza in $k$-space nonlocale (invariante per traslazione trasversale).
4. Operatore Generale: Un operatore lineare idealizzato e non vincolato (modellato come una matrice complessa) che rappresenta un metamateriale volumetrico con capacità di mixing del campo nonlocale completo.

Gli autori analizzano l'illuminazione coerente e incoerente. Derivano la relazione matematica tra il campo di input e la lettura del sensore, notando che il rilevamento dell'intensità ($| \cdot |^2$) trasforma un operatore di campo lineare in una mappa quadratica dell'input. Lo studio impiega la distanza di Bhattacharyya come metrica priva di addestramento per quantificare la separabilità delle classi nello spazio di lettura del sensore, distinguendo tra separabilità per pixel e separabilità congiunta (consapevole delle correlazioni).

Contributi Chiave e Risultati

1. Rimodellamento Statistico tramite Correlazioni Inter-Pixel:
   La funzione primaria di un frontend ottico ben progettato è rimodellare le distribuzioni statistiche delle letture del sensore per massimizzare la separabilità delle classi. Gli autori dimostrano che, per un sensore $2 \times 2$, i frontend ottimizzati non migliorano necessariamente la separabilità dei singoli pixel. Al contrario, codificano informazioni discriminanti nelle correlazioni inter-pixel della lettura congiunta. Classi che sono indistinguibili su base per-pixel diventano separabili nello spazio della distribuzione congiunta. La distanza di Bhattacharyya della lettura congiunta funge da forte predittore dell'accuratezza della classificazione a valle (correlazione di rango di Spearman $\rho = 0.97$).

2. La Necessità di Coerenza e Nonlocalità per Prestazioni Super-Lineari:

   • Caratteristiche Quadratiche: Poiché il sensore misura l'intensità, un operatore di campo ottico lineare produce caratteristiche che sono quadratiche rispetto al campo di input. Queste caratteristiche includono termini di interferenza incrociata ($u_k u_l^*$) che trasportano ulteriori informazioni sulla classe.
   • Requisito di Coerenza: Questi termini incrociati richiedono una fase relativa deterministica tra i punti di input. Sotto illuminazione incoerente, i termini incrociati si mediano a zero, riducendo il sistema a una mappa puramente lineare delle intensità di input. Di conseguenza, i sistemi incoerenti non possono superare le prestazioni del miglior preprocessore digitale lineare addestrato.
   • Requisito di Nonlocalità: Per sfruttare i termini incrociati, il sistema ottico deve essere nonlocale, accoppiando distinti punti di input allo stesso pixel del sensore. Sebbene la propagazione nello spazio libero fornisca una certa nonlocalità, lo studio trova che l'aggiunta di un filtro di ampiezza in $k$-space nonlocale (ad esempio, il rilevamento dei bordi) a una metasuperficie locale non migliora le prestazioni. Il filtro o attenua i fotoni che trasportano segnale o riduce i pesi effettivi dei termini di interferenza.
   • Mixing Nonlocale Generale: Significativi guadagni di prestazione si ottengono solo quando il frontend esegue un mixing di campo nonlocale generale (modellato da un metamateriale volumetrico o un operatore non vincolato) sotto illuminazione coerente. Questa configurazione permette al sistema di instradare punti di input ampiamente separati su un singolo pixel con magnitudo e fasi controllate indipendentemente.

3. Limiti di Prestazione e il "Tetto Quadratico":
   Gli autori stabiliscono un limite empirico superiore per il pre-processing ottico lineare.

   • Limite Incoerente: L'ottica incoerente (sia operatori locali che generali) performa significativamente al di sotto del "tetto lineare" (definito da un frontend digitale lineare addestrato con pesi con segno), raggiungendo circa il 71% di accuratezza rispetto all'87%. Il costo della non-negatività nel rilevamento dell'intensità limita i sistemi incoerenti.
   • Limite Coerente: Le metasuperfici locali coerenti raggiungono le prestazioni del tetto lineare (~80%).
   • Vantaggio Super-Lineare: Solo l'operatore generale coerente supera il tetto lineare, raggiungendo circa il 93% di accurateza. Ciò dimostra un vantaggio "super-lineare" (quadratico), provando che la non-linearità introdotta dal rilevamento dell'intensità, quando combinata con il mixing nonlocale coerente, fornisce una risorsa computazionale non disponibile ai preprocessori digitali lineari.

4. Il Regime di Bottleneck:
   I vantaggi dell'ottica nonlocale coerente sono concentrati nel regime di bottleneck del sensore (sensori di piccole dimensioni, ad esempio $N \le 2$). Man mano che la dimensione del sensore aumenta, il sistema cattura una separabilità intrinseca sufficiente affinché la capacità del frontend ottico di separare ulteriormente le classi saturi, rendendo il backend digitale il fattore limitante.

Significato e Rivendicazioni
L'articolo sostiene di fornire intuizioni fisiche e nuovi principi di progettazione per sistemi di inferenza ottico-elettronica ottimali. Le sue conclusioni centrali sono:

• Inferenza vs Imaging: Esiste una dicotomia fondamentale tra inferenza e imaging. Per la ricostruzione di immagini sotto rilevamento di intensità, l'ottica ottimale è un elemento di focalizzazione non-mixing (focalizzazione generalizzata). Per l'inferenza, l'ottica ottimale è un elemento mixing, nonlocale e coerente. Il "collo di bottiglia dell'intensità" che limita la ricostruzione diventa una risorsa computazionale per la classificazione, abilitando l'accesso alle caratteristiche quadratiche.
• Principi di Progettazione: Per massimizzare l'accuratezza dell'inferenza nel regime di bottleneck, i frontend ottici devono essere progettati per massimizzare la separabilità congiunta e consapevole delle correlazioni (quantificata dalla distanza di Bhattacharyya) delle distribuzioni di lettura.
• Implicazioni Pratiche: Sebbene l' "operatore generale" sia un limite idealizzato, i risultati suggeriscono che futuri metamateriali volumetrici o meta-ottiche non locali, se operati sotto illuminazione coerente, potrebbero espandere sostanzialmente le capacità del pre-processing ottico analogico. Gli autori propongono che l'ottimizzazione del frontend ottico utilizzando un obiettivo di separabilità privo di addestramento possa essere un'alternativa più efficiente alla co-ottimizzazione end-to-end completa.

Il lavoro non afferma di aver costruito un metamateriale volumetrico fisico che raggiunga il limite del 93%, ma lo utilizza come un limite teorico per dimostrare il potenziale del mixing nonlocale coerente. Sottolinea che gli attuali processori a metasuperficie a "luce naturale" (incoerenti) sono fondamentalmente limitati a una mappatura di intensità lineare e non possono accedere ai guadagni di prestazione super-lineari disponibili per i sistemi coerenti.