What should a linear optical frontend compute? Assessing the role of meta-optics, nonlocality, and coherence in hybrid inference systems

Technische Samenvatting: Beoordeling van de Rol van Meta-optica, Nonlocaliteit en Coherentie in Hybride Inferentiesystemen

Probleemstelling
Hybride inferentiesystemen, die een optische frontend koppelen aan een digitale backend, bieden een pad om berekeningen te verplaatsen naar de fysieke laag, wat potentieel het energieverbruik en de latentie vermindert. Echter, fundamentele vragen blijven bestaan over de specifieke operaties die een optische frontend moet uitvoeren, wanneer dergelijke offloading voordelig is, en hoe deze systemen effectief te ontwerpen. Een kritieke uitdaging is het "bottleneck"-regime, waarbij een sensor met lage resolutie de dimensionaliteit van de data die naar de digitale backend wordt doorgegeven, beperkt. Hoewel recente werken end-to-end optimalisatie voor beeldvorming en reconstructie hebben verkend, blijft de specifieke vereiste voor inferentie-taken (classificatie) onder intensiteitsdetectie onduidelijk. Specifiek is het onbekend of lineaire optische frontends kunnen presteren boven de niveau van getrainde lineaire digitale preprocessors, en welke rollen coherentie en nonlocaliteit spelen in deze context.

Methodologie
De auteurs onderzoeken hybride optisch-elektronische inferentiesystemen met behulp van de MNIST-cijferclassificatie als een modelprobleem. Het systeem bestaat uit een optimaliseerbare optische frontend, een vaste sensor met lage resolutie (die fungeert als een bottleneck), en een optimaliseerbare elektronische backend (een Multi-Layer Perceptron).

De studie evalueert verschillende frontend-configuraties:

1. Baseline: Een systeem met enkel een sensor en een ideale vaste lens.
2. Lokale Metasurface: Een trainbaar fase-masker (lokale respons) gecombineerd met vrije-ruimte propagatie.
3. Nonlocal Filtering: Een lokale metasurface aangevuld met een nonlocal $k$-ruimte amplitude filter (transversaal-verschuivingsinvariant).
4. Algemene Operator: Een geïdealiseerde, onbeperkte lineaire operator (gemodelleerd als een complexe matrix) die een volumetrisch metamateriaal representeert met volledige nonlocal field-mixing capaciteiten.

De auteurs analyseren zowel coherente als incoherente verlichting. Zij leiden de wiskundige relatie af tussen het invoerveld en de sensor-uitlezing, waarbij zij opmerken dat intensiteitsdetectie ($| \cdot |^2$) een lineaire veldoperator transformeert in een kwadratische kaart van de input. De studie gebruikt de Bhattacharyya-afstand als een training-vrije metriek om klasse-scheidbaarheid te kwantificeren, waarbij onderscheid wordt gemaakt tussen per-pixel scheidbaarheid en gezamenlijke (correlatie-bewuste) scheidbaarheid.

Belangrijkste Bijdragen en Resultaten

1. Statistische Herstructurering via Inter-pixel Correlaties:
   De primaire functie van een goed ontworpen optische frontend is het herstructureren van de statistische distributies van sensor-uitlezingen om de klasse-scheidbaarheid te maximaliseren. De auteurs demonstreren dat voor een $2 \times 2$ sensor, geoptimaliseerde frontends niet noodzakelijkerwijs de scheidbaarheid van individuele pixels verbeteren. In plaats daarvan coderen ze discriminerende informatie in de inter-pixel correlaties van de gezamenlijke uitlezing. Klassen die op een per-pixel basis ononderscheidbaar zijn, worden wel onderscheidbaar in de gezamenlijke distributieruimte. De Bhattacharyya-afstand van de gezamenlijke uitlezing dient als een sterke voorspeller van de downstream classificatienauwkeurigheid (Spearman rangcorrelatie $\rho = 0.97$).

2. De Noodzaak van Coherentie en Nonlocaliteit voor Super-lineaire Prestaties:

   • Kwadratische Kenmerken: Omdat de sensor intensiteit meet, produceert een lineaire optische veldoperator kenmerken die kwadratisch zijn ten opzichte van het invoerveld. Deze kenmerken bevatten interferentie-cross-termen ($u_k u_l^*$) die extra klasse-informatie dragen.
   • Coherentie Vereiste: Deze cross-termen vereisen een deterministische relatieve fase tussen invoerpuntheden. Onder incoherente verlichting middelen deze cross-termen uit naar nul, waardoor het systeem reduceert tot een puur lineaire kaart van input-intensiteiten. Bijgevolg kunnen incoherente systemen niet beter presteren dan de beste getrainde lineaire digitale preprocessor.
   • Nonlocaliteit Vereiste: Om de cross-termen te exploiteren, moet het optische systeem nonlocal zijn, waarbij verschillende invoerpunten aan dezelfde sensor-pixel worden gekoppeld. Hoewel vrije-ruimte propagatie enige nonlocaliteit biedt, vindt de studie dat het toevoegen van een nonlocal $k$-ruimte amplitude filter (bijv. randdetectie) aan een lokale metasurface de prestaties niet verbetert. De filter dempt ofwel de signaal-dragende fotonen, of vermindert de effectieve gewichten van de interferentie-termen.
   • Algemene Nonlocal Mixing: Significante prestatiewinsten worden alleen behaald wanneer de frontend algemene nonlocal field-mixing uitvoert (gemodelleerd door een volumetrisch metamateriaal of een onbeperkte operator) onder coherente verlichting. Deze configuratie stelt het systeem in staat om ruim gescheiden invoerpunten naar een enkele pixel te routeren met onafhankelijk gecontroleerde magnituden en fasen.

3. Prestatiegrenzen en de "Quadratic Ceiling":
   De auteurs stellen een empirische bovengrens vast voor lineaire optische preprocessing.

   • Incoherent Limit: Incoherente optica (zowel lokale als algemene operatoren) presteren aanzienlijk onder de "lineaire plafond" (gedefinieerd door een getrainde digitale lineaire frontend met gesigneerde gewichten), met ongeveer 71% nauwkeurigheid vergeleken met 87%. De kosten van niet-negativiteit bij intensiteitsdetectie beperken incoherente systemen.
   • Coherent Limit: Coherente lokale metasurfaces bereiken de prestaties van de lineaire plafond (~80%).
   • Super-lineair Voordeel: Alleen de coherente algemene operator overtreft de lineaire plafond, met ongeveer 93% nauwkeurigheid. Dit demonstreert een "super-lineair" (kwadratisch) voordeel, wat bewijst dat de niet-lineariteit geïntroduceerd door intensiteitsdetectie, wanneer gecombineerd met coherente nonlocal mixing, een computationele bron biedt die onbeschikbaar is voor lineaire digitale preprocessors.

4. Het Bottleneck-regime:
   De voordelen van coherente nonlocal optica concentreren zich in het sensor-bottleneck-regime (kleine sensorformaten, bijv. $N \le 2$). Naarmate de sensor grootte toeneemt, vangt het systeem voldoende inherente scheidbaarheid op, waardoor de capaciteit van de optische frontend om verder te differentiëren verzadigt, en de digitale backend de limiterende factor wordt.

Betekenis en Claims
Het artikel beweert inzicht te bieden in nieuwe ontwerpprincipes voor optimale optisch-elektronische inferentiesystemen. De centrale conclusies zijn:

• Inferentie versus Beeldvorming: Er bestaat een fundamentele dichotomie tussen inferentie en beeldvorming. Voor beeldreconstructie onder intensiteitsdetectie is de optimale optica een non-mixing, focuserend element (gegeneraliseerde focussering). Voor inferentie is de optimale optica een mixing, nonlocal, coherente element. De "intensiteits-bottleneck" die reconstructie beperkt, wordt een computationale bron voor classificatie door toegang te bieden tot kwadratische kenmerken.
• Ontwerpprincipes: Om de inferentie-nauwkeurigheid in het bottleneck-regime te maximaliseren, moeten optische frontends worden ontworpen om de gezamenlijke, correlatie-bewuste scheidbaarheid (gekwantificeerd door de Bhattacharyya-afstand) van de uitlees-distributies te maximaliseren.
• Praktische Implicaties: Hoewel de "algemene operator" een geïdealiseerde limiet is, suggereren de resultaten dat toekomstige volumetrische metamaterialen of nonlocal meta-optica, wanneer zij onder coherente verlichting worden bediend, de mogelijkheden van analoge optische preprocessing aanzienlijk kunnen uitbreiden. De auteurs stellen voor dat het optimaliseren van de optische frontend met behulp van een training-vrije scheidbaarheids-objective een efficiënter alternatief kan zijn voor volledige end-to-end co-optimalisatie.

Het werk beweert geen fysiek volumetrisch metamateriaal te hebben gebouwd dat de 93% limiet bereikt, maar gebruikt dit als een theoretische grens om het potentieel van coherente nonlocal mixing aan te tonen. Het benadrukt dat huidige "natuurlijk licht" metasurface processors (incoherent) fundamenteel beperkt zijn tot lineaire intensiteitsmapping en geen toegang hebben tot de super-lineaire prestatiewinsten die beschikbaar zijn voor coherente systemen.