What should a linear optical frontend compute? Assessing the role of meta-optics, nonlocality, and coherence in hybrid inference systems

Resumo Técnico: Avaliando o Papel da Meta-Óptica, Não-Localidade e Coerência em Sistemas de Inferência Híbridos

Definição do Problema
Sistemas de inferência híbridos, que combinam um frontend óptico com um backend digital, oferecem um caminho para delegar computação para a camada física, potencialmente reduzindo o consumo de energia e a latência. No entanto, questões fundamentais permanecem sobre quais operações específicas o frontend óptico deve realizar, quando tal delegação é benéfica e como projetar esses sistemas de forma eficaz. Um desafio crítico é o regime de "gargalo" (bottleneck), onde um sensor de baixa resolução limita a dimensionalidade dos dados passados ao backend digital. Embora trabalhos recentes tenham explorado a otimização de ponta a ponta para tarefas de imagem e reconstrução, os requisitos específicos para tarefas de inferência (classificação) sob detecção de intensidade permanecem incertos. Especificamente, desconhece-se se frontends ópticos lineares podem superar pré-processadores digitais lineares treinados e quais papéis a coerência e a não-localidade desempenham nesse contexto.

Metodologia
Os autores investigam sistemas de inferência óptico-eletrônicos híbridos usando a tarefa de classificação de dígitos MNIST como um problema modelo. O sistema consiste em um frontend óptico otimizável, um sensor de intensidade de baixa resolução fixo (atuando como um gargalo) e um backend eletrônico otimizável (um Perceptron Multicamadas).

O estudo avalia várias configurações de frontend:

1. Baseline: Um sistema apenas com sensor e uma lente fixa ideal.
2. Metassuperfície Local: Uma máscara de fase treinável (resposta local) combinada com propagação em espaço livre.
3. Filtragem Não-Local: Uma metassuperfície local aumentada por um filtro de amplitude no espaço-$k$ (invariante ao deslocamento transversal).
4. Operador Geral: Um operador linear idealizado e não restringido (modelado como uma matriz complexa) representando um metamaterial volumétrico com capacidades totais de mistura de campo não-local.

Os autores analisam a iluminação coerente e incoerente. Eles derivam a relação matemática entre o campo de entrada e a leitura do sensor, observando que a detecção de intensidade ($| \cdot |^2$) transforma um operador de campo linear em um mapa quadrático do input. O estudo utiliza a distância de Bhattacharyya como uma métrica livre de treinamento para quantificar a separabilidade de classes no espaço de leitura do sensor, distinguindo entre separabilidade por pixel e separabilidade conjunta (consciente de correlação).

Principais Contribuições e Resultados

1. Remodelagem Estatística via Correlações Inter-Pixels:
   A função primária de um frontend óptico bem projetado é remodelar as distribuições estatísticas das leituras do sensor para maximizar a separabilidade de classes. Os autores demonstram que, para um sensor $2 \times 2$, frontends otimizados não necessariamente melhoram a separabilidade de pixels individuais. Em vez disso, eles codificam informações discriminativas nas correlações inter-pixels da leitura conjunta. Classes que são indistinguíveis em uma base por-pixel tornam-se separáveis no espaço da distribuição conjunta. A distância de Bhattacharyya da leitura conjunta serve como um forte preditor da precisão de classificação subsequente (correlação de Spearman $\rho = 0,97$).

2. A Necessidade de Coerência e Não-Localidade para Desempenho Super-Linear:

   • Características Quadráticas: Como o sensor mede a intensidade, um operador de campo óptico linear produz características que são quadráticas em relação ao campo de entrada. Essas características incluem termos de interferência cruzada ($u_k u_l^*$) que carregam informações adicionais de classe.
   • Requisito de Coerência: Esses termos de interferência exigem uma fase relativa determinística entre pontos de entrada. Sob iluminação incoerente, os termos de interferência média para zero, reduzindo o sistema a um mapa puramente linear das intensidades de entrada. Consequentemente, sistemas incoerentes não podem superar o desempenho de um pré-processador digital linear treinado.
   • Requisito de Não-Localidade: Para explorar os termos de interferência, o sistema óptico deve ser não-local, acoplando pontos distintos de entrada ao mesmo pixel do sensor. Embora a propagação em espaço livre forneça alguma não-localidade, o estudo descobre que adicionar um filtro de amplitude não-local no espaço-$k$ (ex: detecção de bordas) a uma metassuperfície local não melhora o desempenho. O filtro ou atenua fótons que carregam sinal ou reduz os pesos efetivos dos termos de interferência.
   • Mistura Não-Local Geral: Ganhos significativos de desempenho são alcançados apenas quando o frontend realiza a mistura de campo não-local geral (modelada por um metamaterial volumétrico ou operador não restringido) sob iluminação coerente. Esta configuração permite que o sistema direcione pontos de entrada amplamente separados para um único pixel com magnitudes e fases controladas independentemente.

3. Limites de Desempenho e o "Teto Quadrático":
   Os autores estabelecem um limite superior empírico para o pré-processamento óptico linear.

   • Limite Incoerente: Ópticas incoerentes (tanto operadores locais quanto gerais) performam significativamente abaixo do "teto linear" (definido por um frontend digital linear treinado com pesos com sinal), atingindo ~71% de precisão comparado a 87%. O custo da não-negatividade na detecção de intensidade limita os sistemas incoerentes.
   • Limite Coerente: Metassuperfícies locais coerentes atingem o desempenho do teto linear (~80%).
   • Vantagem Super-Linear: Apenas o operador geral coerente excede o teto linear, atingindo ~93% de precisão. Isso demonstra uma vantagem "super-linear" (quadrática), provando que a não-linearidade introduzida pela detecção de intensidade, quando combinada com a mistura não-local coerente, fornece um recurso computacional indisponível para pré-processadores digitais lineares.

4. O Regime de Gargalo (Bottleneck):
   As vantagens das ópticas não-locais coerentes concentram-se no regime de gargalo do sensor (tamanhos de sensor pequenos, ex: $N \le 2$). À medida que o tamanho do sensor aumenta, o sistema captura separabilidade inerente suficiente para que a capacidade do frontend óptico de separar ainda mais as classes sature, tornando o backend digital o fator limitante.

Significância e Alegações
O artigo afirma fornecer insights físicos e novos princípios de design para sistemas de inferência óptico-eletrônicos ideais. Suas conclusões centrais são:

• Inferência vs. Imagem: Existe uma dicotomia fundamental entre inferência e imagem. Para reconstrução de imagem sob detecção de intensidade, a óptica ideal é um elemento de foco não-misturador (foco generalizado). Para inferência, a óptica ideal é um elemento misturador, não-local e coerente. O "gargalo de intensidade" que limita a reconstrução torna-se um recurso computacional para classificação ao permitir o acesso a características quadráticas.
• Princípios de Design: Para maximizar a precisão de inferência no regime de gargalo, os frontends ópticos devem ser projetados para maximizar a separabilidade conjunta e consciente de correlação (quantificada pela distância de Bhattacharyya) das distribuições de leitura.
• Implicações Práticas: Embora o "operador geral" seja um limite idealizado, os resultados sugerem que futuros metamateriais volumétricos ou meta-ópticas não-locais, quando operados sob iluminação coerente, poderiam expandir substancialmente as capacidades do pré-processamento óptico analógico. Os autores propõem que otimizar o frontend óptico usando um objetivo de separabilidade livre de treinamento pode ser uma alternativa mais eficiente à co-otimização total de ponta a ponta.

O trabalho não afirma ter construído um metamaterial volumétrico físico que atinja o limite de 93%, mas o utiliza como um limite teórico para demonstrar o potencial da mistura não-local coerente. Ele enfatiza que os atuais processadores de metassuperfície de "luz natural" (incoerentes) são fundamentalmente limitados ao mapeamento de intensidade linear e não podem acessar os ganhos de desempenho super-lineares disponíveis para sistemas coerentes.