Optical Implementation of Equilibrium Propagation Using Spatial Photonic Ising Machines

Resumo Técnico: Implementação Óptica de Propagação de Equilíbrio Usando Máquinas de Ising Fotônicas Espaciais

Definição do Problema
Implementações de hardware para algoritmos de aprendizado de máquina são cada vez mais buscadas por seu potencial de eficiência energética, particularmente em sistemas fotônicos. No entanto, redes digitais de última geração dependem da retropropagação de erro, um algoritmo que é difícil de mapear em sistemas físicos analógicos devido à exigência de propagação bidirecional de luz e medições precisas de fase. Abordagens baseadas em energia contrastiva oferecem uma alternativa ao explorar a dinâmica intrínseca de substratos físicos, mas realizações experimentais de Propagação de Equilíbrio (EP) — um framework para treinar redes baseadas em energia sem retropropagação explícita — permanecem escassas. Implementações físicas existentes frequentemente exigem loops de atualização digital externos ou operam como sistemas totalmente autônomos com escalabilidade limitada. Há uma necessidade de um sistema físico paralelo e energeticamente eficiente capaz de realizar as atualizações baseadas em gradiente exigidas pela EP.

Metodologia
Os autores propõem e demonstram uma implementação híbrida óptico-digital de Propagação de Equilíbrio utilizando uma Máquina de Ising Fotônica Espacial (SPIM). O núcleo da metodologia envolve:

1. Funcional de Energia e Dinâmica: O sistema treina um sistema dinâmico que relaxa para o estado fundamental de um funcional de energia $E$. A energia inclui viés de entrada, interações quadráticas, um termo quadrático de limitação e um termo de custo para neurônios de saída. Os parâmetros treináveis são as matrizes de interação $J_{in}$ e $J_{dyn}$.
2. Codificação SPIM: Para contornar o gargalo computacional da avaliação de gradientes de interação ($O(N_d^2)$ multiplicações matriz-vetor), os autores utilizam uma SPIM. Eles empregam um método de transformação de gauge para codificar estados de neurônios contínuos ($s_i \in [-\pi/2, \pi/2]$) e padrões treináveis binários de rank-1 ($\xi_{k,i} \in \{-1, 1\}$) como modulações de fase em um Modulador Espacial de Luz (SLM).
3. Avaliação do Hamiltoniano: A SPIM computa o Hamiltoniano $H_{SPIM}$ via propagação em espaço livre e uma única medição de intensidade. Ao tomar combinações lineares de problemas de Mattis de rank-1, o sistema alcança total programabilidade da matriz de interação.
4. Estimativa de Gradiente:
   • Inferência: O gradiente em relação aos estados dos neurônios é estimado usando um esquema de diferença finita, exigindo duas medições ópticas do Hamiltoniano com fases deslocadas ($\pm \pi/4$).
   • Aprendizado: O gradiente em relação aos parâmetros de acoplamento ($\lambda_k$) é avaliado opticamente em um único disparo (single shot). O gradiente em relação aos padrões binários ($\xi_{k,i}$) é avaliado numericamente para reduzir o tempo de execução experimental, embora o artigo note que ele poderia teoricamente ser avaliado opticamente.
5. Loop de Otimização: O sistema segue uma otimização de dois níveis: um loop interno que minimiza a energia (inferência) e um loop externo que atualiza os parâmetros com base na sensibilidade do sistema ao "empurrão" (nudging) nos neurônios de saída em direção a um alvo. Os autores utilizam o Otimizador Binário (BOP) para atualizar os padrões binários e otimizadores padrão (como Adam) para variáveis contínuas em simulações numéricas.

Principais Contribuições

• Implementação Híbrida: O artigo demonstra uma arquitetura híbrida óptico-digital concreta onde a SPIM lida com a avaliação computacionalmente intensiva do Hamiltoniano e gradientes específicos, enquanto componentes digitais lidam com os termos restantes e a lógica de otimização.
• Representação de Neurônio Contínuo: Ao adaptar o método de transformação de gauge, os autores representam com sucesso estados de neurônios contínuos em uma plataforma de hardware originalmente projetada para variáveis binárias, superando uma limitação significativa das SPIMs padrão.
• Demonstração Experimental: O sistema é validado experimentalmente no conjunto de dados de classificação de vinhos (Wine classification dataset), atingindo uma acurácia de teste de $89,7 \pm 3,2\%$.
• Análise de Escalabilidade Numérica: Os autores fornecem extensas simulações numéricas no conjunto de dados MNIST. Eles mostram que uma futura SPIM com parâmetros contínuos (eliminando a restrição binária em $\xi$) pode atingir $97,81 \pm 0,15\%$ de acurácia. Eles também demonstram que a arquitetura permanece viável com recursos restritos (ex: precisão de 8 bits) e pode suportar arquiteturas mais profundas e estruturadas.

Resultos

• Experimental (Dataset de Vinhos): O sistema híbrido alcançou uma acurácia média de teste de $89,7 \pm 3,2\%$ ao longo de sete execuções independentes. A discrepância entre este resultado e a acurácia da simulação ($98,2\%$) é atribuída ao ruído experimental (ruído de disparo, flutuações de fase, instabilidade da potência do laser), que atua como uma temperatura efetiva afetando o estado de equilíbrio.
• Aceleração de Inferência: Pós-treinamento, o cenário de energia apresentou bacias de atração distintas, permitindo que a inferência fosse acelerada para um único passo de gradiente descendente, mantendo $85,71 \pm 2,3\%$ de acurácia.
• Numérico (Dataset MNIST):
  • Com parâmetros contínuos, o sistema alcançou $97,81 \pm 0,15\%$ de acurácia, comparável às implementações padrão de EP e outras simulações fotônicas.
  • Estudos de escala indicaram que uma configuração mínima ($N_d=32, K=22$) poderia superar classificadores lineares.
  • A análise de quantização revelou que reduzir a precisão do neurônio para 8 bits (consistente com a resolução do SLM) acelerou significativamente os passos de inferência sem degradar a acurácia, enquanto a precisão de 4 bits causou uma queda notável no desempenho.

Significância e Alegações
O artigo afirma fornecer um "caminho concreto para implementações físicas energeticamente eficientes de Propagação de Equilíbrio". Ao aproveitar o paralelismo das SPIMs, a abordagem evita as estritas restrições de hardware da retropropagação óptica (como a propagação bidirecional e a medição precisa de fase). Os autores enfatizam que seu método permite o reuso direto de plataformas SPIM escaláveis para realizar tarefas padrão de aprendizado de máquina sem exigir sistemas ópticos complexos ou gêmeos digitais precisos para o treinamento.

O trabalho amplia as aplicações potenciais das SPIMs além da otimização binária não restrita quadrática (QUBO) e do treinamento de máquinas de Boltzmann, posicionando-as como candidatas viáveis para computação neuromórfica analógica de baixo consumo de energia. Os autores concluem que, embora as limitações experimentais atuais (padrões binários, ruído) afetem o desempenho em conjuntos de dados complexos, melhorias futuras no hardware (parâmetros contínuos, SLMs maiores, multiplexação de comprimento de onda) poderiam realizar plenamente o potencial deste método para aprendizado de máquina físico.