Optical Implementation of Equilibrium Propagation Using Spatial Photonic Ising Machines

Resumen Técnico: Implementación Óptica de la Propagación de Equilibrio mediante Máquinas de Ising Fotónicas Espaciales

Planteamiento del Problema
Se buscan cada vez más implementaciones de hardware para algoritmos de aprendizaje automático debido a su potencial de eficiencia energética, particularmente dentro de los sistemas fotónicos. Sin embargo, las redes digitales de vanguardia dependen de la retropropagación de errores, un algoritmo que es difícil de mapear en sistemas físicos analógicos debido al requisito de propagación de luz bidireccional y mediciones de fase precisas. Los enfoques de energía contrastiva ofrecen una alternativa al explotar la dinámica intrínseca de los sustratos físicos, pero las realizaciones experimentales de la Propagación de Equilibrio (EP, por sus siglas en inglés)—un marco que entrena redes basadas en la energía sin retropropagación explícita—siguen siendo escasas. Las implementaciones físicas existentes suelen requerir bucles de actualización digitales externos o funcionan como sistemas totalmente autónomos con escalabilidad limitada. Existe la necesidad de un sistema físico paralelo y energéticamente eficiente capaz de realizar las actualizaciones basadas en gradientes requeridas para la EP.

Metodología
Los autores proponen y demuestran una implementación híbrida óptico-digital de la Propagación de Equilibrio utilizando una Máquina de Ising Fotónica Espacial (SPIM). El núcleo de la metodología consiste en:

1. Funcional de Energía y Dinámica: El sistema entrena un sistema dinámico que se relaja hacia el estado fundamental de un funcional de energía $E$. La energía incluye el sesgo de entrada, interacciones cuadráticas, un término cuadrático de acotación y un término de costo para las neuronas de salida. Los parámetros aprendibles son las matrices de interacción $J_{in}$ y $J_{dyn}$.
2. Codificación SPIM: Para evitar el cuello de botella computacional de la evaluación de los gradientes de interacción ($O(N_d^2)$ multiplicaciones matriz-vector), los autores utilizan una SPIM. Emplean un método de transformación de calibre para codificar estados de neuronas continuos ($s_i \in [-\pi/2, \pi/2]$) y patrones entrenables binarios de rango 1 ($\xi_{k,i} \in \{-1, 1\}$) como modulaciones de fase en un Modulador Espacial de Luz (SLM).
3. Evaluación del Hamiltoniano: La SPIM computa el Hamiltoniano $H_{SPIM}$ mediante propagación en espacio libre y una única medición de intensidad. Al tomar combinaciones lineales de problemas de Mattis de rango 1, el sistema logra la programabilidad total de la matriz de interacción.
4. Estimación de Gradientes:
   • Inferencia: El gradiente con respecto a los estados de las neuronas se estima utilizando un esquema de diferencia finita, lo que requiere dos mediciones ópticas del Hamiltoniano con fases desplazadas ($\pm \pi/4$).
   • Aprendizaje: El gradiente con respecto a los parámetros de acoplamiento ($\lambda_k$) se evalúa ópticamente en un solo disparo. El gradiente con respecto a los patrones binarios ($\xi_{k,i}$) se evalúa numéricamente para reducir el tiempo de ejecución experimental, aunque el artículo señala que teóricamente podría evaluarse ópticamente.
5. Bucle de Optimización: El sistema sigue una optimización de dos niveles: un bucle interno que minimiza la energía (inferencia) y un bucle externo que actualiza los parámetros basándose en la sensibilidad del sistema al "empujón" (nudging) de las neuronas de salida hacia un objetivo. Los autores utilizan el Optimizador Binario (BOP) para actualizar los patrones binarios y optimizadores estándar (como Adam) para las variables continuas en simulaciones numéricas.

Contribuciones Clave

• Implementación Híbrida: El artículo demuestra una arquitectura híbrida óptico-digital concreta donde la SPIM gestiona la evaluación computacionalmente intensiva del Hamiltoniano y los gradientes específicos, mientras que los componentes digitales gestionan los términos restantes y la lógica de optimización.
• Representación de Neurona Continua: Mediante la adaptación del método de transformación de calibre, los autores logran representar exitosamente estados de neuronas continuos en una plataforma de hardware originalmente diseñada para variables binarias, superando una limitación significativa de las SPIM estándar.
• Demostración Experimental: El sistema se valida experimentalmente con el conjunto de datos de clasificación de Vinos (Wine classification dataset), alcanzando una precisión de prueba de $89.7 \pm 3.2\%$.
• Análisis de Escalabilidad Numérica: Los autores proporcionan extensas simulaciones numéricas sobre el conjunto de datos MNIST. Muestran que una futura SPIM con parámetros continuos (eliminando la restricción binaria sobre $\xi$) puede alcanzar una precisión del $97.81 \pm 0.15\%$. También demuestran que la arquitectura sigue siendo viable con recursos restringidos (por ejemplo, precisión de 8 bits) y puede soportar arquitecturas más profundas y estructuradas.

Resultos

• Experimental (Dataset de Vinos): El sistema híbrido alcanzó una precisión promedio del conjunto de prueba de $89.7 \pm 3.2\%$ en siete ejecuciones independientes. La discrepancia entre este resultado y la precisión de la simulación ($98.2\%$) se atribuye al ruido experimental (ruido de disparo, fluctuaciones de fase, inestabilidad de la potencia del láser), que actúa como una temperatura efectiva que afecta el estado de equilibrio.
• Aceleración de la Inferencia: Tras el entrenamiento, el paisaje de energía presentó cuencas de atracción distintas, permitiendo acelerar la inferencia a un solo paso de descenso de gradiente manteniendo una precisión de $85.71 \pm 2.3\%$.
• Numérico (Dataset MNIST):
  • Con parámetros continuos, el sistema logró un $97.81 \pm 0.15\%$ de precisión, comparable a las implementaciones estándar de EP y otras simulaciones fotónicas.
  • Los estudios de escalado indicaron que una configuración mínima ($N_d=32, K=22$) podría superar a los clasificadores lineales.
  • El análisis de cuantización reveló que reducir la precisión de la neurona a 8 bits (consistente con la resolución del SLM) aceleró significativamente los pasos de inferencia sin degradar la precisión, mientras que la precisión de 4 bits causó una caída notable en el rendimiento.

Significancia y Reivindicaciones
El artículo afirma proporcionar un "camino concreto hacia implementaciones físicas energéticamente eficientes de la Propagación de Equilibrio". Al aprovechar el paralelismo de las SPIM, el enfoque evita las estrictas restricciones de hardware de la retropropagación óptica (como la propagación bidireccional y la medición precisa de fase). Los autores enfatizan que su método permite el uso directo de plataformas SPIM escalables para realizar tareas estándar de aprendizaje automático sin requerir sistemas ópticos complejos o gemelos digitales precisos para el entrenamiento.

Este trabajo amplía las aplicaciones potenciales de las SPIM más allá de la optimización binaria no restringida cuadrática (QUBO) y el entrenamiento de máquinas de Boltzmann, posicionándolas como candidatas viables para la computación neuromórfica analógica de bajo consumo. Los autores concluyen que, si bien las limitaciones experimentales actuales (patrones binarios, ruido) afectan el rendimiento en conjuntos de datos complejos, las futuras mejoras de hardware (parámetros continuos, SLM más grandes, multiplexación de longitud de onda) podrían materializar plenamente el potencial de este método para el aprendizaje físico.