Optical Implementation of Equilibrium Propagation Using Spatial Photonic Ising Machines

Résumé technique : Implémentation optique de la propagation d'équilibre à l'aide de machines d'Ising photoniques spatiales

Énoncé du problème
Les implémentations matérielles d'algorithmes d'apprentissage automatique sont de plus en plus recherchées pour leur potentiel d'efficacité énergétique, particulièrement au sein des systèmes photoniques. Cependant, les réseaux numériques de pointe reposent sur la rétropropagation de l'erreur, un algorithme difficile à mapper sur des systèmes physiques analogiques en raison de l'exigence d'une propagation de la lumière bidirectionnelle et de mesures de phase précises. Les approches basées sur l'énergie contrastives offrent une alternative en exploitant la dynamique intrinsèque des substrats physiques, mais les réalisations expérimentales de la propagation d'équilibre (EP — Equilibrium Propagation) — un cadre permettant d'entraîner des réseaux basés sur l'énergie sans rétropropagation explicite — restent rares. Les implémentations physiques existantes nécessitent souvent des boucles de mise à jour numériques externes ou fonctionnent comme des systèmes entièrement autonomes avec une évolutivité limitée. Il existe un besoin pour un système physique parallèle et économe en énergie capable d'effectuer les mises à jour basées sur le gradient requises par l'EP.

Méthodologie
Les auteurs proposent et démontrent une implémentation hybride optique-numérique de la propagation d'équilibre utilisant une machine d'Ising photonique spatiale (SPIM). Le cœur de la méthodologie repose sur :

1. Fonctionnelle d'énergie et dynamique : Le système entraîne un système dynamique qui se relaxe vers l'état fondamental d'une fonctionnelle d'énergie $E$. L'énergie inclut un biais d'entrée, des interactions quadratiques, un terme quadratique de confinement et un terme de coût pour les neurones de sortie. Les paramètres apprenables sont les matrices d'interaction $J_{in}$ et $J_{dyn}$.
2. Codage SPIM : Pour contourner le goulot d'étranglement computationnel de l'évaluation des gradients d'interaction ($O(N_d^2)$ multiplications matrice-vecteur), les auteurs utilisent une SPIM. Ils emploient une méthode de transformation de jauge pour encoder des états de neurones continus ($s_i \in [-\pi/2, \pi/2]$) et des motifs entraînables binaires de rang 1 ($\xi_{k,i} \in \{-1, 1\}$) sous forme de modulations de phase sur un modulateur spatial de lumière (SLM).
3. Évaluation du Hamiltonien : La SPIM calcule le Hamiltonien $H_{SPIM}$ via une propagation en espace libre et une mesure d'intensité unique. En prenant des combinaisons linéaires de problèmes de Mattis de rang 1, le système parvient à une programmabilité complète de la matrice d'interaction.
4. Estimation du gradient :
   • Inférence : Le gradient par rapport aux états des neurones est estimé à l'aide d'un schéma de différence finie, nécessitant deux mesures optiques du Hamiltonien avec des phases décalées ($\pm \pi/4$).
   • Apprentissage : Le gradient par rapport aux paramètres de couplage ($\lambda_k$) est évalué optiquement en une seule passe (single shot). Le gradient par rapport aux motifs binaires ($\xi_{k,i}$) est évalué numériquement pour réduire le temps d'exécution expérimental, bien que l'article note qu'il pourrait théoriquement être évalué optiquement.
5. Boucle d'optimisation : Le système suit une optimisation bi-niveau : une boucle interne minimise l'énergie (inférence) et une boucle externe met à jour les paramètres en fonction de la sensibilité du système à l'influence ("nudging") des neurones de sortie vers une cible. Les auteurs utilisent l'optimiseur binaire (BOP) pour la mise à jour des motifs binaires et des optimiseurs standards (comme Adam) pour les variables continues dans les simulations numériques.

Contributions clés

• Implémentation hybride : L'article démontre une architecture hybride optique-numérique concrète où la SPIM gère l'évaluation intensivement coûteuse du Hamiltonien et des gradients spécifiques, tandis que les composants numériques gèrent les termes restants et la logique d'optimisation.
• Représentation de neurones continus : En adaptant la méthode de transformation de jauge, les auteurs parviennent à représenter des états de neurones continus sur une plateforme matérielle initialement conçue pour des variables binaires, surmontant ainsi une limitation significative des SPIM standards.
• Démonstration expérimentale : Le système est validé expérimentalement sur le jeu de données de classification des vins (Wine classification dataset), atteignant une précision de test de $89,7 \pm 3,2\%$.
• Analyse de scalabilité numérique : Les auteurs fournissent des simulations numériques approfondies sur le jeu de données MNIST. Ils montrent qu'une future SPIM avec des paramètres continus (éliminant la restriction binaire sur $\xi$) peut atteindre une précision de $97,81 \pm 0,15\%$. Ils démontrent également que l'architecture reste viable avec des ressources contraintes (par exemple, une précision de 8 bits) et peut supporter des architectures plus profondes et structurées.

Résultats

• Expérimental (Jeu de données Wine) : Le système hybride a atteint une précision moyenne de test de $89,7 \pm 3,2\%$ sur sept exécutions indépendantes. La divergence entre ce résultat et la précision de la simulation ($98,2\%$) est attribuée au bruit expérimental (bruit de tir, fluctuations de phase, instabilité de la puissance du laser), qui agit comme une température effective affectant l'état d'équilibre.
• Accélération de l'inférence : Après l'entraînement, le paysage énergétique présentait des bassins d'attraction distincts, permettant d'accélérer l'inférence à une seule étape de descente de gradient tout en maintenant une précision de $85,71 \pm 2,3\%$.
• Numérique (Jeu de données MNIST) :
  • Avec des paramètres continus, le système a atteint une précision de $97,81 \pm 0,15\%$, comparable aux implémentations EP standards et aux autres simulations photoniques.
  • Les études de mise à l'échelle ont indiqué qu'une configuration minimale ($N_d=32, K=22$) pouvait surpasser les classificateurs linéaires.
  • L'analyse de quantification a révélé que réduire la précision des neurones à 8 bits (cohérent avec la résolution du SLM) accélérait considérablement les étapes d'inférence sans dégrader la précision, tandis qu'une précision de 4 bits provoquait une chute notable des performances.

Signification et affirmations
L'article affirme fournir une « voie concrète vers des implémentations physiques économes en énergie de la propagation d'équilibre ». En exploitant le parallélisme des SPIM, l'approche évite les contraintes matérielles strictes de la rétropropagation optique (telles que la propagation bidirectionnelle et la mesure précise de la phase). Les auteurs soulignent que leur méthode permet l'utilisation directe de plateformes SPIM évolutives pour effectuer des tâches d'apprentissage automatique standard sans nécessiter de systèmes optiques complexes ou de doubles numériques précis pour l'entraînement.

Ce travail élargit les applications potentielles des SPIM au-delà de l'optimisation binaire non contrainte quadratique (QUBO) et de l'entraînement des machines de Boltzmann, les positionnant comme des candidats viables pour le calcul neuromorphique analogique à faible consommation d'énergie. Les auteurs concluent que, bien que les limitations expérimentales actuelles (motifs binaires, bruit) affectent les performances sur des jeux de données complexes, les améliorations matérielles futures (paramètres continus, SLM plus grands, multiplexage de longueur d'onde) pourraient pleinement réaliser le potentiel de cette méthode pour l'apprentissage physique.