Hybridizing Equilibrium Propagation with Ising Machines for Efficient Energy-Based Learning

Résumé technique : Hybridation de la propagation d'équilibre avec des machines d'Ising pour un apprentissage basé sur l'énergie efficace

Énoncé du problème
L'avancement rapide des réseaux de neurones profonds (DNN) a été limité par la consommation d'énergie élevée et les exigences temporelles de l'entraînement conventionnel sur GPU. Bien que les solveurs matériels physiques (par exemple, les machines d'Ising) offrent une voie vers un calcul à faible consommation d'énergie, ils sont souvent pré-entraînés par rétropropagation (BP) sur des composants électroniques externes, ce qui les rend vulnérables au bruit matériel et aux imperfections de fabrication. Cela nécessite des méthodes d'apprentissage physiquement ancrées où l'apprentissage se produit directement au sein de la dynamique physique.

La propagation d'équilibre (EP) est un algorithme d'apprentissage basé sur l'énergie qui unifie l'entraînement et l'inférence via des règles d'apprentissage locales. Cependant, l'EP standard repose sur des réseaux de Hopfield, qui sont régis par des dynamiques dissipatives non hamiltoniennes ($\dot{x} = -\nabla E(x)$). Cette formulation entraîne une contraction de l'espace des phases, provoquant la convergence fréquente du système vers des minima d'énergie locaux plutôt que vers l'optimum global, ce qui compromet l'efficacité de l'entraînement. De plus, la transposition directe des paramètres de réseaux multicouches vers des systèmes de spins à grande échelle pose des problèmes d'évolutivité, notamment des temps de convergence prolongés.

Méthodologie
Les auteurs proposent un cadre d'entraînement hybride nommé cSB-EP (propagation d'équilibre par bifurcation simulée continue). Cette approche intègre les règles d'apprentissage locales de l'EP à une trajectoire physique vers l'équilibre inspirée de la dynamique d'Ising.

1. Dynamique de l'espace des phases étendu : Au lieu de la relaxation purement dissipative des réseaux de Hopfield standards, les auteurs remplacent la dynamique par un système de bifurcation simulée continue (cSB) dérivé d'un cadre hamiltonien. Ce système introduit des variables conjuguées (moment) aux états des neurones.

   • La dynamique est régie par des équations différentielles couplées : $\dot{s}_{yi} = -s_i - \gamma s_{yi} + \rho(\sum J_{ij}s_j)$ et $\dot{s}_i = s_{yi}$, où $s_{yi}$ agit comme une coordonnée conjuguée fournissant un élan inertiel.
   • La fonction d'activation $\rho(x) = \min(\max(x, 0), 1)$ remplace les barrières de potentiel inélastiques pour accélérer le calcul, tandis qu'un terme d'amortissement $\gamma$ assure la convergence.

2. Mécanisme d'action : L'introduction de la coordonnée conjuguée permet au système de se déplacer temporairement dans des régions de plus haute énergie potentielle. Cet élan inertiel permet au réseau de surmonter les minima locaux peu profonds, une capacité absente des systèmes dissipatifs non hamiltoniens où l'énergie diminue strictement de manière monotone. L'analyse théorique basée sur le principe de Freidlin-Wentzell suggère qu'un couplage faible réduit les barrières d'énergie effectives, augmentant exponentiellement le taux de transition hors des optima locaux.

3. Architecture d'entraînement : Le cadre conserve la règle d'apprentissage en deux phases de l'EP :

   • Phase libre (Free Phase) : Le réseau évolue vers un état stable sous l'effet des données d'entrée.
   • Phase de perturbation (Nudge Phase) : Une perturbation contrôlée par le paramètre $\beta$ est appliquée à la couche de sortie pour conduire le système vers l'état cible.
   • Implémentation : L'algorithme utilise une configuration hybride CPU/GPU. Le traitement des données et les mises à jour de paramètres se déroulent sur le CPU, tandis que la recherche de l'état fondamental (convergence des états des neurones), intensément gourmande en calcul, est accélérée sur le GPU via l'algorithme cSB.

Contributions clés

• Nouvelle dynamique : L'article introduit un passage de la relaxation de Hopfield dissipative à une dynamique hamiltonienne de l'espace des phases étendu au sein du cadre EP, atténuant efficacement le problème des minima locaux causé par la contraction de l'espace des phases.
• Bifurcation simulée continue (cSB) : Les auteurs adaptent la machine de bifurcation simulée continue, initialement conçue pour les systèmes de spins binaires, en un système dynamique continu adapté à l'optimisation de réseaux neuronaux avec des fonctions d'activation spécifiques.
• Évolutivité : Le cadre est étendu avec succès des simples réseaux entièrement connectés aux réseaux de Hopfield convolutionnels profonds (CNN), démontrant sa compatibilité avec des architectures complexes.

Résultats
Des expériences ont été menées sur les ensembles de données MNIST, Fashion-MNIST et CIFAR-10 :

• Convergence et Énergie : Le cSB-EP atteint des distributions d'énergie effective plus basses et une convergence plus rapide vers des états stables par rapport à l'EP conventionnelle. L'énergie moyenne du réseau se déplace vers des valeurs plus faibles plus rapidement durant l'entraînement.
• Précision : Sur MNIST, Fashion-MNIST et CIFAR-10, le cSB-EP atteint des taux d'erreur de test comparables à la rétropropagation (BP) et supérieurs aux variantes existantes de l'EP (par exemple, cEP). Par exemple, sur CIFAR-10, le cSB-EP surpasse l'EP conventionnelle et se rapproche des performances de la BP.
• Efficacité : La méthode démontre une réduction significative du nombre d'itérations nécessaires pour la recherche de l'état fondamental. Comparé aux algorithmes EP existants, le cSB-EP atteint une accélération de calcul d'environ 3$\times$ tout en maintenant une précision comparable.
• Robustesse : Le cadre présente une robustesse accrue au bruit. Dans des conditions bruitées (simulant des imperfections matérielles analogiques ou opto-électroniques), le cSB-EP maintient une précision de classification plus élevée que l'EP standard. La dynamique inertielle aide le système à échapper aux optima locaux même lorsqu'il est perturbé par le bruit, à condition que l'intensité du bruit ne soit pas excessive.

Signification et Revendications
Les auteurs affirment que le cSB-EP représente bien plus qu'une simple application des machines d'Ising aux réseaux de neurones ; il établit un nouveau paradigme d'apprentissage inspiré par la dynamique des machines d'Ising. En modifiant la trajectoire physique vers l'équilibre tout en préservant les règles d'apprentissage locales, le cadre offre une voie viable pour un apprentissage basé sur l'énergie efficace, évolutif et compatible avec le matériel.

L'étude suggère que cette approche est particulièrement adaptée à un déploiement sur des plateformes physiques telles que les systèmes optiques, les systèmes opto-électroniques et les oscillateurs électroniques. En abordant les limites de convergence et de robustesse au bruit des méthodes d'entraînement physique traditionnelles, le cSB-EP vise à faciliter le déploiement de l'IA à faible consommation dans l'informatique de bord (edge computing) et les objets connectés (IoT), dépassant la dépendance aux modèles pré-entraînés générés par une rétropropagation énergivore.