Equilibrium Propagation for Non-Conservative Systems

Cet article propose un cadre qui étend la propagation d'équilibre à des systèmes arbitraires non conservatifs en modifiant la dynamique de la phase d'apprentissage pour tenir compte des interactions non réciproques, permettant ainsi le calcul exact des gradients de la fonction de coût et atteignant une performance supérieure par rapport aux méthodes précédentes.

L'essentiel

La vue d'ensemble : Enseigner à une machine sans « passage arrière »

Imaginez que vous essayiez d'apprendre à un robot à reconnaître un chat sur une photo. Dans la méthode standard utilisée aujourd'hui (appelée « Backpropagation » ou rétropropagation), le robot regarde la photo, fait une supposition, réalise qu'il s'est trompé, puis envoie un « signal de correction » tout l'chemin inverse à travers son cerveau, couche par couche, pour corriger ses erreurs.

Le problème est que ce « passage arrière » est très difficile à construire dans des machines physiques réelles (comme les cerveaux biologiques ou les puces de silicium) car cela nécessite d'envoyer des informations en arrière dans le temps ou sur de longues distances instantanément.

L'Équilibre de Propagation (EP - Equilibrium Propagation) est une façon plus intelligente et plus physique d'apprendre. Au lieu d'un passage arrière, le robot se laisse simplement relaxer dans un « état calme » (équilibre). Il teste deux scénarios légèrement différents :

1. État Libre : Le robot regarde l'image et fait sa supposition naturellement.
2. État Stimulé (Nudged State) : Quelqu'un pousse doucement la supposition finale du robot vers la bonne réponse.

En comparant comment le cerveau du robot a changé entre ces deux états calmes, il peut comprendre exactement comment ajuster ses réglages internes pour s'améliorer la prochaine fois. C'est comme apprendre en ressentant la différence entre « ce que je pensais » et « ce vers quoi j'ai été poussé à penser ».

Le Problème : La règle de la « Symétrie »

La version originale de cette méthode d'apprentissage (EP) ne fonctionnait que pour des systèmes qui suivent une règle stricte : la Symétrie.

Pensez à un système conservatif comme une balle roulant sur une colline lisse. Si la balle roule d'un point A vers un point B, le chemin qu'elle prend est déterminé par la forme de la colline. Si vous inversez le chemin, la physique est la même. Dans un cerveau informatique, cela signifie que si le Neurone A parle au Neurone B, le Neurone B doit parler en retour au Neurone A avec la même force exacte.

Cependant, de nombreux systèmes du monde réel (et les modèles d'IA modernes) ne sont pas comme une colline lisse. Ils sont comme une rivière avec un courant ou une rue à sens unique.

• Systèmes Non-Conservatifs : L'information circule dans un sens (comme dans un réseau de type "feedforward" où les données vont Entrée $\rightarrow$ Caché $\rightarrow$ Sortie, mais ne reviennent jamais en arrière).
• Le Problème : L'ancienne méthode EP échoue dans ces systèmes. Elle essaie d'utiliser les mathématiques de la « colline » sur une « rivière », et les calculs d'apprentissage deviennent faux. Le robot apprend les mauvaises leçons.

La Solution : Deux nouvelles méthodes

Les auteurs proposent deux nouvelles façons de corriger cela, permettant à la méthode de « Propagation de l'Équilibre » de fonctionner sur ces systèmes à sens unique et non symétriques.

1. AsymEP (EP Asymétrique) : La « Correction Locale »

Imaginez que vous essayiez d'équilibrer une balance, mais que quelqu'un ajoute secrètement du poids d'un côté (la partie non symétrique). L'ancienne méthode ignore simplement cela et essaie de l'équilibrer quand même, ce qui échoue.

AsymEP ajoute un petit « contrepoids » local à la balance.

• Comment ça marche : Pendant la phase « Stimulée » (lorsque le robot est poussé vers la bonne réponse), l'algorithme ajoute un terme de correction spécial. Ce terme est calculé en fonction de la manière dont les connexions sont « déséquilibrées » ou « non symétriques ».
• L'Analogie : C'est comme un cycliste qui roule avec un pneu crevé. L'ancienne méthode se contente de lui dire de pédaler plus fort. AsymEP ajoute un petit ajustement local au guidon pour compenser le pneu crevé, lui permettant de rouler droit et d'apprendre correctement.
• Résultat : Cela permet au système de calculer le gradient exact (la bonne leçon) même lorsque les connexions sont unidirectionnelles.

2. Dyadic EP (EP Dyadique) : L'approche du « Double Cerveau »

Si l'AsymEP est une correction locale, l'EP Dyadique est un changement architectural plus important.

• L'Analogie : Imaginez que vous avez une machine complexe qui ne fonctionne que si vous avez deux copies identiques de celle-ci tournant côte à côte. Une copie représente le flux « avant » (forward), et l'autre représente le flux « arrière » (backward).
• Comment ça marche : L'algorithme double le nombre de variables du système. Il crée un nouvel « paysage énergétique » plus large où les deux copies interagissent. Dans cet espace doublé, la rivière désordonnée et unidirectionnelle du système d'origine se transforme à nouveau en une colline symétrique et lisse.
• Le Résultat : Comme les mathématiques travaillent désormais sur ce système « doublé », l'apprentissage est parfait. C'est un peu comme utiliser un miroir pour faire en sorte qu'une rue à sens unique ressemble à une rue à double sens afin de pouvoir appliquer les règles de circulation standards.

Ce qu'ils ont testé (Les Expériences)

Les auteurs n'ont pas seulement fait des mathématiques ; ils ont testé ces idées sur de réelles tâches de reconnaissance d'images (comme identifier des chiffres manuscrits ou des vêtements).

1. Départ Symétrique : Ils ont commencé avec des réseaux qui étaient symétriques (comme l'ancien EP). L'AsymEP a appris plus vite et a obtenu de meilleurs résultats que les anciennes méthodes.
2. Asymétrie Forcée : Ils ont forcé les réseaux à être très « unidirectionnels » (hautement asymétriques).
   • L'ancienne méthode (Vector Field) a échoué lamentablement, obtenant des résultats qui n'étaient pas meilleurs qu'un choix aléatoire.
   • L'AsymEP a continué de fonctionner parfaitement, même lorsque le réseau était complètement unidirectionnel.
3. Réseaux Feedforward : C'est la grande victoire. L'IA moderne (comme celle de votre téléphone) est généralement « feedforward » (strictement unidirectionnelle). L'ancien EP ne pouvait pas entraîner ces réseaux du tout. L'AsymEP a réussi à entraîner ces réseaux, prouvant qu'il peut gérer l'architecture utilisée dans la plupart des IA modernes.
4. Apprentissage Profond (Deep Learning) : Ils ont testé sur un ensemble de données complexe (CIFAR-10) avec un réseau profond. L'AsymEP et l'EP Dyadique ont obtenu des performances presque identiques à la méthode standard de « Backpropagation », qui est la référence absolue.

Résumé

• Le Problème : La méthode d'apprentissage « Équilibre de Propagation » ne fonctionnait que sur des systèmes symétriques, mais les IA et les systèmes physiques sont souvent asymétriques (unidirectionnels).
• La Correction : Les auteurs ont créé l'AsymEP (qui ajoute une correction locale à la règle d'apprentissage) et l'EP Dyadique (qui double la taille du système pour faire fonctionner les mathématiques).
• Le Résultat : Ces nouvelles méthodes permettent à ce style d'apprentissage physique et « compatible avec le cerveau » de fonctionner sur les mêmes types de réseaux que l'IA moderne, atteignant des résultats aussi bons que les méthodes standards, plus difficiles à mettre en œuvre.

En bref, ils ont trouvé comment enseigner à une machine physique en utilisant la « relaxation » et des « stimulations locales », même lorsque le câblage interne de la machine est strictement unidirectionnel.

Résumé technique

Résumé technique : Propagation de l'équilibre pour les systèmes non conservatifs

1. Énoncé du problème

L'optimisation standard des réseaux de neurones repose sur la rétropropagation de l'erreur, ce qui nécessite une passe arrière distincte, une transmission de signaux d'erreur non locale et un stockage explicite des gradients. Ces contraintes sont difficiles à concilier avec la plausibilité biologique et les implémentations physiques (par exemple, le matériel neuromorphique ou analogique), qui opèrent généralement par des interactions locales et une relaxation continue.

La propagation de l'équilibre (Equilibrium Propagation - EP) offre une alternative prometteuse en formulant l'apprentissage comme un contraste entre deux états stationnaires d'un système dynamique : une phase « libre » et une phase « perturbée » (nudged). Cependant, la formulation originale de l'EP est restreinte aux systèmes conservatifs, où la dynamique dérive d'une fonction d'énergie, imposant des interactions symétriques (par exemple, $J_{ij} = J_{ji}$). Cette limitation empêche l'application de l'EP à une large classe de modèles caractérisés par des forces non conservatives et des interactions non réciproques, notamment :

• Les architectures de type feedforward modernes (dominantes en IA).
• Les circuits biologiques.
• Les systèmes physiques loin de l'équilibre thermodynamique (par exemple, les systèmes optiques non linéaires, la matière active, les condensats d'excitons-polaritons).

Les tentatives précédentes de généralisation de l'EP aux systèmes non conservatifs, telles que l'algorithme du Champ de Vecteurs (Vector Field - VF), échouent à calculer le gradient exact de la fonction de coût. Elles fournissent un gradient non biaisé uniquement dans la limite conservative ; à mesure que la partie antisymétrique du Jacobien augmente, l'erreur d'estimation du gradient croît, pouvant mener à un échec de l'optimisation (par exemple, maximiser le coût plutôt que de le minimiser).

2. Méthodologie

Les auteurs proposent deux cadres mathématiquement équivalents pour étendre l'EP aux systèmes non conservatifs arbitraires : l'EP Asymétrique (AsymEP) et l'EP Dyadique. Les deux méthodes conservent le principe central de l'EP utilisant les états stationnaires pour l'inférence et l'apprentissage, mais modifient la dynamique pour récupérer le gradient exact.

2.1 EP Asymétrique (AsymEP)

L'AsymEP préserve la dynamique d'inférence originale mais introduit un terme correctif local lors de la phase « perturbée ».

• Mécanisme : Dans la phase perturbée, le système évolue sous un champ de force augmenté. Ce champ inclut la force originale $F$, le terme de perturbation standard $-\beta \frac{\partial C}{\partial x}$, et un nouveau terme de correction proportionnel à la partie antisymétrique du Jacobien ($A_J$) à l'équilibre libre :
  $$\frac{dx}{dt} = F(x, \theta) - \beta \frac{\partial C}{\partial x} - 2A_J(x_0, \theta)(x - x_0)$$
• Récupération du gradient : Cette correction transpose efficacement le Jacobien dans la règle d'apprentissage, garantissant que la différence entre l'état stationnaire perturbé et l'état libre produit le terme postsynaptique exact requis pour le véritable gradient.
• Localité : Le terme de correction est spatialement local car $A_J$ s'annule pour les neurones non connectés, et la différence d'état $(x - x_0)$ est disponible au niveau de la synapse.

2.2 EP Dyadique

L'EP Dyadique est une approche variationnelle qui projette la dynamique non conservative sur un système conservatif en doublant l'espace d'états.

• Mécanisme : Le système original à $n$ variables est projeté sur un système à $2n$ variables $(z, z')$ défini par une fonction d'énergie $H(z, z', \theta)$ et une fonction de coût $D(z, z')$. La fonction d'énergie est construite de telle sorte que la dynamique originale soit récupérée sur la diagonale ($z=z'$), tandis que la direction hors-diagonale encode les forces non réciproques.
  $$H(z, z', \theta) = -(z - z')^\top F\left(\frac{z + z'}{2}, \theta\right)$$
• Apprentissage : Le système évolue vers un point de selle de l'énergie augmentée $H_T = H + \beta D$. La différence $z_\beta - z'_\beta$ sert de signal d'erreur.
• Relation avec l'AsymEP : L'AsymEP peut être vue comme la projection du premier ordre de l'EP Dyadique sur l'espace d'origine de dimension $n$. L'EP Dyadique permet une exécution parallèle des phases de perturbation positive et négative mais nécessite de doubler les degrés de liberté physiques.

3. Contributions Clés

1. Calcul du Gradient Exact : Le papier fournit le premier cadre permettant de calculer le gradient exact de la fonction de coût pour des systèmes dynamiques non conservatifs arbitraires via la propagation de l'équilibre, surmontant les limites de l'algorithme du Champ de Vecteurs (VF).
2. Deux Généralisations : Il introduit l'AsymEP (une modification directe de la dynamique avec une correction locale) et l'EP Dyadique (un doublement variationnel de l'espace d'états), prouvant leur équivalence dans la limite d'une perturbation infinitésimale.
3. Capacité Feedforward : Ces méthodes permettent l'entraînement de réseaux purement feedforward, un scénario où les méthodes précédentes basées sur l'EP (comme VF) échouent car elles ne peuvent pas propager les signaux d'erreur vers l'arrière sans connexions de retour explicites.
4. Unification Théorique : Le travail démontre que le principe variationnel derrière l'EP est universel et peut être appliqué aux forces non réciproques en étendant l'espace d'états ou en modifiant la dynamique, comblant ainsi le fossé entre les modèles basés sur l'énergie et les systèmes dynamiques généraux.

4. Résultats Expérimentaux

Les auteurs valident leur cadre sur MNIST, Fashion-MNIST et CIFAR-10 en utilisant des réseaux de Hopfield continus et des architectures convolutionnelles.

• Initialisation Symétrique : Sur MNIST avec une initialisation symétrique, l'AsymEP atteint une précision plus élevée et apprend plus rapidement que l'EP standard et l'algorithme du Champ de Vecteurs (VF).
• Asymétrie Structurelle : Lorsque le réseau est contraint par un degré élevé d'asymétrie structurelle (où l'EP est inapplicable et où le VF se dégrade) :
  • Performance de VF : La performance de VF s'effondre à mesure que l'asymétrie augmente, chutant à des niveaux de hasard (par exemple, ~10 % de précision sur MNIST à haute asymétrie).
  • Performance de l'AsymEP : L'AsymEP maintient une performance robuste à travers tous les niveaux d'asymétrie, y compris pour des matrices de connexion complètement antisymétriques.
• Architectures Feedforward :
  • Dans un contexte purement feedforward, le VF n'entraîne efficacement que la dernière couche (agissant comme une Machine à Apprentissage Extrême), entraînant une faible performance (~64 % sur MNIST).
  • L'AsymEP parvient à entraîner toutes les couches, atteignant ~92,7 % de précision sur MNIST.
• Réseaux Profonds (CIFAR-10) : Sur un réseau convolutionnel profond entraîné sur CIFAR-10, l'AsymEP et l'EP Dyadique suivent de près la performance de la rétropropagation (BP), atteignant respectivement ~89,7 % et ~90,7 %, contre 90,7 % pour la BP. En revanche, le VF s'effondre vers un niveau de hasard.
• Stabilité : Les expériences suggèrent que les dynamiques non conservatives entraînées avec l'AsymEP peuvent supprimer les oscillations et rester stables, même sous une forte asymétrie et des projections d'entrée contraintes.

5. Signification et Revendications

Les auteurs affirment que ce travail ouvre de nouvelles voies pour l'apprentissage dans le matériel neuromorphique, les systèmes physiques dissipatifs et les architectures neurales où l'asymétrie est intrinsèque plutôt qu'incidente.

• Implémentabilité Physique : En supprimant l'exigence de symétrie des poids et les passes arrière explicites, les algorithmes proposés sont plus compatibles avec les substrats physiques (par exemple, memristors, systèmes optiques, matière active) qui présentent naturellement des dynamiques non conservatives.
• Plausibilité Biologique : Les méthodes reposent sur des interactions locales et une relaxation continue, offrant un mécanisme plus biologiquement plausible pour l'attribution de crédit par rapport à la rétropropagation.
• Universalité : La formulation de l'EP Dyadique suggère que les principes variationnels de la propagation de l'équilibre sont universels, applicables à tout réseau opérant dans un état stationnaire, indépendamment du fait que les forces sous-jacentes soient conservatives ou non conservatives.

Le papier conclut que bien que l'AsymEP introduise une force de correction locale qui peut nécessiter des mécanismes physiques spécifiques pour son implémentation, et que l'EP Dyadique nécessite de doubler l'espace d'états, les deux offrent une voie théorique et pratique rigoureuse pour l'entraînement de systèmes non conservatifs avec des gradients exacts.