Résumé Technique : Propagation de l'Équilibre à Nudge Fini dans les Ensembles Thermiques

Énoncé du Problème

La Propagation de l'Équilibre (EP) et l'Apprentissage Contrastif Hebbien (CHL) offrent des alternatives biologiquement plausibles à la rétropropagation en utilisant des règles d'apprentissage locales basées sur la minimisation de l'énergie. Cependant, les formulations classiques de ces méthodes reposent sur deux hypothèses restrictives qui limitent leur applicabilité théorique et pratique :

1. La Limite Infinitésimale : L'EP traditionnelle exige que le « nudge » (le signal de supervision appliqué à la sortie) soit infinitésimal ($\beta \to 0$) pour récupérer le gradient exact de la perte supervisée. En pratique, un nudge fini est souvent nécessaire pour une stabilité de l'apprentissage, mais cela introduit un biais par rapport au vrai gradient.
2. Dynamique Déterministe : Les analyses classiques supposent souvent des dynamiques à température nulle où l'état du réseau s'effondre vers un unique minimum d'énergie déterministe. Cette idéalisation ne rend pas compte de la nature stochastique des circuits physiques ou biologiques et peine face aux paysages énergétiques non convexes où plusieurs minima locaux existent.

Par conséquent, le statut théorique de l'apprentissage à nudge fini dans les ensembles stochastiques et thermiques est resté incomplet, laissant ouverte la question de l'objectif global que ces règles d'apprentissage optimisent réellement.

Méthodologie

L'article reformule l'état du réseau non pas comme un point déterministe, mais comme une variable aléatoire distribuée selon une distribution de Gibbs-Boltzmann à température finie $T$. Le système est défini par une fonction d'énergie $E(\theta, s)$ et une perte dépendante de la tâche $\ell(s)$.

L'Objectif Contrastif Stochastique

L'auteur définit un nouvel objectif, l'Objectif Contrastif Stochastique $J(\theta)$, comme la différence de l'énergie libre de Helmholtz entre deux phases :

• Phase Libre ($\beta=0$) : Le réseau se relaxe sous l'effet de la seule fonction d'énergie $E(\theta, s)$.
• Phase Nudgée ($\beta=1$) : Le réseau se relaxe sous l'effet du noyau d'objectif $F(\theta, \beta, s) = E(\theta, s) + \beta\ell(s)$.

L'objectif est défini par :
$$J(\theta) \triangleq A(\theta, 1) - A(\theta, 0)$$
où $A(\theta, \beta) = -T \log Z_\beta(\theta)$ est l'énergie libre de Helmholtz et $Z_\beta$ est la fonction de partition.

Dérivations de Gradient

L'article établit deux représentations exactes pour le gradient $\nabla_\theta J(\theta)$ sans supposer un nudge infinitésimal ou une convexité :

1. Contraste d'Espérance (Théorème 3.1) :
   Le gradient est exactement la différence entre les dérivées de l'énergie locale attendues sous les distributions de Gibbs nudgée et libre :
   $$\nabla_\theta J(\theta) = \mathbb{E}_{s \sim \rho_1}[\nabla_\theta E(\theta, s)] - \mathbb{E}_{s \sim \rho_0}[\nabla_\theta E(\theta, s)]$$
   Cela prouve que la règle de mise à jour contrastive classique à deux phases effectue une descente de gradient exacte sur $J(\theta)$ pour toute température et toute force de nudge finie.

2. Covariance Intégrée (Théorème 3.4) :
   Le gradient peut également être exprimé comme une intégrale sur la force du nudge $\beta \in [0, 1]$ de la covariance entre la perte et le gradient de l'énergie :
   $$\nabla_\theta J(\theta) = -\frac{1}{T} \int_0^1 \text{Cov}_{s \sim \rho_\beta}[\ell(s), \nabla_\theta E(\theta, s)] \, d\beta$$
   Cette formulation généralise la règle d'EP infinitésimale (qui approxime cette intégrale via un développement de Taylor au premier ordre à $\beta=0$) à un nudge fini arbitraire.

Limites de Température Nulle et Variationnelles

• Limite de Température Nulle : Lorsque $T \to 0$, la théorie récupère la règle contrastive déterministe classique. Si le paysage énergétique présente plusieurs minima, le gradient converge vers une moyenne pondérée par la courbure des gradients à ces minima (approximation de Laplace), plutôt qu'une moyenne uniforme ou un minimum arbitraire.
• Interprétation Variationnelle : En utilisant le principe variationnel de Gibbs, l'objectif $J(\theta)$ est montré être un proxy régularisé de la perte supervisée. Il se décompose en l'espérance de la perte dans la phase nudgée plus un terme de divergence de Kullback-Leibler (KL) pénalisant la distance entre les distributions nudgée et libre :
  $$J(\theta) = \mathbb{E}_{s \sim \rho_1}[\ell(s)] + T \cdot \text{KL}(\rho_1 \parallel \rho_0)$$

Résultats Clés

L'auteur valide son cadre théorique par des expériences numériques sur le jeu de données Fashion-MNIST en utilisant un réseau à une couche avec des unités tanh.

1. Performance d'Entraînement :

   • EP Infinitésimale ($\beta=0.01$) : A échoué à apprendre, plafonnant près de la précision du hasard (20–30 %).
   • EP à Nudge Fini ($\beta=1.0$) : A rapidement atteint environ 80 % de précision de test, suivant de près la rétropropagation standard.
   • EP par Intégrale de Chemin : Une variante implémentant la règle de covariance intégrée a également obtenu une haute précision.

2. Rapport Signal sur Bruit (SNR) :

   • Pour de faibles forces de nudge ($\beta \lesssim 10^{-2}$), le signal de mise à jour était indiscernable du bruit d'échantillonnage.
   • À mesure que $\beta$ approchait 1,0, le SNR s'est amélioré d'un ordre de grandeur, démontrant que le nudge fini débloque un régime de signal inaccessible aux méthodes infinitésimales.

3. Alignement de Gradient :

   • La similitude cosinus entre la mise à jour contrastive pratique et le vrai gradient de l'énergie libre augmentait de manière monotone avec $\beta$, atteignant $\sim 0,5$ à $\beta=1,0$. Cela confirme que les nudges importants restent de type gradient par rapport à l'objectif thermodynamique.

4. Vérification Exacte :

   • Des expériences supplémentaires sur un ensemble de données plus petit (Digits) avec une marginalisation mathématique exacte (évitant le bruit MCMC) ont confirmé que l'identité du gradient est exacte à $\beta$ fini et que l'erreur relative entre les dérivées analytiques et numériques reste à la précision machine.

Signification et Revendications

L'article prétend résoudre l'incomplétude théorique de l'apprentissage contrastif dans les contextes stochastiques. Ses principales contributions sont :

• Découplage de la Limite Infinitésimale : Ce travail prouve que l'apprentissage à nudge fini n'est pas simplement une approximation biaisée de la rétropropagation, mais est une descente de gradient exacte sur une différence d'énergie libre de Helmholtz bien définie.
• Plausibilité Biologique : En validant la règle de mise à jour contrastive classique à deux phases comme un estimateur de gradient exact pour un nudge fini arbitraire, l'article renforce le cas des règles d'apprentissage locales qui ne nécessitent pas de transport de poids ou de perturbations infinitésimales, lesquels sont difficiles à concilier avec les contraintes biologiques.
• Gestion de la Non-Convexité et de la Stochasticité : Le cadre fournit une base rigoureuse pour l'apprentissage dans des paysages énergétiques non convexes à températures finies, montrant que la règle d'apprentissage reste bien définie même si les minima globaux ne sont pas uniques ou si le système opère dans un régime thermique.
• Avantage Pratique : Les résultats suggèrent que l'approximation du « petit nudge », souvent utilisée dans les analyses théoriques, est pratiquement préjudiciable en raison du bruit. Le nudge fini fournit un avantage de rapport signal sur bruit nécessaire pour un entraînement efficace.

L'auteur positionne ce travail comme une fondation de mécanique statistique qui unifie l'EP, le CHL et l'inférence variationnelle, liant la mécanique de l'apprentissage local à la minimisation de l'énergie libre et des coûts d'information.