🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

Cet article démontre que si l'inférence quasi statique dans les réseaux de neurones physiques n'entraîne aucun coût thermodynamique, l'apprentissage des paramètres comporte une dépense énergétique irréductible, établissant que le prix thermodynamique fondamental du calcul neuronal est déterminé par le stockage de la mémoire plutôt que par le traitement arithmétique.

Auteurs originaux : Alexei Tkachenko

Publié 2026-08-18

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexei Tkachenko

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Chaque fois qu'un ordinateur résout un problème ou apprend un nouveau motif, il consomme de l'énergie. Nous le voyons à travers les centrales électriques massives qui alimentent nos centres de données et la chaleur qui émane de nos ordinateurs portables. Depuis des décennies, les scientifiques se demandent si une partie de ce coût énergétique est simplement un défaut de notre technologie actuelle, ou s'il s'agit d'une loi fondamentale de la nature à laquelle aucune machine ne pourra jamais échapper. La réponse standard pour les ordinateurs numériques provient d'une règle appelée le principe de Landauer. Elle stipule que si une machine efface une information, elle doit libérer une quantité infime et inévitable de chaleur. Cette règle s'applique aux commutateurs binaires à l'intérieur de nos processeurs, où l'information est stockée sous forme d'états distincts et stables comme « on » ou « off ». Cependant, de nombreux chercheurs construisent actuellement un type différent d'ordinateur. Il s'agit de réseaux neuronaux physiques, des dispositifs faits de lumière, de pièces mécaniques ou de circuits électroniques qui calculent en se relaxant vers un état d'équilibre, un peu comme une balle roulant le long d'une colline pour trouver le point le plus bas. Parce que ces machines ne reposent pas sur le basculement de commutateurs rigides, les anciennes règles concernant l'effacement de bits pourraient ne pas s'appliquer à elles de la même manière. La question est de savoir si ces nouvelles machines peuvent calculer et apprendre avec presque aucune énergie, ou si elles sont également liées par une limite physique stricte.

Un chercheur du Laboratoire national de Brookhaven a maintenant cartographié précisément la quantité d'énergie que ces réseaux physiques requièrent. Il n'a pas construit de dispositif physique en laboratoire ; au lieu de cela, il a créé un modèle mathématique détaillé qui traite un réseau neuronal comme un système de ressorts et de poids. Dans son modèle, les connexions entre les couches du réseau ne sont pas des instructions rigides mais des contraintes élastiques, comme des ressorts qui tirent le système vers une forme spécifique. Lorsqu'on donne une entrée au réseau, celui-ci se relaxe simplement dans la forme qui satisfait tous les ressorts à la fois. Cette approche a permis au scientifique de calculer le coût énergétique de deux processus distincts : l'inférence, qui est l'acte de résoudre un problème, et l'apprentissage, qui est l'acte d'entraîner la machine pour qu'elle devienne meilleure pour résoudre des problèmes. Leurs découvertes révèlent une division surprenante dans la physique de ces machines. Ils ont découvert que l'acte de penser, ou l'inférence, peut théoriquement être réalisé avec zéro énergie si la machine se déplace suffisamment lentement. Le coût n'apparaît que lorsque la machine est forcée de se déplacer rapidement. En revanche, l'acte d'apprentissage porte un prix énergétique permanent qui ne peut être évité, peu importe la lenteur avec laquelle la machine opère.

Le chercheur a trouvé que pour l'inférence, le coût énergétique n'est pas déterminé par le nombre de connexions ou de « poids » à l'intérieur du réseau, comme c'est le cas pour les ordinateurs numériques. Au lieu de cela, le coût dépend de la largeur du réseau, ou du nombre de neurones actifs à un instant donné. Si la machine est autorisée à se relaxer lentement, passant d'une entrée à la suivante à un rythme paisible, elle ne nécessite aucun travail. C'est parce que la machine est toujours dans un état d'équilibre, glissant le long d'une vallée d'énergie lisse sans jamais avoir à grimper une colline ou à effacer une mémoire. Le seul moment où de l'énergie est dépensée est lorsque la machine est poussée à se déplacer plus rapidement que sa vitesse naturelle de relaxation. Dans ce régime rapide, l'énergie requise est proportionnelle à la distance que la machine doit parcourir dans son espace d'états, divisée par le temps qu'elle met pour le faire. Les simulations ont montré que même à la vitesse la plus utile, le coût énergétique est remarquablement bas, équivalant environ à l'énergie thermique de l'environnement pour chaque dimension de la couche la plus large du réseau. Cela signifie que le coût est proportionnel à la taille de la largeur du réseau, et non à sa complexité totale. Pour un réseau d'un million de neurones actifs, le coût énergétique est d'environ un million de fois la minuscule énergie thermique d'une particule, un chiffre des milliards de fois inférieur à ce que consomment les matériels numériques actuels.

L'apprentissage, cependant, raconte une histoire différente. Lorsque la machine est entraînée, l'entrée et la sortie souhaitée sont imposées au système en même temps. Cela crée un conflit, ou une tension, au sein des ressorts du réseau, car les réglages actuels ne peuvent satisfaire simultanément l'entrée et la cible. Pour apprendre, la machine doit ajuster ses poids internes pour relâcher cette tension. Le chercheur a découvert que ce processus d'ajustement des poids entraîne un coût énergétique irréductible. Contrairement à l'inférence, ce coût ne disparaît pas même si l'entraînement est effectué de manière infiniment lente. Chaque fois qu'un poids est modifié, une petite quantité d'énergie est dissipée sous forme de chaleur, soit environ quelques fois l'énergie thermique de l'environnement par paramètre. Ce coût est engagé une seule fois pour l'ensemble des paramètres qui définissent la connaissance de la machine. Il ne dépend pas du nombre d'exemples que la machine voit pendant l'entraînement, mais plutôt du nombre de poids qu'elle doit stocker. Cela contraste nettement avec l'entraînement numérique, où la machine doit effacer et réécrire l'information pour chaque exemple qu'elle voit, entraînant une facture énergétique massive qui augmente avec la taille du jeu de données.

Le chercheur a testé ces idées en simulant un petit réseau entraîné à reconnaître des chiffres manuscrits, une tâche standard en apprentissage automatique. Ils ont observé le comportement de la machine lorsqu'ils changeaient de chiffres et lorsqu'elle ajustait ses poids pour améliorer sa précision. Les résultats correspondaient parfaitement à leurs prédictions théoriques. Lorsqu'on demandait à la machine d'inférer un chiffre rapidement, l'énergie qu'elle consommait augmentait brusquement, et sa précision chutait à mesure que le travail effectué devenait comparable aux agitations aléatoires de la chaleur dans le système. Mais quand la machine était autorisée à se déplacer lentement, elle résolvait le problème avec presque aucune énergie, et sa précision restait élevée. Pendant l'entraînement, ils ont observé que l'énergie dépensée pour l'ajustement des poids suivait un schéma précis, confirmant qu'une petite quantité fixe de chaleur est libérée pour chaque unité d'apprentissage qui se produit. Les simulations ont montré qu'une fois que la machine avait appris la tâche, l'énergie requise pour maintenir cette connaissance était négligeable, mais l'énergie requise pour écrire cette connaissance pour la première fois était un coût fondamental et inévitable.

Ces découvertes suggèrent que le prix thermodynamique d'un réseau neuronal est dicté par sa mémoire plutôt que par son calcul. L'acte de calculer un résultat est presque gratuit, limité seulement par la vitesse à laquelle la machine est forcée de se déplacer. L'acte d'apprentissage, cependant, nécessite de payer une petite mais permanente taxe pour inscrire les paramètres dans la structure physique de la machine. Cette distinction offre une nouvelle perspective sur l'avenir de l'informatique. Alors que les machines numériques sont liées par le coût de l'effacement des bits pour chaque opération, les machines physiques pourraient potentiellement effectuer des calculs complexes avec une efficacité énergétique supérieure de plusieurs ordres de grandeur. L'écart restant entre le matériel actuel et ces limites théoriques n'est pas dû à un défaut des lois de la physique, mais plutôt aux inefficacités de nos matériaux et conceptions actuels. L'étude fournit une feuille de route claire de ce qui est possible, montrant que si nous pouvons construire des machines qui se relaxent véritablement dans leurs solutions, le coût énergétique de l'intelligence pourrait être réduit au strict minimum autorisé par l'univers.

Résumé technique : Coût thermodynamique de l'inférence et de l'apprentissage dans les réseaux de neurones physiques

Énoncé du problème
L'expansion rapide des réseaux de neurones profonds a entraîné une escalade des demandes énergétiques pour l'entraînement et l'inférence. Bien que les inefficacités matérielles actuelles soient bien documentées, une question fondamentale demeure : quels sont les coûts énergétiques intrinsèques à la computation neuronale elle-même, indépendamment des implémentations de dispositifs spécifiques ? Pour le matériel numérique, la référence thermodynamique standard est le principe de Landauer, qui assigne une dissipation minimale de $k_B T \ln 2$ par bit effacé pour les opérations logiquement irréversibles. Cependant, cette limite s'applique aux états porteurs d'information métastables ou multi-stables et ne contraint pas directement la computation analogique continue ou les systèmes physiques qui opèrent via la relaxation et l'équilibrage plutôt que par des portes numériques cadencées. L'article cherche à déterminer les limites thermodynamiques des réseaux de neurones physiques basés sur l'énergie, en traitant spécifiquement la quantité d'énergie requise pour l'inférence et l'apprentissage lorsqu'un réseau est modélisé comme un système physique régi par un Hamiltonien.

Méthodologie
L'auteur propose un cadre théorique qui intègre un réseau de neurones de type feedforward générique dans un Hamiltonien physique.

Intégration Hamiltonienne : Un réseau feedforward standard avec couches $x_n$ , poids $W_n$ et biais $b_n$ est mappé vers une fonction d'énergie élastique :
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
Ici, chaque relation de couche est traitée comme une contrainte de compatibilité élastique avec une rigidité $\kappa$ . L'état « feedforward » correspond à la variété d'énergie nulle ( $H=0$ ). Contrairement aux réseaux de Hopfield où les états sont des attracteurs, cette construction crée une variété de l'état fondamental hautement dégénérée où chaque entrée sélectionne un état unique compatible d'énergie nulle.
Dynamique : Le système évolue via une dynamique de Langevin suramortie ( $\dot{x}_n = -\mu \nabla_{x_n} H + \text{bruit}$ ).
Inférence vs Entraînement :
- Inférence : Modélisée comme la relaxation des variables cachées et de sortie vers la variété d'énergie nulle sous une entrée fixe.
- Entraînement : Modélisé comme un processus surcontraint où l'entrée et la sortie cible sont fixées, créant une déformation (perte/loss) qui conduit les mises à jour de paramètres via un équilibre de force mécanique (rétropropagation).
Limites Thermodynamiques : L'article dérive des limites exactes pour le travail requis pour conduire le système entre des états thermiques. Il utilise la distance Wasserstein-2 ( $W_2$ ) pour le transport optimal et la relaxe en une limite de géométrie informationnelle impliquant la divergence de Kullback-Leibler (KL) et la distance de Fisher-Rao.
Validation Numérique : Des simulations ont été réalisées sur un réseau physique minimal (architecture 64 $\to$ 20 $\to$ 10) entraîné sur le jeu de données de chiffres manuscrits (MNIST). Les simulations ont testé la dissipation de travail, les temps de relaxation et la précision sous diverses vitesses de protocole et températures.

Contributions clés et résultats

Inférence réversible dans la limite quasi-statique :
L'article prouve que l'énergie libre d'équilibre du réseau intégré est indépendante de l'entrée et de tous les paramètres (poids et biais) à toutes les températures. Par conséquent, le changement d'énergie libre ( $\Delta F$ ) pour toute transition d'entrée est exactement nul. Dans la limite quasi-statique (opération infiniment lente), l'inférence nécessite un travail nul. Cela contraste avec les systèmes numériques où la computation implique souvent l'effacement de bits ; ici, la computation est une réponse monostable et isostatique le long d'une variété d'énergie nulle, évitant ainsi le coût de Landauer.
Coût d'inférence à vitesse finie :
Pour une opération à vitesse finie, le travail requis est borné inférieurement par la distance Wasserstein-2 au carré entre les états thermiques initiaux et finaux, divisée par la durée du protocole $\tau$ .
- La limite est relaxée en une mesure entropique : $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , où $d$ est la largeur de la couche la plus large, $\tau_L$ est l'échelle de temps de diffusion, et $\Gamma_{inf}$ est un facteur de fidélité lié au rapport signal sur bruit.
- À la vitesse maximale utilisable (où $\tau \approx \tau_{inf}$ ), la fidélité et le temps de relaxation s'annulent, produisant un coût d'environ $k_B T$ par dimension de la couche la plus large.
- Crucialement, ce coût dépend de la largeur du réseau (nombre de neurones), et non du nombre de paramètres (synapses). Les simulations ont confirmé que le travail mesuré sature la borne de transport à moins de 4 %.
- La précision s'effondre lorsque le travail dissipé tombe en dessous de l'échelle thermique ( $k_B T$ ), confirmant que la fiabilité est déterminée par le rapport entre le travail et la distinguabilité thermique.
Coût irréductible de l'apprentissage :
L'apprentissage est fondamentalement différent de l'inférence. Parce que l'entraînement nécessite de modifier les paramètres (poids et biais), il porte un coût irréductible qui survit à la limite quasi-statique.
- Le coût total de l'entraînement se compose d'un terme de présentation de données (qui s'annule avec une présentation lente) et d'un terme d'recuit des paramètres.
- Le coût de recuit des paramètres est d'environ quelques $k_B T$ par paramètre pour l'ensemble de la session d'entraînement. Ce coût est engagé une seule fois pour établir la configuration des paramètres, contrairement au numérique qui paie un coût d'effacement pour chaque présentation de données.
- Le coût dépend du nombre de paramètres ( $N_\theta$ ) mais est indépendant de la taille du jeu de données dans la limite quasi-statique (contrairement aux références numériques qui augmentent avec $N_\theta \times \text{Taille du Dataset}$ ).
Comparaison avec les références numériques :
L'article compare ces limites physiques aux limites de Landauer pour le matériel numérique irréversible (arithmétique 16 bits).
- Inférence : Le coût physique ( $\sim d k_B T$ ) est de plusieurs ordres de grandeur inférieur à la référence Landauer numérique ( $\sim N_\theta k_B T$ ) car les réseaux physiques effectuent les multiplications via la géométrie plutôt que par des opérations discrètes.
- Entraînement : Le coût physique est une mise à jour de paramètre ponctuelle, tandis que l'entraînement numérique subit des coûts d'effacement pour chaque élément du jeu de données.
- Le Tableau 1 de l'article estime que l'inférence physique pourrait être $\sim 10^5$ fois plus efficace que la référence Landauer et $\sim 10^{13}$ fois plus efficace que les estimations du matériel actuel, tandis que l'entraînement physique offre un avantage similaire sur l'entraînement numérique en raison de l'absence de coûts d'effacement par jeton (token).

Signification et affirmations
L'article affirme avoir établi le prix thermodynamique fondamental de la computation neuronale, en distinguant les coûts de l'arithmétique (inférence) et de la mémoire (apprentissage).

Inférence : Le coût thermodynamique est dicté par la largeur du réseau et la vitesse d'opération, et non par son nombre de paramètres. Dans la limite idéale, la computation est gratuite ; le coût provient uniquement de la vitesse finie requise pour séparer le signal du bruit thermique.
Apprentissage : Le coût est dominé par l'aspect mémoire — l'écriture des paramètres. Ce coût est irréductible même dans la limite lente, mais il est amorti sur l'ensemble du jeu de données, ce qui le rend potentiellement beaucoup moins coûteux que l'entraînement numérique qui paie par exemple.
Physique vs Numérique : Le travail suggère que les réseaux de neurones physiques peuvent théoriquement surpasser les implémentations numériques non seulement par des améliorations d'ingénierie, mais parce qu'ils évitent le coût de Landauer fondamental associé à l'effacement de l'information pendant la computation. Le « prix thermodynamique » d'un réseau de neurones est donc davantage associé à sa mémoire (apprentissage) qu'à son arithmétique (inférence).

L'auteur note que ces bornes s'appliquent à des substrats idéaux ; les coûts du monde réel (conversion de données, contrôle, matériaux non idéaux) dominent actuellement. De plus, le modèle suppose une structure affine-plus-activation et n'aborde pas encore les mécanismes d'attention ou les coûts de stockage des poids après l'entraînement. Néanmoins, les résultats fournissent une base thermodynamique rigoureuse pour évaluer les futures architectures de calcul neuromorphiques et physiques.

Résumé technique : Coût thermodynamique de l'inférence et de l'apprentissage dans les réseaux de neurones physiques

Articles similaires