Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference

Au XIXe siècle, les scientifiques ont commencé à comprendre que la chaleur et le mouvement sont profondément liés, une réalisation qui a conduit à l'invention du moteur thermique. Ces machines, des moteurs à vapeur aux moteurs de voitures modernes, fonctionnent en faisant passer une substance par un cycle de chauffage et de refroidissement, d'expansion et de compression, afin de transformer l'énergie thermique en un travail mécanique utile. Ce domaine, connu sous le nom de thermodynamique, décrit comment l'énergie circule et change de forme dans les systèmes physiques. Des décennies plus tard, une science d'un autre genre est apparue pour résoudre des problèmes complexes en statistiques et en intelligence artificielle. Ce domaine repose sur une méthode appelée Monte Carlo par chaînes de Markov, ou MCMC, qui utilise l'échantillonnage aléatoire pour explorer de vastes paysages de possibilités et trouver les réponses les plus probables à des questions difficiles. Bien qu'un domaine étudie la physique des moteurs et l'autre la logique des données, ils ont longtemps été considérés comme des mondes séparés.

Une équipe de chercheurs a maintenant construit un pont entre ces deux mondes, montrant que l'échantillonnage aléatoire utilisé dans l'analyse de données peut être considéré comme un processus thermodynamique. Ils ont découvert qu'en contrôlant soigneusement la « température » et les forces externes agissant sur un modèle statistique, ils pouvaient faire fonctionner l'algorithme d'échantillonnage selon un cycle, tout comme un moteur thermique. Dans leurs expériences, ils ont découvert une règle surprenante : si les données analysées suivent un motif simple en forme de cloche, le cycle ne produit aucun travail net. Cependant, si les données sont plus complexes et irrégulières, le cycle génère une quantité mesurable de travail. Cette découverte suggère que la capacité d'un moteur statistique à produire du travail est une mesure directe de la complexité ou du caractère « non gaussien » des données sous-jacentes, offrant un nouveau moyen de diagnostiquer la forme de l'incertitude dans les modèles scientifiques.

Les chercheurs, travaillant à l'intersection des mathématiques et de la physique, ont commencé par réimaginer le fonctionnement de ces algorithmes d'échantillonnage. Normalement, un algorithme MCMC agit comme un marcheur aléatoire explorant un paysage, acceptant ou rejetant des étapes en fonction d'une probabilité qui dépend d'un paramètre appelé température. Une température élevée permet au marcheur de franchir des collines et d'explorer largement, tandis qu'une température basse le maintient concentré dans les vallées les plus profondes. L'équipe a réalisé qu'ils pouvaient traiter cette température comme un cadran qu'ils pouvaient tourner vers le haut ou vers le bas pendant l'exécution. Ils ont également introduit un second cadran, qu'ils ont appelé une « source », qui agit comme une force externe poussant le marcheur dans une direction spécifique. En tournant ces deux cadrans selon une séquence spécifique — réchauffer le système, le pousser, le refroidir et le ramener — ils ont créé une boucle fermée, un cycle qui imite les quatre étapes d'un moteur de Stirling classique.

Pour que cela fonctionne, ils ont dû s'assurer que les changements se produisaient suffisamment lentement pour que le système reste en équilibre, un concept connu sous le nom de quasi-statique. Imaginez un piston se déplaçant si lentement que le gaz à l'intérieur a le temps de se stabiliser à chaque instant ; s'il se déplace trop vite, le gaz devient turbulent et le processus devient désordonné. Les chercheurs ont programmé leur algorithme pour ajuster leurs cadrans avec ce même soin, garantissant que les marcheurs aléatoires restaient dans un état d'équilibre à mesure que les conditions changeaient. Ils ont ensuite exécuté ces cycles sur différents types de modèles mathématiques pour voir ce qui se passerait. Lorsqu'ils ont utilisé un modèle produisant une courbe parfaitement lisse en forme de cloche, le cycle a complété sa boucle sans gain net. L'énergie injectée pour chauffer et pousser le système était exactement équilibrée par l'énergie libérée lorsqu'il était refroidi et ramené en place. Le moteur tournait, mais il ne produisait aucun travail.

L'histoire a changé lorsqu'ils sont passés à un modèle plus compliqué, ressemblant à une vallée courbe avec un côté escarpé, connu sous le nom de fonction de Rosenbrock. Cette forme est courante dans les problèmes du monde réel où les variables sont liées de manière non linéaire. Lorsqu'ils ont exécuté le même cycle thermodynamique sur ce paysage irrégulier, le résultat fut différent. Le système produisait désormais une quantité nette de travail. Les chercheurs ont découvert que la quantité de travail générée était directement liée à la mesure dans laquelle la forme des données déviait de cette simple courbe en cloche. Plus le paysage était irrégulier et complexe, plus le cycle pouvait extraire de travail. Cela a conduit à une intuition fondamentale : la capacité de ce moteur statistique à produire du travail est un indicateur précis de savoir si les données sont simples et gaussiennes ou complexes et non gaussiennes.

Pour prouver qu'il ne s'agissait pas seulement d'une curiosité mathématique, l'équipe a appliqué sa méthode à un problème réel en cosmologie. Ils ont utilisé l'algorithme pour analyser les données des supernovas de type Ia, qui sont utilisées pour mesurer l'expansion de l'univers. L'objectif était de déterminer les valeurs de deux paramètres cosmologiques clés. Lorsqu'ils ont exécuté le cycle sur les données réelles, le système a produit une quantité de travail nette et non nulle. Ce résultat a confirmé que la distribution statistique des paramètres cosmologiques était effectivement non gaussienne, ce qui signifie que l'incertitude des mesures n'était pas une simple cloche symétrique, mais possédait une forme plus complexe. Lorsqu'ils ont testé le même cycle sur une version simplifiée et gaussienne des données, la production de travail a disparu, exactement comme leur théorie le prédisait.

Les chercheurs reconnaissent que cette méthode est actuellement trop lente pour être utilisée comme un outil standard de vérification de la forme des données, car elle nécessite d'exécuter des milliers de simulations pour obtenir un signal clair. Un moyen plus simple et plus rapide de vérifier la non-gaussianité existe en examinant simplement les échantillons directement. Cependant, la valeur de ce travail réside dans la perspective nouvelle qu'il offre. Il démontre que les outils de la thermodynamique peuvent être appliqués au monde abstrait de l'inférence bayésienne, révélant que le « travail » accompli par un algorithme d'échantillonnage est une manifestation physique de la complexité des données qu'il tente de comprendre. En traitant l'inférence statistique comme un processus thermodynamique, les chercheurs ont montré que l'acte même de chercher des réponses dans un paysage complexe peut être mesuré par l'énergie nécessaire pour le traverser.