Quantum probability for statisticians; some new ideas

Pendant la majeure partie du siècle dernier, la science des statistiques s'est appuyée sur un cadre unique et rigide pour comprendre le hasard et l'incertitude. Ce cadre, connu sous le nom de probabilité classique, traite le monde comme une vaste bibliothèque de possibilités où chaque question a une réponse unique et fixe qui attend d'être découverte. Cela fonctionne magnifiquement pour compter les votes, prédire la météo ou analyser des essais médicaux, en supposant que les paramètres que nous étudions ne sont que des nombres dans un ensemble sans structure cachée. Cependant, une branche distincte de la science, la physique quantique, opère depuis longtemps selon un ensemble de règles différent. Dans le monde quantique, l'acte de poser une question peut changer la réponse, et deux questions différentes sur un même système peuvent être si profondément liées que connaître la réponse à l'une rend l'autre fondamentalement incertaine. Pendant longtemps, les statisticiens ont considéré ces règles quantiques comme des outils exotiques réservés uniquement au monde microscopique des atomes et des particules, pensant qu'elles n'avaient pas leur place dans le monde macroscopique des données humaines et de la prise de décision.

Cette séparation a créé un fossé dans notre compréhension. Alors que la physique quantique a révolutionné notre vision de l'univers, son langage mathématique est resté largement isolé du travail quotidien des statisticiens. Pourtant, des développements récents suggèrent que le comportement étrange des particules quantiques pourrait ne pas être une excentricité du très petit, mais plutôt le reflet de la manière dont nous, observateurs, recueillons et traitons l'information. Si les règles qui régissent le spin d'un électron sont en réalité des règles sur les limites de ce que nous pouvons savoir, alors ces mêmes règles pourraient s'appliquer à la façon dont nous analysons les données en médecine, en économie ou en intelligence artificielle. La question n'est plus de savoir si la mécanique quantique est réelle, mais si sa logique peut nous aider à donner plus de sens aux données complexes et bruitées qui définissent notre monde moderne.

Dans un nouvel article, Inge S. Helland, de l'Université d'Oslo, propose un pont audacieux entre ces deux mondes. Il soutient que les probabilités quantiques ne sont pas seulement destinées aux atomes ; elles peuvent servir de nouvel outil puissant pour les statisticiens. Helland fonde son argumentation sur un nouveau fondement pour la théorie quantique, un fondement qui dépouille la théorie de son mystère « étrange » pour la remplacer par une structure logique claire basée sur ce qu'un observateur peut réellement mesurer. Il suggère que l'univers est rempli de « variables théoriques » — des quantités qui existent dans un modèle mais qui ne nous sont pas toutes accessibles à la fois. Certaines de ces variables sont « accessibles », ce qui signifie que nous pouvons les mesurer avec une grande précision, tandis que d'autres sont « inaccessibles », cachées de la vue directe. Le cœur de son argument est que lorsque nous essayons de mesurer deux variables accessibles différentes qui sont profondément connectées, elles se comportent d'une manière que la statistique classique ne peut expliquer, mais que la probabilité quantique gère naturellement.

Pour rendre cela concret, Helland décrit une expérience de pensée impliquant un essai médical avec quatre traitements différents pour une éruption cutanée. Imaginez un patient qui reçoit un traitement sur le côté gauche de son dos et un mélange des trois autres sur le côté droit. L'objectif est de voir quel côté s'améliore le plus. Dans une vue classique, nous pourrions supposer que nous pouvons calculer la probabilité exacte qu'un côté gagne en fonction des forces cachées des quatre traitements. Cependant, Helland montre que si nous traitons la situation comme un problème quantique, où la « question » que nous posons (quel côté est le meilleur) dépend d'une « question » précédente (comment les traitements ont été mélangés), la réponse change. Il calcule que sous un ensemble spécifique de symétries, la probabilité d'un certain résultat passe d'une estimation classique d'environ 43 % à une estimation quantique de exactement 33 %. Ce n'est pas seulement un tour de passe-passe mathématique ; cela suggère que lorsque nos données sont limitées ou que nos paramètres sont complexes, l'approche quantique offre une façon plus robuste de définir nos croyances initiales, ou « priors », avant même de voir les résultats.

L'article va plus loin en montrant comment ces idées peuvent simplifier des problèmes de données complexes, particulièrement dans le domaine de l'apprentissage automatique. Dans l'intelligence artificielle moderne, les ordinateurs sont souvent confrontés à des difficultés lorsqu'ils font face à des milliers de variables mais à seulement quelques points de données, une situation connue sous le nom de « malédiction de la dimensionnalité ». Helland démontre que les techniques mathématiques utilisées pour résoudre cela en physique quantique — spécifiquement, une méthode appelée réduction de modèle — peuvent être appliquées aux modèles statistiques. En traitant les couches cachées d'un réseau de neurones comme s'il s'agissait de systèmes quantiques, il montre que nous pouvons réduire le nombre de variables que nous devons suivre sans perdre d'informations importantes. Cette approche, qui est étroitement liée à une technique statistique appelée régression des moindres carrés partiels, permet aux chercheurs de trouver les schémas les plus essentiels dans un ensemble de données en se concentrant sur les variables « maximales » qui portent le plus d'informations, filtrant ainsi efficacement le bruit.

L'une des découvertes les plus significatives de l'article est la dérivation de la « règle de Born », la célèbre formule que les physiciens utilisent pour calculer la probabilité d'un événement quantique. Habituellement, cette règle est prise comme un postulat fondamental de la nature, quelque chose qui fonctionne, tout simplement. Helland, cependant, la dérive à partir d'un ensemble de principes logiques sur ce qu'un observateur peut savoir. Il soutient que si nous acceptons que nos connaissances sont limitées à ce que nous pouvons mesurer, et que nos mesures sont soumises à certaines symétries, la règle de Born émerge naturellement comme la seule façon logique d'assigner des probabilités. Cela déplace la perspective de la théorie quantique d'une description de la façon dont le monde « est » vers une description de ce que nous pouvons « savoir » sur le monde. Dans cette vue, les probabilités étranges de la mécanique quantique ne sont pas une propriété des particules elles-mêmes, mais un reflet de la structure de notre propre enquête.

Les implications pour les statistiques sont profondes. Helland suggère qu'en adoptant ces méthodes d'inspiration quantique, les statisticiens peuvent gérer des situations où les méthodes traditionnelles échouent, comme lorsque les données sont rares ou lorsque les variables sont profondément interconnectées. Il fournit une liste d'applications potentielles, allant de l'amélioration de la précision des algorithmes d'apprentissage automatique à l'affinement de l'interprétation des essais cliniques. L'article ne prétend pas que le monde entier est un ordinateur quantique, ni ne suggère que la statistique classique est obsolète. Au lieu de cela, il offre un nouveau prisme pour voir les données, un prisme qui reconnaît les limites de la connaissance humaine et utilise les outils mathématiques de la théorie quantique pour naviguer dans ces limites.

En fin de compte, ce travail est une invitation à repenser les fondements de la manière dont nous apprenons des données. Tout comme l'introduction de nouvelles structures mathématiques dans le passé a élargi les horizons de la physique, Helland soutient que l'apport de la probabilité quantique à la statistique peut enrichir le domaine, offrant des solutions à des problèmes qui ont longtemps semblé insolubles. L'article conclut sur une vision d'un futur où les cultures de la statistique et de la physique quantique ne sont plus séparées, mais font partie d'une compréhension unifiée de la façon dont nous observons, mesurons et comprenons le monde qui nous entoure. En traitant l'observateur non pas comme un enregistreur passif de faits, mais comme un participant actif dont les questions façonnent les réponses, nous pourrions trouver une façon plus précise et plus puissante de donner du sens aux données complexes qui dirigent notre société.