Entangling power of neural networks

Imaginez que vous essayez de décrire un puzzle massif et complexe à un ami, mais que vous ne pouvez lui envoyer que deux petites enveloppes séparées. Une enveloppe contient les pièces du côté gauche du puzzle, et l'autre contient les pièces du côté droit. La grande question en science est la suivante : de quelle quantité d'informations devez-vous remplir ces deux petites enveloppes pour que, lorsque votre ami les assemblera, il puisse reconstruire parfaitement l'image entière ? Dans le monde de la physique quantique, c'est comme essayer de comprendre comment deux particules distantes sont « intriquées » — une connexion étrange où l'état de l'une affecte instantanément l'autre, peu importe la distance qui les sépare. Les scientifiques savent depuis longtemps que pour certains de ces puzzles quantiques, les « enveloppes » doivent être incroyablement grandes pour contenir tous les détails nécessaires. Mais et si la façon dont vous remettez les pièces ensemble n'était pas un simple travail d'empilement ? Et si la personne qui réassemble le puzzle possédait un cerveau surpuissant et non linéaire, capable de regarder les deux petites enveloppes et de deviner magiquement l'image entière ? C'est le mystère qu'une équipe de physiciens de l'MIT, de Harvard et de Caltech a décidé de résoudre. Ils voulaient savoir si l'utilisation d'un type particulier de « cerveau » mathématique — un réseau de neurones — pouvait réduire ces enveloppes géantes en quelque chose de gérable, même pour les connexions quantiques les plus compliquées.

L'article, intitulé « Entangling power of neural networks », introduit une nouvelle façon de mesurer à quel point un réseau de neurones est doué pour ce tour de réassemblage. Les auteurs, Taige Wang, Nisarga Paul et Liang Fu, proposent un concept qu'ils appellent « puissance d'intrication » (entangling power). Voyez le réseau de neurones comme un processus en deux étapes : d'abord, deux « encodeurs » prennent les données des côtés gauche et droit et les compressent dans un « espace latent » partagé et restreint (comme presser une grande valise pour la faire tenir dans un petit sac à dos). Ensuite, un « décodeur » prend ces deux sacs à dos et tente de reconstruire la fonction ou la fonction d'onde originale. Autrefois, les scientifiques regardaient principalement combien d'éléments se trouvaient dans les sacs à dos (le « rang de Schmidt ») pour deviner la complexité de la connexion. Mais cet article soutient que le type de décodeur compte tout autant. Si le décodeur est un outil linéaire simple (comme une calculatrice de base), il ne peut pas faire beaucoup de magie. Cependant, si le décodeur est un polynôme « non linéaire » — une fonction mathématique sophistiquée capable de tordre et de faire pivoter les données — il peut générer une quantité massive d'intrication à partir d'un sac à dos étonnamment petit.

Les chercheurs ont calculé exactement la puissance de ces décodeurs polynomiaux. Ils ont découvert que la capacité à générer de l'intrication dépend de deux choses : la taille de l'espace latent (appelons-la $K$, la largeur du sac à dos) et la complexité du décodeur (appelons-la $p$, le degré du polynôme). Leur conclusion principale est une formule montrant que la puissance d'intrication, $E_p(K)$, est égale à $\binom{K+p}{p}$. Cela peut ressembler à une équation mathématique effrayante, mais le résultat est époustouflant : même avec un sac à dos de taille très modeste (un petit $K$), si vous utilisez un décodeur doté d'une complexité décente (un $p$ élevé), le réseau peut gérer un nombre astronomique de connexions.

Pour prouver cela, les auteurs ont examiné un état « maximalement intriqué », qui est comme le puzzle le plus compliqué imaginable (plus précisément, $n$ paires de Bell, où le nombre de configurations est $D = 2^n$). Habituellement, représenter cet état nécessite un sac à dos dont la taille croît exponentiellement avec le nombre de particules. Mais l'article montre que si vous utilisez un décodeur polynomial, vous pouvez réduire considérablement la taille de ce sac à dos. Par exemple, si vous utilisez un décodeur de degré $p = n$ (où $n$ est le nombre de particules), vous n'avez besoin que d'une largeur d'espace latent d'environ $0,29n$. Plus surprenant encore, si vous laissez le décodeur devenir très complexe (degré $p \ge 2n - 1$), vous pouvez compresser l'état maximalement intriqué entier dans une seule variable ($K=1$). L'article fournit une preuve mathématique rigoureuse, montrant que toute fonction peut être représentée exactement tant que le nombre de combinaisons polynomiales possibles est supérieur au nombre de configurations à décrire.

Les auteurs précisent également ce que cela ne signifie pas. Ils soulignent que, bien que l'on puisse théoriquement compresser n'importe quelle fonction dans un espace minuscule si le décodeur est suffisamment complexe, la construction de ce décodeur lui-même pourrait devenir impossibles. Dans leur exemple de l'état « maximalement intriqué », ils montrent que compresser l'état à $K=1$ nécessite un décodeur de degré $D-1$ (ce qui est énorme). Il y a donc un compromis : vous pouvez rendre le sac à dos minuscule, mais les « instructions de réassemblage » (le décodeur) deviendront beaucoup plus longues et complexes. L'article établit que les réseaux de neurones, avec leurs décodeurs non linéaires, possèdent une « puissance d'intrication exponentielle » avec des ressources modestes, ce qui signifie qu'ils sont bien plus efficaces pour capturer les corrélations quantiques complexes que ce que l'on pensait auparavant, à condition d'utiliser un décodeur suffisamment complexe. Ce travail ne s'applique pas seulement à la physique quantique ; il offre un nouveau cadre pour comprendre comment les modèles d'apprentissage automatique gèrent les corrélations en général, suggérant que la « non-linéarité » de nos modèles d'IA est un super-pouvoir pour compresser l'information que les méthodes linéaires ne peuvent tout simplement pas égaler.