Approximate Quantum State Preparation Through Proximal Policy Optimization

Le Défi du Lego Quantique

Imaginez que vous essayiez de construire une sculpture spécifique et incroyablement complexe à partir de briques Lego. Maintenant, imaginez qu'au lieu de simplement emboîter des blocs, chaque fois que vous ajoutez une pièce, la structure entière se déplace, pivote et change de couleur d'une manière qui défie la physique normale. C'est le monde de l'informatique quantique. Contrairement aux ordinateurs dans votre poche qui utilisent de simples interrupteurs marche/arrêt (bits), les ordinateurs quantiques utilisent des « qubits » qui peuvent exister dans de nombreux états à la fois. Pour que ces machines puissent faire quoi que ce soit d'utile, les scientifiques doivent d'abord effectuer une danse délicate appelée Préparation d'État Quantique (QSP). Considérez cela comme la phase de « mise en place » : vous partez d'une page blanche (tous à zéro) et vous devez tordre et tourner les qubits jusqu'à ce qu'ils forment un motif très spécifique et désiré.

Le problème est qu'à mesure que vous ajoutez des qubits, le nombre de façons de les disposer explose. C'est comme essayer de trouver la recette parfaite de Lego dans un univers où le nombre de recettes possibles croît plus vite que vous ne pouvez compter. Si vous vous trompez de recette, l'ordinateur quantique ne fonctionnera pas. Pendant des années, les humains ont essayé d'écrire ces recettes à la main, mais c'est comme essayer de résoudre un labyrinthe qui change constamment de forme. C'est là que l'Apprentissage par Renforcement intervient. Il s'agit d'un type d'intelligence artificielle qui apprend par essais et erreurs, un peu comme un chien qui apprend à s'asseoir pour obtenir une friandise. L'IA tente une action, reçoit une « récompense » si elle est proche du but, et une « punition » si elle est loin, comprenant ainsi lentement le meilleur chemin sans qu'un humain ne lui tienne la main.

L'histoire de l'article : Enseigner à un robot à construire des circuits quantiques

Dans cet article, Marco Mordacci et Michele Amoretti de l'Université de Parme proposent une nouvelle façon de résoudre ce puzzle de Lego. Ils ont construit un « agent » numérique (un cerveau de robot intelligent) en utilisant un type spécifique d'apprentissage par renforcement appelé Optimisation de Politique Proximale (PPO). Leur objectif était simple mais difficile : apprendre à cet agent à construire un circuit quantique qui crée un état cible spécifique, en utilisant autant peu de « portes » (l'équivalent quantique des briques Lego) que possible, tout en se rapprochant le plus possible de la perfection mathématique.

L'agent travaille étape par étape. Il observe l'état actuel du système quantique et décide d'ajouter une nouvelle porte. Les portes qu'il peut choisir constituent une sorte de boîte à outils de base : trois types de rotations de qubit unique (pensez à faire pivoter une seule brique dans différentes directions : $R_x$, $R_y$ et $R_z$) et une porte d'« intrication » appelée CNOT (qui lie deux qubits ensemble, comme si l'on emboîtait deux briques pour qu'elles bougent comme une seule). Chaque fois que l'agent ajoute une porte, l'ordinateur exécute une session de micro-entraînement rapide pour ajuster les angles des rotations afin de rendre le résultat aussi proche que possible de la cible. Si le résultat se rapproche, l'agent reçoit une récompense ; s'il s'éloigne ou utilise trop de portes, il reçoit une pénalité.

Les chercheurs ont testé cet « architecte robotique » sur une gamme de défis, partant de 2 qubits pour aller jusqu'à 5. Ils ont demandé à l'agent de construire des motifs célèbres et prédéfinis (comme les états « Bell », « GHZ », « W » et « Dicke », qui sont comme des modèles Lego standards et bien connus) ainsi que des motifs aléatoires et désordonnés.

Les résultats sont impressionnants, surtout pour les petits systèmes. Pour les tâches à 2 et 3 qubits, l'agent a souvent trouvé des solutions hautement efficaces, bien que pas toujours le minimum théorique absolu. Par exemple, lorsqu'on lui a demandé de construire un « état de Bell » (une connexion simple entre deux qubits), l'agent n'a pas trouvé la solution théorique exacte (qui nécessite une porte de Hadamard, un outil absent de sa boîte à outils). Au lieu de cela, il a approximé l'effet en utilisant une porte de rotation ($R_y$) pour atteindre la cible. En s'attaquant à des états de 2 qubits totalement aléatoires, il a systématiquement trouvé des solutions utilisant 7 portes, ce qui correspond à ce que d'autres scientifiques ont calculé comme étant le minimum nécessaire. Cependant, l'article note que dans certains cas, l'agent ne converge pas vers la solution optimale ; il peut identifier les meilleures portes mais les utiliser de manière excessive en raison d'une pénalisation insuffisante, nécessant une simplification manuelle ultérieure. Malgré ces particularités, l'agent était si précis qu'il pouvait atteindre un taux d'erreur aussi bas que $10^{-14}$, ce qui signifie que le résultat était presque indiscernable de la cible parfaite.

Cependant, l'histoire devient un peu plus complexe à mesure que les puzzles s'agrandissent. Lorsque les chercheurs ont testé des systèmes à 4 et 5 qubits, l'agent a continué à apprendre, mais il a eu du mal à trouver le chemin le plus court à chaque fois. Pour des états aléatoires à 4 qubits, l'agent a généralement construit des circuits comprenant entre 47 et 70 portes (moyennant environ 63), alors que les versions « optimisées » (après un nettoyage manuel) pouvaient descendre à environ 53. Pour 5 qubits, l'espace de recherche est devenu si vaste que l'agent n'a pas pu terminer le travail parfaitement dans le temps imparti, bien qu'il ait montré qu'il pouvait encore apprendre les bases.

Les auteurs ont également découvert une astuce ingénieuse pour aider l'agent lorsqu'il est bloqué. En utilisant un « tampon de succès » (success buffer) — une banque de mémoire qui sauvegardait les 10 meilleurs circuits que l'agent avait jamais trouvés et sur lesquels il s'entraînait occasionnellement — le robot pouvait trouver de meilleures solutions plus rapidement. Ils ont également constaté qu'en changeant la façon dont ils calculaient la « récompense », spécifiquement en utilisant une échelle logarithmique pour que les infimes améliorations soient perçues comme de grandes victoires, l'agent pouvait continuer à apprendre même lorsqu'il était déjà précis à 99,999 %.

En fin de compte, l'article suggère que cette approche pilotée par l'IA est un nouvel outil puissant pour la conception de circuits quantiques. Elle ne se contente pas de copier les idées humaines ; elle explore l'espace des possibilités par elle-même. Bien qu'elle se heurte à un mur de complexité à mesure que le nombre de qubits augmente (ce qui est attendu étant donné la nature exponentielle du problème), le cadre parvient à automatiser le processus de conception pour les systèmes quantiques de petite à moyenne taille, atteignant des erreurs aussi basses que $10^{-14}$. Les auteurs notent que les travaux futurs se concentreront sur l'accélération de l'entraînement et sur le test de ces idées sur des systèmes quantiques encore plus grands, avec l'espoir de laisser un jour ces architectes de l'IA concevoir les circuits complexes nécessaires aux ordinateurs quantiques du monde réel.