Modeling quantum neural network gradient with reinforcement learning

Dans le domaine émergent de l'informatique quantique, les scientifiques tentent de construire des machines capables de résoudre des problèmes dépassant de loin la portée des superordinateurs actuels. Un outil central de cet effort est le réseau de neurones quantiques, un système hybride qui combine la physique étrange des particules subatomiques avec les capacités d'apprentissage de l'intelligence artificielle. Ces réseaux sont conçus pour trouver des motifs dans les données, tout comme les logiciels qui reconnaissent des visages sur des photos ou traduisent des langues. Cependant, l'entraînement de ces systèmes quantiques s'est heurté à un mur obstiné. À mesure que les chercheurs ajoutent des bits quantiques, ou qubits, à leurs circuits pour traiter des problèmes plus complexes, les signaux utilisés pour enseigner à la machine s'évaporent souvent dans le néant. Ce phénomène, connu sous le nom de plateau stérile (barren plateau), laisse le réseau aveugle quant à la manière de s'améliorer, tandis que la puissance de calcul nécessaire pour calculer les mises à jour indispensables devient si grande qu'il devient impossible de les exécuter sur le matériel actuel.

Pour franchir cette barrière, une équipe de chercheurs a développé une nouvelle approche qui contourne la manière traditionnelle d'enseigner à ces machines. Au lieu d'essayer de calculer la pente mathématique exacte du chemin d'apprentissage à travers le circuit quantique — un processus qui devient exponentiellement plus difficile et gourmand en mémoire à mesure que le système croît — ils ont entraîné un programme informatique classique distinct pour deviner l'étape suivante. Ce programme, construit à l'aide d'une technique appelée apprentissage par renforcement, agit comme un entraîneur chevronné. Il observe la performance du réseau quantique, note ses erreurs actuelles et ses mouvements passés, puis propose une mise à jour directe des paramètres du réseau. Les chercheurs ont constaté que cette méthode évite non seulement le problème du signal évanescent, mais qu'elle est aussi des milliers de fois plus rapide et utilise une fraction de la mémoire requise par les techniques standards.

L'équipe, dirigée par des chercheurs du Vietnam et du Japon, a testé son nouvel optimiseur, nommé RLQ-Grad, sur une variété de circuits quantiques simulés allant de seulement deux qubits jusqu'à vingt qubits. Dans le monde de l'informatique quantique, vingt qubits représentent une échelle significative, un système assez large pour être pertinent pour des applications réelles, mais assez petit pour être simulé sur des ordinateurs classiques puissants. Les résultats ont été frappants. Lorsque les chercheurs ont comparé leur méthode aux trois façons standards de calculer les mises à jour — la rétropropagation, le décalage de paramètres (parameter-shift) et la différenciation adjointe — RLQ-Grad a maintenu un signal d'apprentissage constant et fort, quelle que soit la taille du circuit. En revanche, les méthodes traditionnelles ont vu leurs signaux d'apprentissage chuter de plusieurs ordres de grandeur à mesure que le nombre de qubits augmentait, provoquant de fait l'arrêt de l'entraînement.

Les gains d'efficacité étaient tout aussi spectaculaires. Sur un processeur informatique standard, la nouvelle méthode a complété chaque étape d'entraînement en moins d'un dixième de seconde, même pour les circuits de vingt qubits les plus larges. La méthode de rétropropagation traditionnelle, en comparaison, a pris près de deux cents secondes pour la même tâche. En termes d'utilisation de la mémoire, la différence est encore plus profonde. Alors que l'approche standard de rétropropagation nécessitait plus de six mille mégaoctets de mémoire pour gérer un circuit de vingt qubits, la nouvelle méthode en nécessitait moins de deux mégaoctets. Cette réduction de la demande de ressources signifie que les chercheurs pourraient potentiellement entraîner ces modèles complexes sur du matériel beaucoup plus modeste, démocratisant ainsi l'accès à la recherche en apprentissage automatique quantique.

Les chercheurs ont également examiné la capacité réelle du système à classifier des données. Ils ont testé la méthode sur quatre ensembles de données différents, incluant des images de chiffres manuscrits et des données médicales relatives au cancer du sein. Dans chaque cas, l'optimiseur RLQ-Grad a surpassé les méthodes traditionnelles basées sur le gradient. Sur les ensembles de données plus simples, il a amélioré la précision du réseau quantique jusqu'à dix pour cent. Sur l'ensemble de données d'images plus complexe, là où les méthodes traditionnelles commençaient à peiner à mesure que le circuit grandissait, la nouvelle méthode a continué de progresser, égalant les performances de techniques spécialisées conçues spécifiquement pour résoudre le problème du plateau stérile. Crucialement, elle y est parvenue sans l'énorme surcharge de calcul que ces techniques spécialisées exigent habituellement.

L'un des aspects les plus importants de ce travail est ce qu'il écarte. Les chercheurs ont explicitement testé si d'autres types d'optimisation, tels que les algorithmes évolutionnaires imitant la sélection naturelle ou les méthodes sans gradient qui procèdent par tâtonnements (guess and check), pouvaient résoudre le problème. Ils ont découvert que ces approches alternatives s'effondraient vers le hasard pur face aux mêmes circuits de vingt qubits, n'apprenant rien d'utile. Cela suggère que la solution ne consiste pas simplement à éviter le calcul des gradients, mais à utiliser une politique apprise et intelligente pour guider les mises à jour. L'étude précise également que, bien que cette méthode résolve le problème des signaux évanescents et des coûts de mémoire élevés, elle ne résout pas magiquement tous les problèmes de l'apprentissage quantique. Si le circuit quantique est trop petit ou le problème trop simple, le réseau peut encore rester bloqué dans de mauvaises solutions, et la méthode ne fonctionne pas encore sur du matériel quantique réel, lequel est sujet au bruit et aux erreurs.

L'équipe a prouvé mathématiquement que leur approche fonctionne car le programme « entraîneur » opère entièrement sur des ordinateurs classiques, séparément du circuit quantique. Puisque cet entraîneur n'a pas besoin de dériver les équations quantiques complexes, il n'est pas soumis au même déclin exponentiel qui frappe les méthodes traditionnelles. Les chercheurs ont vérifié cela en montrant que la variance du signal d'apprentissage restait plate et stable à mesure qu'ils ajoutaient des qubits, alors que le signal des autres méthodes décroissait rapidement. Cet avantage structurel permet à la méthode de changer d'échelle efficacement, ne croissant que linéairement avec le nombre de paramètres plutôt qu'exponentiellement avec la taille du système quantique.

Bien que l'étude ait été menée entièrement sur des simulations, les implications pour l'avenir de l'informatique quantique sont significatives. En réduisant le coût de calcul de l'entraînement par des facteurs de milliers, cette méthode pourrait permettre aux scientifiques d'explorer des réseaux de neurones quantiques beaucoup plus vastes et complexes que ce qui était auparavant jugé possible. Elle offre une nouvelle voie de progression pour un domaine qui lutte contre les limitations pratiques de l'entraînement de ces systèmes. Les chercheurs notent que la prochaine étape consistera à tester cette approche sur du matériel quantique réel et à voir si les politiques apprises peuvent être transférées à différents types de problèmes, créant potentiellement un outil universel pour entraîner les machines quantiques de demain. Pour l'instant, ce travail constitue une démonstration qu'en changeant la manière dont nous enseignons à ces machines, nous pouvons surmonter les falaises abruptes qui ont bloqué leur progression.