Adaptive directional gradients for parameterised quantum circuits

Cet article introduit un cadre de gradient direct pour les circuits quantiques paramétrés qui unifie les méthodes existantes d'estimation de gradient et permet à l'optimiseur adaptatif QUIVER d'atteindre un entraînement nettement plus efficace avec des coûts de mesure réduits par rapport à la règle du décalage de paramètre et aux autres optimiseurs de pointe.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot très complexe (un Circuit Quantique Paramétré) comment résoudre un problème, comme reconnaître la photo d'un chat ou trouver le meilleur itinéraire pour un camion de livraison. Pour l'enseigner, vous devez lui montrer la « direction » qu'il doit suivre pour s'améliorer. En termes mathématiques, cela s'appelle calculer un gradient.

Le problème est que sur les ordinateurs quantiques actuels, calculer cette direction est incroyablement coûteux. C'est comme essayer de cartographier une immense ville en parcourant chaque rue une par une. Si votre robot possède 1 000 boutons à tourner (paramètres), l'ancienne méthode nécessite de parcourir 1 000 chemins distincts pour savoir quelle direction prendre. Cela prend énormément de temps et d'énergie (appelée « mesures » ou « shots »), ce qui rend l'entraînement du robot impossible à mesure qu'il grandit.

Ce document présente une nouvelle façon plus intelligente de trouver cette direction, appelée Gradients Directs (Forward Gradients), ainsi qu'un coach intelligent pour gérer le processus appelé QUIVER.

L'ancienne méthode : Le problème du « Cartographier chaque rue »

La méthode standard (appelée Règle du Décalage de Paramètre ou Parameter-Shift Rule) est celle d'un géomètre méticuleux. Pour connaître la pente du terrain à un endroit précis, il doit marcher vers la gauche, mesurer, marcher vers la droite, mesurer, et répéter cela pour chacun des 1 000 boutons du robot.

• Le Coût : Si vous avez 1 000 boutons, vous devez faire 2 000 voyages distincts. À mesure que le robot grandit, le coût augmente de manière linéaire. C'est trop lent.

La nouvelle méthode : La stratégie de la « Boussole » (Gradients Directs)

Les auteurs proposent une approche différente. Au lieu de vérifier chaque rue, imaginez que vous êtes au milieu de la ville et que vous lancez une fléchette dans une direction aléatoire. Vous faites quelques pas dans cette direction, vous vérifiez la pente, puis vous lancez une autre fléchette dans une autre direction aléatoire.

Si vous faites cela quelques fois (disons 10 ou 20 fois) et que vous faites la moyenne des résultats, vous obtenez une estimation étonnamment bonne de la direction globale à suivre, sans jamais avoir besoin de parcourir chaque rue.

• La Magie : Vous pouvez choisir combien de directions aléatoires vérifier.
  • Si vous vérifiez 1 direction, c'est comme l'ancienne méthode « SPSA » (rapide mais un peu bruyante).
  • Si vous vérifiez les 1 000 directions, c'est l'ancienne méthode du « Décalage de Paramètre » (parfaite mais lente).
  • La nouvelle méthode vous permet de choisir un nombre « juste milieu » (comme 20 directions). C'est beaucoup plus rapide que de vérifier les 1 000 directions, mais bien plus précis que d'en vérifier seulement 1.

Le Coach Intelligent : QUIVER

Lancer des fléchettes au hasard ne suffit pas ; vous devez savoir combien de fléchettes lancer et avec quelle précision regarder chacune d'elles. C'est là que QUIVER intervient.

Voyez QUIVER comme un coach intelligent qui observe l'entraînement du robot :

1. Au début de l'entraînement : Le robot est loin de la solution et le chemin est chaotique. Le coach dit : « Regardons beaucoup de directions différentes rapidement pour obtenir une vision globale de la direction à prendre. » (Nombre élevé de directions, faible effort par direction).
2. Plus tard dans l'entraînement : Le robot est proche de la solution. Le coach dit : « Nous n'avons plus besoin de regarder autant de directions, mais nous devons être très précis sur celles que nous regardons. » (Moins de directions, effort élevé par direction).

QUIVER ajuste automatiquement cet équilibre en temps réel en fonction du bruit qu'il observe, garantissant que le robot apprend de la manière la plus efficace possible sans gaspiller d'énergie.

Ce que l'étude a révélé

Les auteurs ont testé cette idée sur quatre types de problèmes différents :

1. Classification de rythmes cardiaques (données ECG).
2. Reconnaissance de chiffres manuscrits (images MNIST).
3. Recherche de l'état d'énergie le plus bas d'un système quantique (VQE).
4. Résolution de puzzles d'optimisation (MaxCut).

Les Résultats :

• Vitesse : En utilisant leur nouvelle méthode, ils ont pu entraîner des robots allant jusqu'à 60 qubits et 1 770 paramètres.
• Efficacité : Ils ont atteint le même niveau de précision que l'ancienne méthode « lente », mais en utilisant une fraction de l'énergie (mesures/shots). Dans certains cas, ils étaient des ordres de grandeur plus efficaces.
• Comparaison : Leur méthode a battu d'autres méthodes « rapides » populaires (comme SPSA et RCD) ainsi que les méthodes « adaptatives » intelligentes (iCANS/gCANS) qui tentent d'économiser de l'énergie en étant astucieuses sur l'endroit où elles regardent.

L'essentiel

Ce document ne prétend pas avoir résolu tous les problèmes de l'informatique quantique. Il propose plutôt un nouvel outil flexible. Il remplace une règle rigide et coûteuse par une stratégie ajustable que l'on peut doser selon la situation. Il prouve qu'il n'est pas nécessaire de vérifier chaque chemin pour trouver la bonne voie ; parfois, vérifier quelques chemins aléatoires intelligents suffit pour accomplir la tâche beaucoup plus rapidement.

En bref : Ils ont trouvé un moyen d'apprendre aux ordinateurs quantiques à apprendre plus vite en utilisant des « raccourcis » mathématiquement prouvés, économisant ainsi une quantité massive de temps et de ressources.

Résumé technique

Résumé Technique : Gradients Directionnels Adaptatifs pour les Circuits Quantiques Paramétrés

Énoncé du Problème
L'entraînement de circuits quantiques paramétrés (PQC) sur le matériel quantique actuel à l'ère du NISQ est actuellement limité par le coût de mesure de l'estimation du gradient. Sous la règle standard du décalage de paramètre (parameter-shift rule), l'estimation du gradient complet nécessite $O(N)$ évaluations de circuits par étape, où $N$ est le nombre de paramètres entraînables. À mesure que les modèles quantiques passent à l'échelle et bénéficient de la surparamétrisation, cette croissance linéaire domine le budget total de tirs (shots), rendant l'entraînement basé sur le gradient inefficace. Bien que des estimateurs approximatifs comme la méthode SPSA (Simultaneous Perturbation Stochastic Approximation) et la descente de coordonnées aléatoires (RCD) réduisent les coûts par étape, ils introduisent des pénalités en $O(N)$ dans la variance des estimateurs ou les taux de convergence, respectivement. De plus, les méthodes existantes d'allocation adaptative de tirs (par exemple, iCANS, gCANS) reposent sur la règle du décalage de paramètre et supposent que les variances de mesure diffèrent considérablement selon les paramètres, une hypothèse qui peut ne pas tenir pour les estimateurs à directions aléatoires.

Méthodologie
Les auteurs proposent un cadre unifié basé sur les gradients directs (forward gradients), dérivés du mode direct de la différenciation automatique. Ce cadre reconstruit le gradient complet en moyennant $V$ dérivées directionnelles aléatoires, où $V$ est un paramètre ajustable indépendant de $N$.

1. Estimateur de Gradient Direct :
   Le gradient est estimé par :
   $$\hat{\nabla}^F f(\theta) = \frac{1}{V} \sum_{\ell=1}^V (\nabla_{v_\ell} f) v_\ell$$
   où $v_\ell$ sont des directions aléatoires (typiquement des vecteurs de Rademacher). Les dérivées directionnelles $\nabla_{v_\ell} f$ sont calculées à l'aide d'une approximation par différence finie centrale avec un pas $\epsilon$, nécessitant seulement deux évaluations de circuit par direction.

   • Unification : Ce cadre récupère SPSA ($V=1$, Rademacher), RCD ($V=1$, vecteurs de base) et la règle du décalage de paramètre ($V=N$, vecteurs de base) comme cas limites.
   • Coût : Le coût par étape passe à l'échelle en $O(V)$ plutôt qu'en $O(N)$, avec un coût de mesure total de $2VM$ tirs par étape.

2. Analyse de Convergence :
   L'article établit une borne de convergence pour la descente de gradient stochastique utilisant cet estimateur. Il prouve un résultat de type « no-free-lunch » : pour les pertes convexes, la réduction par $V$ du coût par étape est exactement compensée par une augmentation par $V$ du nombre d'étapes nécessaires pour atteindre une précision cible. Le budget total de tirs reste indépendant de $V$. Cependant, l'analyse identifie la taille du pas de différence finie $\epsilon$ comme l'hyperparamètre dominant, régissant un compromis biais-variance où le bruit de tir est amplifié par $1/\epsilon^2$.

3. L'Optimiseur QUIVER :
   Pour remédier aux limites des stratégies à $V$ fixe et des méthodes adaptatives existantes, les auteurs dérivent QUIVER (Quantum Iterative V-adaptive Estimator Rule).

   • Concentration du Bruit : Les auteurs prouvent que pour les estimateurs à directions aléatoires, le bruit de mesure se concentre uniformément sur les directions (contrairement à la règle du décalage de paramètre où le bruit varie par paramètre). Cela rend l'allocation de tirs par direction (le mécanisme derrière iCANS) inefficace.
   • Adaptation Conjointe : Par conséquent, QUIVER adapte conjointement le nombre de directions $V$ et le nombre de tirs par direction $M$. Il minimise le coût de mesure total sous contrainte d'une variance d'estimateur cible et d'un nombre minimum de tirs par direction.
   • Optimalité : La règle de mise à jour dérivée utilise des directions de Rademacher, qui sont prouvées pour minimer de manière unique le second moment de l'estimateur parmi les distributions isotropes. Le budget de tirs résultant correspond à la borne inférieure de Cramér–Rao pour la récupération de gradient non biaisé à partir d'un oracle de bruit de tir, à une constante près qui tend vers zéro quand $N \to \infty$.

Résultats Clés
L'article valide l'approche numériquement à travers quatre domaines de problèmes :

• Classification : Entraînement de réseaux de neurones quantiques orthogonaux sur les jeux de données ECG5000 (séries temporelles) et MNIST (images) avec jusqu'à 60 qubits et 1 770 paramètres.
• Optimisation et Simulation : VQE (Variational Quantum Eigensolver) pour le modèle d'Ising à champ transverse (TFIM) et QAOA (Quantum Approximate Optimization Algorithm) pour MaxCut.

Constats :

1. Efficacité : Les estimateurs de gradient direct avec un $V \ll N$ fixe atteignent une précision comparable à la règle du décalage de paramètre en utilisant une fraction du budget total de tirs. Les économies croissent avec le nombre de paramètres $N$.
2. Comparaison aux Baselines : Les gradients directs surpassent significativement SPSA et RCD pour de grands $N$, là où les méthodes à direction unique se dégradent.
3. Programmation Adaptative : Des expériences heuristiques montrent que la décroissance de $V$ au cours de l'entraînement (commençant haut pour une exploration large, finissant bas pour la précision) surpasse les points de terminaison à $V$ fixe.
4. Performance de QUIVER : L'optimiseur QUIVER surpasse iCANS, gCANS et le décalage de paramètre standard avec l'optimisation Adam sur les benchmarks VQE et QAOA. Notamment, dans les régimes où iCANS/gCANS s'effondrent vers un décalage de paramètre à tirs fixes (en raison de faibles rapports signal sur bruit), QUIVER maintient une marge de performance en ajustant dynamiquement $V$ et $M$.

Signification et Revendications
L'article affirme fournir un cadre théorique unifié qui traite SPSA, RCD et la règle du décalage de paramètre comme des cas particuliers d'un estimateur de direction aléatoire unique. En introduisant le paramètre ajustable $V$, il offre un levier explicite pour interpoler entre les stratégies les moins coûteuses (variance la plus élevée) et les plus coûteuses (exactes).

La principale contribution est l'optimiseur QUIVER, qui est la première méthode adaptative spécifiquement conçue pour les gradients directs. Il surmonte les limitations structurelles des optimiseurs de tirs précédents (qui échouent lorsque le bruit se concentre uniformément) en adaptant le nombre de directions plutôt que simplement le nombre de tirs par direction. Les auteurs affirment que QUIVER atteint une efficacité de tir quasi optimale, saturant la borne inférieure de Cramér–Rao pour la récupération de gradient à partir d'un oracle de bruit de tir, et permet l'entraînement de circuits quantiques à grande échelle (jusqu'à 60 qubits) avec des coûts de mesure ordres de grandeur inférieurs à ceux de la règle du décalage de paramètre.

Le travail souligne que ces gains sont obtenus sans qubits ancilla, portes contrôlées ou mesures en cours de circuit, rendant le cadre immédiatement applicable au matériel quantique actuel de type NISQ.