Résumé Technique : Diagnostic des Barrières de Simulation et de Matériel pour le Transfert de Taille dans l'Apprentissage par Renforcement Quantique Équivariant

1. Énoncé du Problème

L'article traite de la scalabilité et de la transférabilité de l'apprentissage par renforcement quantique (QRL) pour l'optimisation combinatoire, plus précisément pour le problème du voyageur de commerce euclidien (TSP). Bien que les circuits quantiques équivariants (EQC) offrent une architecture à haute efficacité de paramètres où le nombre de paramètres entraînables est indépendant de la taille du problème (par exemple, le nombre de villes), il reste non vérifié si des politiques entraînées sur de petites instances peuvent être transférées avec succès vers de plus grandes instances sous des conditions d'exécution réalistes.

La question de recherche centrale est la suivante : Les paramètres $\theta_n$, entraînés sur des instances de $n$ villes, peuvent-ils être transférés vers des instances de $m$ villes ($m > n$) en utilisant la même architecture EQC sans réentraînement, et ce transfert survit-il à la transition de la simulation idéalisée vers le matériel bruité ?

Les auteurs déclarent explicitement qu'ils ne font aucune prétention d'avantage quantique. Au lieu de cela, l'étude utilise la nature classiquement simulable de l'architecture EQC spécifique comme un outil de diagnostic pour établir un standard rigoureux d'évaluation des futures revendications de QRL.

2. Méthodologie

Cadre Théorique

Les auteurs développent une borne de transfert diagnostique conditionnelle pour analyser la performance de transfert zero-shot.

• Décomposition de l'erreur : La chute de performance ($D_{n \to m}$) lors du transfert de la taille $n$ à $m$ est décomposée en :
  1. Inadéquation Paramétrique : Résultant de la mise à l'échelle des générateurs de circuit (ex: $1/n$ vs $1/m$).
  2. Lissage Structurel : Résultant du changement de la géométrie sous-jacente du problème et de la lissité du paysage de la politique.
• Hypothèses : La borne repose sur des hypothèses concernant l'équivariance conjointe, la généralisation de la source de déroulement (rollout) et le « lissage de la politique levée » (motivé par le théorème de Beardwood–Halton–Hammersley mais non dérivé de celui-ci). La borne est conçue pour identifier les structures de mise à l'échelle plutôt que pour prédire des écarts numériques exacts.

Pipeline Expérimental

L'étude emploie un pipeline d'évaluation en cinq étapes, avec protocole apparié, pour isoler le comportement de transfert des artefacts de backend. Les mêmes points de contrôle (checkpoints) d'EQC entraînés sont exécutés à travers :

1. Simulation de vecteur d'état (Statevector) : Simulation exacte (Vérité terrain).
2. Simulation par Produit de Matrices de Contraction (MPS) : Simulation par réseau de tenseurs avec des dimensions de liaison ($\chi$) variables.
3. Simulation Bruitée : Simulation incorporant des modèles de bruit dérivés du matériel IBM.
4. Émulateur de Matériel : Émulateur sans bruit de la série Quantinuum H.
5. Matériel Réel : Exécution sur des dispositifs à ions piégés Quantinuum (H2-2, Helios-1) et une campagne multi-plateforme impliquant des dispositifs supraconducteurs (IBM, Rigetti, IQM).

L'architecture EQC utilisée est l'ansatz de Skolik et al. de profondeur $L=1$, présentant un qubit par ville, une intrication tout-à-tout via des interactions $ZZ$, et des rotations de mélange de nœuds $RX$. Crucialement, à $L=1$, la politique ne possède que deux scalaires entraînables ($\beta, \gamma$), quel que soit $n$.

3. Contributions Clés

A. Cadre Diagnostique pour le Transfert de Taille

L'article établit un cadre théorique séparant les changements structurels du problème de la sensibilité de la politique. Il dérive une borne de transfert qui relie la performance cible à la performance source, l'inadéquation paramétrique et le lissage structurel. Ce cadre est explicitement « diagnostique », destiné à expliquer pourquoi le transfert échoue plutôt qu'à garantir son succès.

B. Évaluation Multi-Backend à Protocole Apparié

Il s'agit de la première étude évaluant des points de contrôle QRL identiques à travers un spectre de backends (exact, réseau de tenseurs, bruité, émulateur et matériel) dans des conditions contrôlées et à protocole apparié. Cette méthodologie permet de distinguer le comportement de transfert réel des artefacts introduits par des simulateurs ou le bruit matériel spécifiques.

C. Identification de Trois Barrières Indépendantes

L'étude isole trois barrières distinctes empêchant l'exécution scalable des EQC denses et tout-à-tout :

1. Barrière B1 (Perte de Signal induite par le Backend) : Dans les simulations de réseaux de tenseurs (MPS), l'intrication tout-à-tout génère une croissance de l'intrication qui invalide les approximations à faible dimension de liaison. Même sans transfert (même taille), les erreurs de troncature à $\chi=64$ détruisent la qualité de la politique (ex: écart de 85 % à $n=20$), rendant la simulation peu fiable avant même de tester le transfert.
2. Barrière B2 (Dégradation du Transfert de Taille) : Même avec un backend parfait, la performance se dégrade de manière fluide mais substantielle à mesure que le saut de taille ($m-n$) augmente. Cela s'aligne sur la borne de transfert théorique, où la pénalité dépend de la proportion du saut de taille et du lissage structurel.
3. Barrière B3 (Pénalité d'Exécution à Nombre de Tirages Fini) : Sur le matériel, les différences entre les actions candidates (marges d'action) tombent en dessous du seuil de bruit de tirage (shot-noise).
   • Mécanisme : Les marges de décision gloutonne sont de $\sim 6 \times 10^{-3}$, tandis que le seuil de bruit de tirage à 4 096 tirages est de $\sim 1,6 \times 10^{-2}$.
   • Résultat : Les décisions gloutonnes deviennent statistiquement non résolues. Augmenter le nombre de tirages n'aide que jusqu'à un certain point ; au-delà du point de croisement, le biais d'erreur de porte domine.
   • Quantification : L'écart de transfert gonfle de $\sim 5\%$ (statevector) à $31,3\%$ (émulateur sans bruit, bruit d'échantillonnage uniquement) et $45,3\%$ (matériel).

4. Résultats Clés

• Régime Validé : Dans les petits sauts de taille (ex: $5 \to 10$ villes) et en simulation exacte, le transfert zero-shot surpasse l'entraînement à partir de zéro sur la taille cible dans toutes les évaluations.
• Limitations MPS : Pour $n=20$, une dimension de liaison de $\chi=64$ produit un écart d'optimalité de 85 %, tandis que $\chi=256$ est nécessaire pour retrouver une performance proche de l'exactitude. Cela indique que la simulation MPS standard est insuffisante pour les EQC tout-à-tout à des tailles modérées.
• Performance Matérielle :
  • Quantinuum (Ions Piégés) : A atteint un écart moyen de 45,3 %. La connectivité tout-à-tout des ions piégés (45 portes de deux qubits natives) a préservé une partie de la structure de la politique, maintenant l'écart à environ la moitié d'un parcours aléatoire (92,5 %).
  • Supraconducteurs (IBM, Rigetti, IQM) : Les dispositifs non mitigés ont subi une dégradation massive (écart de 108–125 %), ne performant pas mieux que des parcours aléatoires. Cela a été attribué à la surcharge de SWAP requise pour mapper la connectivité tout-à-tout sur des topologies de réseau limitées, gonflant le nombre de portes de deux qubits natives à 153–172.
  • Mitigation : Un dispositif IBM entièrement mitigé a réduit l'écart à 67,8 %, démontrant que la mitigation d'erreur peut partiellement substituer la connectivité mais ne peut pas récupérer totalement la structure de la politique perdue par les erreurs de porte dans les circuits à grand nombre de portes.
• Budget de Tirages (Shot Budget) : Augmenter les tirages au-delà du point de croisement (où le bruit de tirage rencontre la marge d'action) n'a pas amélioré la performance sur les dispositifs supraconducteurs, confirmant que le mode de défaillance est passé de la variance statistique au biais systématique d'erreur de porte.

5. Signification et Revendications

L'article ne revendique aucun avantage quantique. L'architecture EQC étudiée est classiquement simulable (via des méthodes algébriques de Lie) et les auteurs utilisent cette simulabilité comme un « instrument de mesure » pour établir la vérité terrain.

La signification de ce travail réside dans :

1. L'établissement d'un Standard Diagnostique : Il fournit une méthodologie rigoureuse et reproductible pour évaluer les revendications de QRL, soulignant que le « transfert dans une simulation idéalisée » n'équivaut pas à une « exécution scalable ».
2. L'Identification de la Cause Racine : L'étude attribue l'échec du transfert de taille et de l'exécution matérielle non pas à l'algorithme d'apprentissage lui-même, mais à la source topologique de l'architecture : la connectivité dense et tout-à-tout. Cette connectivité provoque l'intrication (B1), l'inadéquation paramétrique (B2) et un nombre excessif de portes menant à la dominance du bruit (B3).
3. Direction Future : Les auteurs concluent que la voie à suivre pour l'optimisation quantique scalable dans ce domaine est la conception de circuits équivariants creux (sparse). Réduire la connectivité est présenté comme la correction architecturale nécessaire pour atténuer simultanément les trois barrières identifiées.

En résumé, l'article sert d'étude diagnostique et de mise en garde, démontant que bien que les priors équivariants offrent une promesse théorique de transfert indépendant de la taille, les ansatz denses actuels font face à des barrières insurmontables dans la simulation et l'exécution matérielle en raison de la croissance de l'intrication et des limitations du bruit de tirage.