Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

Énoncé du problème

Les problèmes d'optimisation combinatoire (CO), tels que le problème du voyageur de commerce (TSP), sont centraux dans la logistique et la conception de réseaux, mais ils sont NP-difficiles, ce qui rend les solutions exactes intraitables pour de grandes entrées. Bien que l'apprentissage par renforcement (RL) et l'apprentissage par renforcement quantique (QRL) offrent des stratégies heuristiques, un goulot d'étranglement majeur en matière de scalabilité subsiste : la plupart des méthodes de QRL nécessitent un réentraînement complet pour chaque nouvelle instance ou taille de problème.

Cet article examine si les Circuits Quantiques Équivariants (EQC) — qui encodent la symétrie de permutation pour garantir que le nombre de paramètres reste indépendant de la taille du problème — peuvent faciliter le transfert cross-size zero-shot. Plus précisément, les auteurs se demandent si les paramètres $\theta_n$ entraînés sur des instances de TSP à $n$ villes peuvent être directement transférés à des instances à $m$ villes ($m > n$) sans réentraînement, et si ce transfert survit à une exécution réaliste sur matériel quantique.

Méthodologie

Les auteurs utilisent un pipeline d'évaluation en cinq étapes, avec protocole apparié, pour isoler les effets des approximations de simulation, du bruit et de l'échantillonnage à nombre de tir limité (finite-shot sampling) du véritable comportement de transfert. L'étude utilise l'architecture EQC de Skolik et al. [11] (profondeur $L=1$, deux scalaires entraînables $\beta, \gamma$) appliquée à des instances de TSP euclidien.

Le pipeline progresse à travers :

1. Étape de base : Sélection d'une recette d'entraînement stable (redimensionnement des observations gelé, rapport du meilleur checkpoint) sur une voie de validation de 12 nœuds.
2. N1 (Politiques sources) : Entraînement à partir de zéro sur $n \in \{5, 10, 15, 20\}$ villes en utilisant une simulation exacte par état vectoriel (statevector).
3. N2 (Transfert exact) : Évaluation du transfert zero-shot et de l'ajustement fin (fine-tuning) à travers les tailles (ex: $5 \to 10$, $10 \to 15$) en utilisant une simulation exacte par état vectoriel.
4. N3 (Frontière de mise à l'échelle) : Extension à des tailles plus grandes ($n$ jusqu'à 100) en utilisant la simulation par Tensor Network (MPS), le MPS bruité (modèle de bruit IBM) et des balayages à haute dimension de liaison (high-bond-dimension sweeps) pour caractériser les limites de fidélité de la simulation.
5. N4 (Exécution matérielle) : Exécution des mêmes politiques transférées sur le matériel à ions piégés Quantinuum (H2-2, Helios-1) et des émulateurs, suivie d'une campagne cross-plateforme sur cinq dispositifs (Quantinuum, IBM, Rigetti, IQC) couvrant deux technologies de qubits et quatre fournisseurs.

Cadre théorique

L'article dérive une borne de diagnostic conditionnelle de transfert pour la performance attendue $P_m(\theta^*_n)$ sur une taille cible $m$ étant donné un entraînement source sur une taille $n$. La borne décompose la chute de performance en :

• Généralisation de la source : Un terme $G^{roll}_n(\delta)$ contrôlant l'écart entre la performance empirique et la performance réelle de la source.
• Pénalité de transfert ($D_{n \to m}$) : Une somme de :
  • Inadéquation paramétrique : Évoluant linéairement avec la norme $\ell_1$ des paramètres et le saut de taille relatif $(m-n)/m$.
  • Lissage structurel : Un terme $\Psi(n, m)$ (modélisé comme $\sqrt{m} - \sqrt{n}$ basé sur l'échelle de Beardwood–Halton–Hammersley) représentant la fluidité de la politique à travers les tailles de graphes.

Les auteurs précisent explicitement que cette borne est diagnostique et de type pire cas (worst-case), destinée à identifier les structures de mise à l'échelle plutôt qu'à prédire les écarts numériques avec une grande précision. Ils clarifient également que l'architecture EQC spécifique étudiée (Modèle B) est classiquement simulable via des méthodes d'algèbre de Lie (Modèle A), et qu'ils utilisent cette simulabilité comme un « instrument de mesure » (vérité terrain) plutôt que de revendiquer un avantage quantique.

Résultats clés

1. Transfert validé dans le régime opérationnel

Dans un régime validé (petits sauts de taille, ex: $5 \to 10$), le transfert zero-shot surpasse l'entraînement sur la taille cible dans les six évaluations complétées. Le transfert $5 \to 10$ a atteint un écart d'optimalité moyen de 5,07 %, surpassant la ligne de base entraînée à partir de zéro. Cela suggère que les EQC encodent des informations structurelles qui se généralisent à travers les échelles lorsque le saut de taille est modéré.

2. Trois barrières indépendantes à la scalabilité

Au-delà du régime validé, trois barrières distinctes empêchent l'architecture EQC dense et "all-to-all" de passer à l'échelle :

• Barrière B1 : Perte de signal induite par le backend (Simulation/Troncation)

  • Observation : En simulation MPS, une dimension de liaison $\chi=64$ (standard pour de nombreuses études) provoque un échec catastrophique pour $n=20$ (écart moyen de 85,22 %), même pour un transfert de taille égale.
  • Cause : La structure d'intrication all-to-all génère une croissance de l'intrication qui invalide les approximations à faible dimension de liaison. L'erreur de troncature dépasse l'amplitude du signal ($\langle Z_i Z_j \rangle$), corrompant le classement des actions gourmandes (greedy).
  • Seuil : Une précision de politique fiable nécessite $\chi \ge 256$, ce qui est informatiquement prohibitif pour de grands $n$.

• Barrière B2 : Dégradation du transfert cross-size (Grands sauts)

  • Observation : La performance se dégrade de manière fluide mais substantielle à mesure que le saut de taille $|m-n|$ augmente (ex: l'écart pour $5 \to 20$ monte à ~12–18 %).
  • Cause : Cela s'aligne avec la borne de transfert théorique, pilotée par l'inadéquation paramétrique et les changements structurels. Bien que l'ajustement fin puisse récupérer une partie de la performance (ex: l'écart $15 \to 20$ passe de 13,9 % à 10,6 % avec l'ajustement fin), le transfert zero-shot seul est insuffisant pour les grands sauts.

• Barrière B3 : Pénalité d'exécution à nombre de tir limité (Matériel)

  • Observation : Sur le matériel, l'écart passe d'environ 5 % (statevector) à 31,3 % (émulateur sans bruit avec 4096 tir/shots) et 45,3 % (matériel réel).
  • Cause : Les marges d'action (différences entre les valeurs Q candidates) se situent sous le seuil de bruit de tir ($1/\sqrt{N_s}$). À 4096 tir, le seuil de bruit est d'environ 0,016, alors que la marge d'action moyenne est de ~0,006. Par conséquent, les décisions gourmandes deviennent statistiquement non résolues (37 des 40 décisions avaient $z < 2$).
  • Confirmation cross-plateforme : Une campagne sur cinq dispositifs (Quantinuum, IBM, Rigetti, IQM) a confirmé que la pénalité est dictée par le nombre de portes à deux qubits natives et l'atténuation d'erreurs, et non par le budget de tir.
    • Ions piégés (all-to-all, 45 portes) : écart de 45,3 %.
    • Supraconducteurs (routé, 153–172 portes, non atténué) : écart de 108–125 % (équivalent à des tours aléatoires).
    • Supraconducteurs (atténué, 172 portes) : écart de 67,8 %.
  • Conclusion : Augmenter simplement le nombre de tir ne résout pas le problème car le rapport signal/bruit est fondamentalement limité par le biais induit par les portes et le faible contraste par bord de la famille d'observables denses.

Signification et affirmations

Les auteurs ne revendiquent explicitement aucun avantage quantique computationnel. L'architecture EQC étudiée est classiquement simulable. Au lieu de cela, la signification de l'article réside dans :

1. L'établissement d'un standard de diagnostic : Fournir une méthodologie reproductible et au protocole apparié pour évaluer le transfert cross-size en QRL, en distinguant le comportement de transfert des artefacts de simulateur ou de matériel.
2. L'identification des obstructions architecturales : Démontrer que l'ansatz EQC canonique dense et all-to-all fait face à des barrières fondamentales (B1, B2, B3) ancrées dans sa connectivité. La topologie all-to-all invalide la simulation efficace par réseau de tenseurs (B1), exacerbe les pénalités de transfert (B2) et crée des marges d'action trop faibles pour être résolues sur le matériel actuel (B3).
3. La proposition d'une voie à suivre : Les résultats motivent la conception de circuits équivariants creux (sparse) comme la correction architecturale nécessaire pour lever simultanément les trois barrières, plutôt que de compter uniquement sur l'augmentation des budgets de tir ou l'atténuation d'erreurs.

L'article conclut que bien que les EQC offrent un biais inductif prometteur pour le transfert, leur implémentation dense actuelle n'est pas scalable vers des tailles industriellement pertinentes sur le matériel existant sans modification architecturale.