Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing

Cet article présente une approche d'apprentissage par renforcement sur graphe sensible à la calibration pour le routage de circuits quantiques qui, en exploitant les données de calibration matérielle en temps réel et l'optimisation de politique proximale, atteint une fidélité simulée nettement plus élevée que les méthodes standards basées sur SABRE sur des circuits de petite à moyenne taille, malgré un nombre de portes à deux qubits plus élevé.

L'essentiel

Imaginez que vous essayez de guider une équipe de livreurs (la donnée quantique) à travers une ville massive et chaotique (l'ordinateur quantique) pour livrer des colis (effectuer des calculs).

Par le passé, les applications de navigation pour ces villes quantiques ne se souciaient que d'une seule chose : la distance. Elles disaient aux chauffeurs : « Prenez l'itinéraire le plus court, même si cela signifie passer sur un pont défoncé ou traverser une zone de travaux. » La logique était simple : moins de kilomètres parcourus égale moins d'usure.

Cependant, cet article soutient que dans le monde réel des ordinateurs quantiques, la distance n'est pas tout. Parfois, un itinéraire légèrement plus long qui évite un pont cassé est bien meilleur, car il permet d'acheminer le colis à destination dans un meilleur état.

Voici une décomposition de ce que les chercheurs ont fait, en utilisant des analogies simples :

Le Problème : L'itinéraire « Parfait » vs l'itinéraire « Réel »

Les ordinateurs quantiques sont comme des villes où la qualité des routes (les connexions entre les parties de l'ordinateur) change constamment. Certaines routes sont lisses et rapides ; d'autres sont cahoteuses et sujettes aux pannes. Cette qualité est appelée « calibration ».

Les anciens systèmes de navigation (comme l'algorithme standard SABRE mentionné dans l'article) sont comme des applications GPS qui ne regardent que la carte. Ils disent : « Allez par là parce que c'est à 5 milles. » Ils ne savent pas que la route de 5 milles est actuellement inondée, alors que la route de 6 milles est sèche.

La Solution : Un GPS « Sensible à la Calibration »

Les auteurs ont créé un nouveau système de navigation plus intelligent utilisant l'Apprentissage par Renforcement sur Graphes (Graph Reinforcement Learning). Considérez cela comme un GPS qui ne se contente pas de regarder la carte, mais qui vérifie également le rapport de trafic en direct et les prévisions météorologiques pour chaque route avant de prendre une décision.

• Le « Cerveau » : Ils ont entraîné une IA (en utilisant une méthode appelée Optimisation de Politique Proximale) pour agir comme le navigateur.
• L'Entrée : Avant de dire aux chauffeurs où aller, l'IA regarde :
  1. La liste de livraison restante (le circuit).
  2. Où les chauffeurs sont actuellement stationnés (le placement).
  3. Le rapport de santé en direct de chaque route (les données de calibration de la puce IBM Heron r2).
• La Stratégie : L'IA est prête à prendre un itinéraire légèrement plus long (ajoutant plus d'opérations « SWAP », qui sont comme des détours) si cela permet d'éviter une route connue pour être cassée ou bruyante.

L'Expérience : Une course contre l'ancienne méthode

Les chercheurs ont testé leur nouveau navigateur IA contre deux systèmes de navigation « à l'ancienne » bien établis :

1. SABRE-best20 : Le navigateur standard, axé sur la distance.
2. Target-aware SABRE : Une version légèrement plus intelligente qui connaît la carte mais n'utilise pas les données de trafic en direct aussi efficacement.

Ils ont testé ces systèmes sur neuf différents « itinéraires de livraison » (circuits quantiques) de tailles variées (5, 8 et 10 arrêts) en utilisant des données en temps réel provenant du matériel quantique d'IBM.

Les Résultats : La Qualité plutôt que la Quantité

Les résultats sont une victoire claire pour la nouvelle IA, mais avec une nuance :

• La Grande Victoire : Sur les itinéraires de petite et moyenne taille (5 et ables 8 arrêts), les itinéraires de l'IA étaient beaucoup plus réussis. Les « colis » sont arrivés dans un bien meilleur état.
  • Le Score : L'IA a obtenu une « fidélité » (taux de réussite) de 0,727, tandis que les anciennes méthodes ont obtenu environ 0,440 et 0,481. C'est un bond énorme en termes de qualité.
• Le Compromis : Pour obtenir cette haute qualité, l'IA a pris plus d'étapes. Elle a ajouté environ 8 détours supplémentaires (portes à deux qubits) et a rendu l'itinéraire légèrement plus profond.
  • La Leçon : Faire quelques pas de plus pour éviter un pont cassé en vaut la peine si cela sauve la cargaison.
• La Limite : Sur les itinéraires les plus longs (10 arrêts), l'IA n'a pas été aussi performante. Pourquoi ? Parce que la « carte de la ville » qui lui a été donnée avait une forme d'arbre rigide avec très peu de chemins alternatifs. Lorsqu'il n'y a pas de bons détours disponibles, l'IA ne peut pas surpasser l'ancien GPS axé sur la distance.

L'Essentiel à Retenir

Cet article prouve que pour les ordinateurs quantiques, connaître l'état actuel du matériel est plus important que de simplement compter le nombre d'étapes.

En apprenant à une IA à regarder le « trafic en direct » (données de calibration) et à choisir des itinéraires qui évitent les « ponts cassés » (coupleurs bruyants), même si ces itinéraires sont légèrement plus longs, nous pouvons obtenir de bien meilleurs résultats. C'est un passage de la question « Quel est le chemin le plus court ? » à la question « Quel est le chemin le plus sûr ? »

Résumé technique

Résumé Technique : Apprentissage par Renforcement sur Graphes pour le Routage de Circuits Quantiques Sensible à la Calibration

Énoncé du Problème
Le routage de circuits quantiques est une étape de compilation critique pour les dispositifs quantiques à échelle intermédiaire bruyante (NISQ), où les circuits logiques doivent être mappés sur un matériel physique doté d'une connectivité éparse. Les stratégies de routage traditionnelles optimisent souvent des métriques de surcharge standard, telles que la minimisation du nombre d'opérations SWAP ou de la profondeur du circuit. Cependant, les auteurs soutiennent que sur un matériel calibré, ces métriques sont insuffisantes. Deux routes ayant des surcharges similaires peuvent traverser des coupleurs physiques présentant des taux d'erreur radicalement différents, entraînant des différences significatives dans la fidélité de l'état final. Une route avec plus de portes peut en réalité mieux préserver l'état idéal si elle évite les coupleurs mal calibrés. Le défi central consiste à développer une politique de routage qui utilise les données de calibration du même jour pour maximiser la fidélité de l'état simulée de manière exacte, même si cela nécessite l'insertion de portes à deux qubits supplémentaires.

Méthodologie
Les auteurs proposent un routeur basé sur l'apprentissage par renforcement (RL) sur graphe, sensible à la calibration et entraîné via l'Optimisation de Politique Proximale (PPO). L'approche modélise le routage comme un processus de décision séquentiel sur un graphe de backend calibré $G_B = (P, E, \kappa)$, où $P$ représente les qubits physiques, $E$ les coupleurs exécutables, et $\kappa$ l'instantané de la calibration (incluant l'erreur de lecture, les erreurs à un et deux qubits, et les temps de cohérence).

• Représentation de l'État : L'état d'observation $s_t$ comprend le circuit logique restant, le placement actuel non-identité des qubits logiques, et l'instantané de calibration. Celui-ci est encodé sous forme de graphe où les caractéristiques des nœuds capturent l'erreur de lecture, la cohérence, l'erreur à deux qubits incidente, et la distance de demande d'anticipation (lookahead demand distance). Les attributs des arêtes incluent les probabilités d'erreur à deux qubits calibrées et un masque d'actions légales.
• Architecture de la Politique : La politique utilise un Réseau de Neurones sur Graphe (GNN) avec deux couches de passage de messages pour générer des plongements de nœuds (embeddings). Un Perceptron Multicouche (MLP) évalue les arêtes SWAP légales sur la base de ces plongements et des attributs d'arêtes, produisant une distribution de probabilité sur les SWAP valides via un softmax masqué.
• Protocole d'Entraînement : L'agent est entraîné sur des instantanés de calibration IBM Heron r2 (Fez, Kingston, Marrakesh) en utilisant neuf familles de circuits MQT Bench (5q, 8q et 10q).
  • Fonction de Récompense : Pour éviter le coût élevé de la simulation exacte de la matrice densité pendant l'entraînement, les auteurs emploient une récompense proxy à faible coût basée sur la Probabilité de Succès Estimée (ESP). La fonction de récompense inclut des termes pour la réduction de la distance du chemin le plus court, la progression du routage, le nombre de portes, ainsi que des pénalités pour les actions invalides ou les dépassements de temps. Une récompense terminale compare la fidélité proxy de l'agent contre une référence (SABRE-best20) et pénalise le coût excessif.
  • Évaluation : L'évaluation finale utilise une simulation exacte de la matrice densité avec un modèle bruité (incluant les erreurs de dépolarisation et la relaxation thermique) pour calculer la véritable fidélité de l'état $F = \langle \psi | \rho | \psi \rangle$.
• Références (Baselines) : La méthode proposée est comparée à deux références reproductibles :
  1. SABRE-best20 : Une heuristique standard minimisant une fonction de coût composée du nombre de deux-qubits et de la profondeur.
  2. SABRE sensible à la cible (Target-aware) : Une heuristique sensible à la calibration utilisant les informations de cible de Qiskit et l'ESP pour la sélection.

Résultats Clés
L'évaluation a été menée sur trois instantanés de calibration et neuf familles de circuits, totalisant 1 500 épisodes appariés.

• Gains de Fidélité : La politique apprise a atteint une fidélité exacte moyenne agrégée de 0,727, surpassant de manière significative SABRE-best20 (0,440) et SABRE sensible à la cible (0,481). L'amélioration est statistiquement significative ($p < 1,5 \times 10^{-6}$).
• Compromis de Surcharge : Les gains de fidélité se sont faits au prix d'une surcharge accrue. Les routes apprises ont ajouté en moyenne +8,63 portes à deux qubits et +4,61 de profondeur par rapport à SABRE-best20.
• Dépendance à la Taille du Circuit : Les gains de performance étaient fortement dépendants de la taille du circuit et de la flexibilité du graphe d'action :
  • Familles 5q et 8q : Le routeur a utilisé avec succès des portes supplémentaires pour détourner le circuit des coupleurs peu fiables, résultant en des améliorations substantielles de la fidélité.
  • Familles 10q : Sur le graphe d'action en arbre fixe utilisé dans l'étude, les familles 10q n'ont montré aucun gain de fidélité ; de fait, SABRE-best20 a mieux performé. Les auteurs attribuent cela au fait que la topologie en arbre fixe offre trop peu de chemins alternatifs pour que l'agent RL puisse exploiter efficacement les données de calibration.

Signification et Revendications
L'article affirme qu'un routage appris sensible à la calibration peut améliorer la fidélité exacte de l'état au-delà de ce qui est réalisable par une compilation pilotée par le nombre de portes, à condition que le graphe matériel offre suffisamment de chemins alternatifs. L'étude démontre que :

1. La donnée de Calibration est Critique : Les données de calibration du même jour permettent à une politique apprise de prendre des décisions de routage qui privilégient la fidélité plutôt que le nombre minimal de portes.
2. Les Contraintes de l'Espace d'Action Comptent : L'utilité d'un routage sensible à la calibration est contingente sur le fait que le graphe d'action fournisse des alternatives utiles. Dans les topologies contraintes (comme l'arbre fixe utilisé pour les circuits 10q), la capacité de choisir de meilleurs coupleurs est limitée, et les heuristiques traditionnelles peuvent rester supérieures.
3. Limites des Métriques : Le nombre de portes et la profondeur sont des proxys incomplets pour la fidélité sur un matériel calibré ; des routes avec une surcharge plus élevée peuvent produire une fidélité plus haute.

Les auteurs concluent que bien que leur implémentation spécifique soit prometteuse, les travaux futurs nécessitent l'évaluation de sous-graphes cycliques, de circuits non utilisés lors de l'entraînement (held-out) et de bases de comparaison de routeurs appris pour valider pleinement l'approche. Ils soulignent que les comparaisons de routage devraient rapporter la fidélité et le contexte de calibration aux côtés des métriques de surcharge traditionnelles.