Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes

Résumé technique : Apprentissage par renforcement pour la composition adaptative de passes d'optimisation de circuits quantiques

Énoncé du problème
Les kits de développement de logiciels quantiques (QSDK) fournissent des suites de passes d'optimisation hautement optimisées (par exemple, l'optimisation de sous-circuits de Clifford, la réécriture du calcul ZX, l'optimisation de gadgets de Pauli). Cependant, l'ordre dans lequel ces passes sont appliquées est généralement laissé à la discrétion de l'utilisateur ou défini par des séquences par défaut à usage général. Cela présente deux défis majeurs :

1. Barrière de l'expertise : Reconnaître quand une passe spécifique est bénéfique nécessite souvent une expertise exceptionnelle en construction et en optimisation de circuits.
2. Problème d'ordonnancement des phases : La qualité du circuit résultant est très sensible à l'ordre d'application. Les séquences par défaut à usage général manquent souvent des opportunités d'optimisation spécifiques à des circuits individuels, tandis que la conception manuelle de séquences sur mesure est chronophage et sujette aux erreurs.

Les approches d'apprentissage automatique existantes reposent souvent sur des espaces d'observation de taille fixe (limitant l'entrée à des caractéristiques spécifiques) ou utilisent la simulation classique sur des représentations de circuits simplifiées, ce qui peut réduire la précision des prédictions. De plus, les approches basées sur la recherche pour générer des séquences sur mesure souffrent souvent d'une faible extensibilité à mesure que l'espace d'action et la taille du circuit augmentent.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par renforcement (RL) utilisant l'optimisation de politique proximale (PPO) pour entraîner un agent qui sélectionne et applique de manière itérative une séquence de passes d'optimisation adaptées à un circuit quantique spécifique.

• Représentation par graphe : Le circuit quantique est encodé sous forme de graphe où les nœuds représentent les portes, les entrées et les sorties, et les arêtes représentent les fils de qubits. Cette représentation supporte une connectivité arbitraire et des tailles de circuits arbitraires, contrairement aux représentations de tenseurs 3D. Les caractéristiques des nœuds incluent les types de portes (ZZPhase, Rz, PhasedX), les paramètres, les drapeaux Clifford et l'indice de la dernière passe appliquée pour éviter la répétition idempotente.
• Espace d'action : L'agent sélectionne parmi un ensemble de passes d'optimisation globales disponibles dans PyTKET (version 2.9.3), notamment :
  • KAKDecomposition (resynthèse de sous-circuits à deux qubits)
  • CliffordResynthesis et CliffordSimp
  • ZXGraphlikeOptimisation
  • GreedyPauliSimp
  • ThreeQubitSquash
  • DoNothing (termine la séquence)
    Après chaque passe, le circuit est rebasé sur l'ensemble de portes natives de Quantinuum.
• Architecture : L'agent utilise un réseau de neurones sur graphes (GNN) avec des couches de convolution de graphes (utilisant des opérateurs GINConv modifiés) pour traiter le graphe du circuit. Le réseau produit des logit d'action (via un acteur) et des valeurs d'état (via un critique). Le modèle utilise le pooling moyen pour gérer les tailles de circuits variables.
• Fonction de récompense : La récompense pour une action unique est définie comme la fraction de portes à deux qubits supprimées par rapport au compte initial ($r_t = (n_{t-1} - n_t) / n_0$). Une petite pénalité est appliquée pour les actions autres que DoNothing afin d'encourager l'efficacité.
• Entraînement : Le modèle est entraîné sur un jeu de données synthétiques de plus de 400 000 circuits (incluant des classes Random-SU4/SU8, IQP, QAOA et des classes mixtes de Clifford) avec des nombres de qubits allant de 3 à 7. L'entraînement utilise PPO avec des hyperparamètres optimisés via l'estimateur de Pareto par arbre (Tree-structured Parzen Estimator).

Résultats clés
L'agent entraîné a été évalué sur un ensemble de test diversifié de 40 412 circuits (en distribution) et comparé à plusieurs séquences par défaut de PyTKET (FullPeepholeOptimise, QuantinuumDefaultTwo, QuantinuumDefaultThree) ainsi qu'à des passes individuelles performantes.

• Performance : L'agent RL a atteint une récompense cumulative moyenne (fraction de portes à deux qubits supprimées) de 57,7 % et une médiane de 56,7 %. Il a surpassé la meilleure séquence par défaut suivante (QuantinuumDefaultTwo), qui a atteint une moyenne de 41,8 % et une médiane de 50,0 %.
• Adaptabilité : L'agent a généré avec succès des séquences sur mesure pour différentes classes de circuits. Par exemple, pour les circuits Ordered-Clifford-SU4, l'agent a correctement identifié une séquence impliquant CliffordSimp suivi de KAKDecomposition dans 99,2 % des cas, démontant la capacité de retarder les récompenses immédiates pour permettre de meilleures optimisations ultérieures.
• Généralisabilité : Le modèle s'est généralisé à des circuits "hors distribution" plus grands que ceux vus lors de l'entraînement (jusqu'à 12 qubits et 450 portes à deux qubits), maintenant des performances comparables aux résultats en distribution. Il a également démontré son efficacité sur des circuits très larges (100 qubits).
• Efficacité vs Recherche : Comparé aux optimiseurs basés sur la recherche par faisceau (beam-search) (qui génèrent des séquences sur mesure via une recherche exhaustive ou gloutonne), le modèle RL a produit des réductions de portes à deux qubits comparables ou supérieures, mais avec un temps d'exécution nettement inférieur. Alors que les méthodes de recherche passent mal à l'échelle face à la taille de l'espace d'action et à la profondeur de recherche, le temps d'inférence du modèle RL ne dépend que de la profondeur de la séquence, ce qui le rend plus scalable.

Signification et Revendications
L'article affirme que cette approche résout la difficulté d'orchestrer manuellement les passes d'optimisation en automatisant la sélection de séquences sur mesure. La portée des travaux réside dans :

1. Supériorité sur les défauts : Démontrer qu'une politique apprise, spécifique au circuit, surpasse significativement les séquences par défaut à usage général pour réduire le nombre de portes à deux qubits (un indicateur de bruit).
2. Scalabilité : Montrer que la sélection par RL est nettement plus efficace en termes de calcul que les méthodes de recherche pour générer des séquences de passes sur mesure, particةment lorsque la complexité du circuit augmente.
3. Réduction de l'expertise requise : Abaisser la barrière à l'entrée pour une optimisation de circuit efficace, car l'agent ne nécessite pas d'experts humains pour déterminer l'ordre optimal des passes.
4. Extensibilité : La méthodologie n'est pas limitée aux passes spécifiques utilisées ; l'espace d'action peut être étendu pour inclure des passes provenant d'autres bibliothèques sans modifier l'approche centrale.

Les auteurs notent que bien que l'approche améliore les réécritures globales, elle reste soumise au problème d'ordonnancement des phases inhérent aux transformations globales. Ils suggèrent que les travaux futurs pourraient impliquer des agents capables de sélectionner des régions spécifiques du circuit pour la réécriture (combinant optimisation globale et locale) et d'étendre les ensembles d'entraînement pour inclure de réels circuits d'utilisateurs.