💻 computer science

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ est un cadre évolutif piloté par le calcul haute performance (HPC) qui exploite l'optimisation de politique relative de groupe (GRPO) guidée par rubriques pour automatiser la synthèse de circuits quantiques qui satisfont simultanément l'exactitude algorithmique, la minimisation du coût du code de surface et les contraintes matérielles à court terme.

Auteurs originaux : Ziqing Guo, Ziwen Pan

Publié 2026-08-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziqing Guo, Ziwen Pan

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire une machine capable de résoudre des problèmes impossibles pour n'importe quel ordinateur actuel. Cette machine est un ordinateur quantique, un dispositif qui utilise les règles étranges des particules minuscules pour effectuer des calculs à une vitesse fulgurante. Mais voici le hic : ces machines sont incroyablement fragiles. Pour les faire fonctionner, nous devons traduire nos idées complexes et de grande envergure dans un langage très spécifique et de bas niveau composé de « portes » (comme des interrupteurs) qu'elles peuvent comprendre.

Le problème est que cette traduction est un cauchemar. Si vous demandez simplement à un ordinateur standard de le faire, les mathématiques deviennent si vastes qu'il plante. Si vous essayez de construire la machine avec la technologie d'aujourd'hui, elle est trop bruyante et sujette aux erreurs. Les scientifiques se retrouvent donc bloqués dans un entre-deux : ils doivent concevoir des circuits suffisamment parfaits pour les futurs super-ordinateurs, mais assez simples pour être exécutés sur les prototypes fragiles d'aujourd'hui. C'est comme essayer d'écrire une recette pour un banquet cinq étoiles qu'un bambin pourrait cuisiner sans brûler la cuisine.

Entrez en scène RubriQ, un nouvel outil qui agit comme un éditeur super intelligent et infatigable pour ces recettes quantiques. Au lieu de simplement deviner et vérifier, RubriQ utilise une IA géante qui apprend en essayant des milliers de variations à la fois, guidée par une « rubrique » stricte (une grille d'évaluation) qui lui indique précisément comment s'améliorer. Il ne cherche pas seulement ce qui est « assez bon » ; il traque l'équilibre parfait entre une rigueur mathématique irréprochable et une capacité pratique à être exécuté sur le matériel réel dès maintenant.

L'histoire de RubriQ : Enseigner à une IA à être un architecte quantique

Considérer la conception d'un circuit quantique comme demander à un étudiant d'écrire une histoire. Par le passé, si vous demandiez à un ordinateur d'écrire un programme quantique, c'était comme donner à un étudiant une consigne vague du type « Écris quelque chose de cool » en espérant qu'il ne raconte pas n'importe quoi. S'il se trompait, vous disiez simplement « Non, réessaie », sans aucune idée de pourquoi il avait échoué. C'est ce que faisaient les anciennes méthodes : elles fournissaient une « récompense parcellaire » (sparse reward), ce qui signifie que l'IA ne recevait un point que si la réponse était 100 % parfaite, et zéro point pour tout le reste. Cela rendait l'apprentissage incroyablement lent et frustrant, comme essayer d'apprendre à faire du vélo dans le noir.

RubriQ change la donne en agissant comme un professeur strict mais utile doté d'une rubrique de notation détaillée. Au lieu de se contenter de dire « Réussite » ou « Échec », il décompose la note en cinq catégories spécifiques :

A-t-il fonctionné ? (L'histoire a du sens).
Est-il efficace ? (A-t-il utilisé trop de mots ? En termes quantiques, il s'agit de minimiser les « portes T », qui sont les parties coûteuses et gourmandes en ressources du code).
Est-il riche en Clifford ? (Y a-t-il trop de mouvements complexes et difficiles à réaliser, ou principalement des mouvements simples ?).
Fonctionnera-t-il sur les machines d'aujourd'hui ? (S'adapte-t-il à la forme spécifique du matériel, comme faire entrer un pion carré dans un trou rond ?).
Est-il rapide ? (Combien d'étapes prend-il ?).

L'article présente une méthode appelée Optimisation de Politique Relative de Groupe (GRPO - Group Relative Policy Optimization). Imaginez que l'IA est un chef cuisinier essayant d'inventer un nouveau plat. Au lieu de cuisiner un seul repas et d'attendre une critique, RubriQ demande au chef de cuisiner huit versions différentes du plat en même temps. Ensuite, il les compare les unes aux autres. Si une version est légèrement meilleure que les autres, l'IA apprend à en produire davantage de ce type. Si l'une d'elles est un désastre, elle apprend à éviter ce chemin. Cette comparaison par « groupe » est beaucoup plus rapide et stable que d'attendre une seule réponse parfaite.

Comment ils ont construit la machine

Pour faire fonctionner cela, les chercheurs ont dû construire un moteur massif. Ils ne pouvaient pas simplement lancer cela sur un ordinateur portable ; il fallait la puissance de NERSC Perlmutter, un cluster de supercalculateurs du Laboratoire National de Berkeley. Ils ont utilisé 8 GPU NVIDIA A100 (les cartes graphiques haute performance utilisées pour l'IA) pour faire tourner la simulation.

La partie ingénieuse est la suivante : l'IA ne se contente pas de deviner. Elle utilise une rubrique programmatique. Cela signifie que le « professeur » n'est pas un réseau de neurones boîte noire qui pourrait être confus ; c'est un ensemble de règles codées en dur qui vérifient instantanément les mathématiques, le coût et les limites du matériel. Si l'IA génère un circuit qui semble cool mais qui échoue mathématiquement, la rubrique lui donne un zéro immédiatement. Si elle génère un circuit qui fonctionne mais utilise trop de « portes T » coûteuses, la rubrique lui donne un score inférieur, l'incitant à être plus efficace.

Ils ont également résolu un goulot d'étranglement majeur : la vitesse de simulation. Vérifier si un circuit quantique fonctionne nécessite généralement de simuler l'ensemble de celui-ci, ce qui devient exponentiellement plus difficile à mesure que l'on ajoute des qubits (bits quantiques). RubriQ intègre CUDA-Q, un outil qui leur permet d'exécuter ces simulations directement sur les GPU, rendant le processus des milliers de fois plus rapide que l'exécution sur un CPU standard.

Ce qu'ils ont découvert

Les résultats sont prometteurs, bien que les auteurs prennent soin de les présenter comme une étape significative plutôt que comme une solution miracle.

Cela fonctionne mieux que les anciennes méthodes : Testé sur 1 500 tâches quantiques différentes, RubriQ a atteint un taux de réussite de 96 % pour la correction. Cela signifie que presque chaque fois qu'il essayait, il produisait un circuit qui effectuait correctement les calculs.
C'est beaucoup plus efficace : La métrique la plus importante pour les ordinateurs quantiques est le « compte T » (le nombre de portes coûteuses). RubriQ a réussi à compresser le nombre de ces portes d'un facteur moyen de 3,31 fois par rapport aux circuits qui étaient simplement « corrects » mais non optimisés. C'est une avancée majeure car moins de portes T signifient que l'ordinateur a besoin de moins de ressources et de moins de temps pour fonctionner.
Il apprend plus vite : Parce qu'il utilise ces rubriques détaillées plutôt que d'attendre un score parfait, RubriQ a convergé (appris la tâche) 2 à 3 fois plus vite que les autres méthodes d'apprentissage par renforcement reposant sur des récompenses parcellaires.
Il est prêt pour le matériel réel : L'équipe ne s'est pas arrêtée aux simulations. Ils ont pris les meilleurs circuits générés par RubriQ et les ont testés sur de vrais ordinateurs quantiques d'IBM et d'IonQ. Ils ont constaté que les circuits étaient compatibles avec ces machines, avec moins de 1 % de violation des contraintes matérielles.

Ce que cela signifie

L'article suggère qu'en traitant la synthèse de circuits quantiques comme une tâche de génération de code guidée par une rubrique multidimensionnelle stricte, nous pouvons automatiser la création de programmes quantiques de haute qualité. Il soutient l'idée que nous n'avons pas besoin de réseaux « critiques » complexes et appris pour juger le travail de l'IA ; au contraire, un système de notation clair, basé sur des règles, fonctionne mieux et coûte moins cher à exécuter.

Bien que l'article ne prétende pas avoir résolu tous les problèmes de l'informatique quantique, il démontre une voie viable. En combinant le pouvoir créatif des modèles de langage étendus (LLM) avec la discipline rigoureuse d'une rubrique programmatique, RubriQ offre un moyen de concevoir des circuits qui sont non seulement mathématiquement sains, mais aussi assez pratiques pour fonctionner sur les machines bruyantes et imparfaites d'aujourd'hui, tout en préparant l'arrivée des géants tolérants aux fautes du futur. C'est un pont entre la réalité désordonnée du matériel actuel et le monde immaculé de l'informatique quantique de demain.

Résumé Technique : RubriQ – Optimisation de la Politique Relative de Groupe Guidée par Rubriques pour la Synthèse de Circuits Quantiques Sensibles aux Contraintes

1. Énoncé du Problème

La transition vers l'informatique quantique à grande échelle est entravée par le problème de la compilation classique : traduire des algorithmes de haut niveau en séquences de portes de bas niveau qui satisfont à la fois les contraintes de ressources de l'informatique quantique tolérante aux fautes (FTQC) et l'exécutabilité sur le matériel actuel.

Contraintes FTQC : Dans les architectures à code de surface, les opérations non-Clifford (spécifiquement les portes $T$ ) nécessitent une distillation d'états magiques coûteuse, consommant des ordres de grandeur de ressources physiques supplémentaires par rapport aux portes Clifford. Minimiser le compte de portes $T$ ( $T$ -count) et la profondeur $T$ ( $T$ -depth) est crucial pour réduire le budget de calcul classique et la complexité de l'ordonnancement.
Contraintes à Court Terme : Les dispositifs actuels de l'ère NISQ (Noisy Intermediate-Scale Quantum), tels que la topologie heavy-hex d'IBM ou la connectivité all-to-all d'IonQ, imposent des limites strictes sur les ensembles de portes natives, la connectivité des qubits et la profondeur du circuit.
Limites des Méthodes Existantes : Les compilateurs dominants (Qiskit, TKET) reposent sur des règles heuristiques statiques et manquent de capacités génératives pour découvrir de nouvelles simplifications algébriques. Les approches précédentes par apprentissage par renforcement (RL) souffrent souvent de récompenses terminales éparses, de gradients à haute variance et d'espaces d'actions étroits (insertion/suppression de portes) qui empêchent la découverte de circuits structurellement novateurs. De plus, l'entraînement d'agents RL pour la synthèse quantique à grande échelle est prohibitivement coûteux en raison de la complexité $O(4^{n_q})$ de la simulation de fidélité.

2. Méthodologie : Le Framework RubriQ

RubriQ reformule la synthèse de circuits quantiques comme une tâche de génération de code par un grand modèle de langage (LLM), optimisée via l'Optimisation de la Politique Relative de Groupe (GRPO) sans l'utilisation d'un critique apprenant une fonction de valeur.

2.1 L'LLM en tant que Synthétiseur

Le système traite la synthèse de code OpenQASM ou Qiskit Python comme une tâche de génération conditionnelle.

Modèle de Base : Un LLM de 7 milliards de paramètres spécialisé dans la génération de code (Qwen2.5-Coder-7B) sert de politique $\pi_\theta$ .
Efficacité des Paramètres : Le modèle est affiné via l'adaptation de faible rang (LoRA) avec un rang de 64, maintenant les paramètres entraînables à environ 0,4 % du total, permettant un déploiement sur 4 à 8 GPU NVIDIA A100.
Génération : Pour chaque invite (spécification en langage naturel d'un algorithme), le modèle échantillonne $N=8$ circuits candidats de manière autorégressive.

2.2 Moteur de Récompense Guidé par Rubriques

Au lieu d'une récompense binaire éparse ou d'un critique neuronal, RubriQ emploie une rubrique programmatique et multidimensionnelle pour générer des récompenses denses et déterministes. La fonction de récompense $R(y)$ est une somme pondérée de cinq scores de composantes bornés ( $S_d \in [0, 1]$ ), régulés par une condition de correction stricte :
$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$
Où $g(c)$ est une porte logique qui définit la récompense à zéro si la fidélité moyenne des portes $F_{avg} < 0,99$ .

Les cinq dimensions sont :

Fidélité Fonctionnelle ( $S_F$ ) : Mesurée via le produit scalaire de Hilbert-Schmidt par rapport à l'unitaire cible.
Fraction Clifford ( $S_C$ ) : Le ratio des portes Clifford par rapport au total des portes opérationnelles, encourageant les circuits riches en Clifford.
Réduction du Compte de $T$ ( $S_T$ ) : Un score de décroissance exponentielle basé sur le nombre total équivalent de portes $T$ (prenant en compte les décompositions de Toffoli et de rotations arbitraires).
Validation Matérielle à Court Terme ( $S_H$ ) : Un score évaluant la compatibilité avec des backends spécifiques (IBM Eagle/Heron, IonQ Forte/Aria), pénalisant les portes non natives et le surcoût du routage SWAP.
Efficacité du Circuit ( $S_E$ ) : Une métrique de compacité normalisée par la profondeur.

2.3 Boucle d'Entraînement GRPO

Le framework utilise l'Optimisation de la Politique Relative de Groupe (GRPO), qui élimine le besoin d'un réseau critique séparé.

Estimation de l'Avantage : Pour un groupe de $N$ complétions échantillonnées à partir de la même invite, les avantages $\hat{A}_i$ sont calculés en normalisant les récompenses au sein du groupe : $\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$ .
Scalabilité : Cette approche réduit la variance des estimations de gradient par rapport aux récompenses éparses et évite les goulots d'étranglement de mémoire et de communication liés au maintien d'un critique de plusieurs milliards de paramètres sur des GPU distribués.
Intégration HPC : La boucle d'entraînement intègre la simulation accélérée par CUDA-Q directement dans la boucle RL pour une évaluation de la fidélité à haut débit. Le système est déployé sur NERSC Perlmutter avec DeepSpeed ZeRO-2 pour le partitionnement distribué du gradient et de l'état de l'optimiseur.

3. Contributions Clés

Formulation LLM-as-Synthesizer : La première application de LLM de taille milliardaire spécialisés dans le code à la synthèse de portes quantiques via l'apprentissage par renforcement post-entraînement, dépassant les petits modèles transformeurs ou les heuristiques statiques.
Moteur de Récompense par Rubriques Multi-Objectifs : Un système de notation ancré dans le domaine qui sépare les métriques de coût FTQC (Clifford+T) de la validation matérielle à court terme, remplaçant les critiques neuronaux par des rubriques interprétables et déterministes.
Architecture de Système HPC Scalable : Un pipeline d'entraînement complet implémenté sur NERSC Perlmutter avec une efficacité de mise à l'échelle forte (strong-scaling) de >85 % sur 8 GPU A100, utilisant DeepSpeed ZeRO-2 et CUDA-Q pour gérer le coût computationnel des simulations $O(4^{n_q})$ .
Validation Matérielle à Court Terme : Un pipeline automatisé qui valide les circuits synthétisés sur des processeurs physiques IBM Heron-3 et IonQ Forte, démontrant l'exécutabilité au-delà de la simulation.
Performance Empirique : Démontre des améliorations significatives de la qualité de synthèse et de la vitesse de convergence par rapport aux bases de référence à récompense éparse et aux compilateurs traditionnels.

4. Résultats Expérimentaux

Évalué sur 1 500 circuits de référence (QFT, QPE, simulation Hamiltonienne, encodage de données) de 2 à 8 qubits :

Exactitude : A atteint un taux de réussite de correction par jeu de données d'au moins 96 %.
Compression des Portes $T$ : A obtenu une compression moyenne des portes $T$ de 3,31 $\times$ par rapport aux circuits uniquement corrects, surpassant nettement les bases de référence RL à récompense éparse (2,05 $\times$ ) et les outils traditionnels (TKET, Qiskit).
Convergence : L'approche guidée par les rubriques a convergé 2 à 3 $\times$ plus vite que les bases de référence à récompense éparse, réduisant le nombre total d'époques d'entraînement requises.
Violations de Contraintes : A maintenu moins de 1 % de violations des contraintes matérielles à court terme.
Validation Matérielle : A déployé avec succès les circuits "top-k" sur IBM Heron-3 et IonQ Forte, confirmant la capacité du pipeline à générer du code conscient du matériel.
Efficacité Computationnelle : Le façonnage par des rubriques denses a réduit le nombre total d'appels de simulation de 2 à 3 $\times$ par rapport aux méthodes à récompense éparse, se traduisant par des économies significatives d'heures-GPU (par exemple, 9,2 contre 24,2 heures-GPU pour les tâches de 8 qubits).

5. Signification et Revendications

L'article pose que RubriQ établit un nouveau paradigme pour la synthèse automatique de circuits quantiques en unifiant les capacités génératrices des LLM avec des contraintes rigoureuses et spécifiques au domaine.

Séparation des Préoccupations : En séparant explicitement les coûts FTQC des validations matérielles à court terme, RubriQ répond aux exigences conflictuelles des futurs systèmes tolérants aux fautes et des dispositifs NISQ actuels.
Élimination du Critique : Ce travail démontre que pour des tâches déterministes et programmables comme la synthèse quantique, un critique de fonction de valeur appris est inutile ; les récompenses denses basées sur des rubriques combinées à la GRPO fournissent un signal suffisant pour une optimisation de politique efficace.
Pipeline Piloté par le HPC : La recherche souligne la nécessité des ressources de calcul haute performance (HPC) pour entraîner des outils quantiques pilotés par l'IA, fournissant un modèle pour passer à l'échelle la synthèse par RL vers un nombre de qubits plus élevé où la simulation classique devient intraitable.
Robustesse : Le framework est montré comme étant robuste à travers différentes familles d'algorithmes et nombres de qubits, évitant le surapprentissage sur des modèles de circuits spécifiques.

Les auteurs concluent que RubriQ fournit un pipeline automatisé et de haute performance pour générer des circuits conscients du coût du code de surface, comblant le fossé entre la conception d'algorithmes théoriques et l'exécution matérielle pratique.