⚛️ quantum physics

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ est un cadre évolutif piloté par le calcul haute performance (HPC) qui exploite l'optimisation de politique relative de groupe (GRPO) guidée par des rubriques avec une simulation accélérée par GPU pour synthétiser automatiquement des circuits quantiques tolérants aux fautes qui atteignent une compression significative des portes T tout en respectant strictement les contraintes matérielles et en maintenant une fidélité élevée.

Auteurs originaux : Ziqing Guo, Ziwen Pan

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziqing Guo, Ziwen Pan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire une machine complexe en utilisant un ensemble de briques Lego très spécifiques, coûteuses et fragiles. Vous avez un plan directeur (l'algorithme que vous voulez exécuter), mais les instructions que vous possédez sont écrites dans un langage élevé et vague comme « construisez une voiture volante ».

Le problème est que l'usine (l'ordinateur quantique) a des règles strictes :

Les briques sont rares : Un type spécifique de brique (la porte T) est incroyablement coûteux à fabriquer. Vous voulez en utiliser le moins possible.
La disposition est particulière : Certaines machines (comme celles d'IBM) ne vous permettent de connecter que des briques qui sont juste à côté les unes des autres. D'autres (comme celles d'IonQ) vous permettent de connecter n'importe quelle brique à n'importe quelle autre.
L'objectif : Vous devez transformer cette idée vague de « voiture volante » en un manuel d'instructions précis, étape par étape, qui utilise le moins de briques coûteuses possible tout en respectant les règles de disposition de l'usine.

RubriQ est un nouveau système conçu pour résoudre ce casse-tête automatiquement. Voici comment il fonctionne, décomposé en concepts simples :

1. L'« Écrivain Intelligent » (Le LLM)

Au lieu d'utiliser un programme informatique rigide qui suit une liste fixe de règles, RubriQ utilise un Modèle de Langage Étendu (LLM). Considérez cela comme un écrivain intelligent et créatif qui a lu des millions de manuels d'instructions.

Vous don'ez une consigne au rédacteur : « Écris un circuit quantique pour une transformée de Fourier à 4 qubits. »
L'écrivain tente de générer le code. Parfois, il écrit un code parfait ; parfois, il écrit des absurdités ou oublie des étapes.

2. Le « Professeur Strict » (La Grille d'Évaluation)

Par le passé, lorsqu'on entraînait une IA à faire cela, l'ordinateur disait seulement « Bon travail » ou « Mauvais travail » à la toute fin. C'est comme un professeur qui attendrait l'examen final pour dire à un élève qu'il a échoué, sans expliquer pourquoi. Cela rend l'apprentissage lent et frustrant.

RubriQ introduit une Grille d'Évaluation (Rubric), qui est comme une grille de notation détaillée utilisée par un professeur. Au lieu d'un simple « Réussite/Échec », le système vérifie le code généré sur cinq dimensions spécifiques :

Score Clifford : Avez-vous utilisé les briques communes et peu coûteuses ?
Score T-Count : Avez-vous minimisé l'usage des briques rares et coûteuses ?
Score Matériel : Ce code s'adapte-t-il réellement à la machine spécifique (IBM ou IonQ) que vous ciblez ?
Score de Fidélité : La machine fait-elle réellement ce que vous avez demandé ?
Score d'Efficacité : Le manuel d'instructions est-il court et ordonné ?

Le système attribue un score à l'IA pour chacun de ces domaines. Cela fournit un signal « dense » — beaucoup de retours — afin que l'IA sache exactement quelles parties de son code elle doit corriger, plutôt que de deviner.

3. Le « Concours de Groupe » (GRPO)

Pour enseigner à l'IA, RubriQ utilise une méthode appelée Optimisation de la Politique Relative de Groupe (GRPO).

Imaginez que vous demandiez à l'IA de résoudre le problème 8 fois de suite.
Vous n'avez pas besoin d'une IA « juge » séparée pour vous dire laquelle est la meilleure. Au lieu de cela, vous comparez simplement les 8 réponses entre elles.
Celle qui possède le meilleur score de la grille reçoit un « pouce levé », et les autres, avec des scores plus bas, reçoivent un « pouce baissé ».
L'IA apprend en observant les gagnants et les perdants au sein de son propre groupe et en ajustant son style d'écriture pour produire plus de « gagnants » la prochaine fois.

4. La « Super-Usine » (HPC)

L'entraînement de cette IA demande un effort colossal. Simuler des circuits quantiques, c'est comme essayer de calculer la météo pour chaque futur possible en même temps ; cela nécessite une puissance de calcul massive.

Les chercheurs ont fait tourner cela sur NERSC Perlmutter, un supercalculateur doté de centaines de cartes graphiques (GPU) puissantes.
Ils ont construit un pipeline où l'IA génère du code, un analyseur vérifie s'il est lisible, et un simulateur l'exécute sur la « usine virtuelle » pour vérifier les scores.
Parce qu'ils ont utilisé la méthode de la « Grille d'Évaluation », l'IA a appris 2 à 3 fois plus vite que les méthodes précédentes qui reposaient sur des signaux vagues de type « Réussite/Échec ».

Les Résultats

Lorsque les chercheurs ont testé RubriQ :

Il a économisé des ressources : Il a réussi à réduire le nombre de « portes T » coûteuses d'un facteur moyen de 3,3 fois par rapport aux outils standards.
Il était précis : Les circuits qu'il a écrits fonctionnaient réellement lors des tests sur de vrais ordinateurs quantiques d'IBM et d'IonQ.
Il était efficace : Il a atteint ses objectifs en moins d'étapes d'entraînement, économisant ainsi une quantité massive d'électricité et de temps de calcul.

En bref : RubriQ est un système qui enseigne à un écrivain IA créatif comment construire des circuits quantiques en lui donnant une liste de contrôle détaillée (la grille d'évaluation) et en le laissant apprendre en comparant ses propres tentatives entre elles, le tout tournant sur un supercalculateur massif pour garantir que les résultats sont prêts pour les machines quantiques du monde réel.

Résumé Technique : RubriQ – Optimisation de la Politique Relative de Groupe Guidée par Rubrique pour la Synthèse de Circuits Quantiques Sensibles aux Contraintes

1. Énoncé du Problème

La synthèse de circuits quantiques tolérants aux fautes (FTQC) qui soient à la fois algorithmiquement corrects et compatibles avec le matériel représente un goulot d'étranglement critique pour l'informatique quantique à grande échelle. Les principaux défis incluent :

Surcharge de Ressources : Dans le cadre de la FTQC, les opérations non-Clifford (spécifiquement les portes T) nécessitent la distillation d'états magiques, consommant des ordres de grandeur de ressources physiques supplémentaires par rapport aux portes Clifford. Minimiser le compte de portes T est essentiel pour réduire la surcharge de distillation et la complexité de l'ordonnancement.
Contraintes Matérielles : Les dispositifs de l'ère NISQ imposent des contraintes topologiques et de portes natives strictes (par exemple, la connectivité heavy-hex d'IBM versus la connectivité all-to-all d'IonQ), nécessisant une transpilation efficace des circuits pour éviter un excès de surcharge de SWAP.
Limites des Méthodes Existantes :
- Compilateurs Heuristiques (ex. Qiskit, TKET) reposent sur des règles de réécriture statiques et manquent de la capacité générative nécessaire pour découvrir de nouvelles simplifications algébriques.
- Apprentissage par Renforcement (RL) Standard : Les approches de RL souffrent souvent de récompenses terminales éparses, entraînant des gradients à haute variance et une exploration médiocre. Elles opèrent généralement sur des espaces d'actions étroits (insertion/suppression de portes) plutôt que de générer des circuits de zéro.
- Critiques Neuronaux : L'entraînement de réseaux critiques à plusieurs milliards de paramètres pour le RL introduit de sévères goulots d'étranglement en termes de mémoire et de communication dans les environnements de calcul haute performance (HPC).

2. Méthodologie : Le Cadre RubriQ

RubriQ reformule la synthèse de circuits quantiques comme une tâche structurée de génération de code pour les modèles de langage de grande taille (LLM), optimisée via l'Optimisation de la Politique Relative de Groupe (GRPO) sans l'utilisation d'un critique par fonction de valeur appris.

A. L'LLM en tant que Synthétiseur

Le système traite la génération de code OpenQASM ou de code Python Qiskit comme une tâche de génération de code conditionnelle.

Entrée : Prompts en langage naturel spécifiant les algorithmes cibles (ex. QFT, simulation hamiltonienne) et les contraintes.
Modèle : Un LLM de génération de code de 7 milliards de paramètres (Qwen2.5-Coder-7B) ajusté par instruction et optimisé via Low-Rank Adaptation (LoRA).
Génération : La politique échantillonne $N=8$ circuits candidats par prompt via un échantillonnage autorégressif.
Analyse Syntaxique (Parsing) : Un analyseur multi-stratégie extrait des objets de circuits exécutables à partir de la sortie textuelle brute du LLM. Les sorties impossibles à analyser se voient immédiatement assigner une récompense de zéro.

B. Moteur de Récompense Guidé par Rubrique

Au lieu d'un critique neuronal, RubriQ emploie un moteur de notation programmatique déterministe qui évalue les circuits selon cinq dimensions orthogonales. La récompense totale $R(y)$ est une somme pondérée :
$R(y) = w_C S_C + w_T S_T + w_H S_H + w_F S_F + w_E S_E$

Fraction Clifford ( $S_C$ ) : La proportion de portes qui sont des opérations Clifford (efficaces à simuler).
Réduction du Compte T ( $S_T$ ) : Une fonction de décroissance exponentielle pénalisant les comptes élevés de portes T, privilégiant l'élimination des premières portes T en raison de la nature par lots de la distillation.
Compatibilité Matérielle ( $S_H$ ) : Évalue la conformité avec des topologies de backend spécifiques (ex. IBM Heavy-Hex, IonQ All-to-All), pénalisant la surcharge de routage SWAP et les portes non-natives.
Fidélité Fonctionnelle ( $S_F$ ) : Calcule la fidélité de processus via le produit scalaire de Hilbert-Schmidt entre l'unitaire généré et l'algorithme cible, garantissant la correction algorithmique.
Efficacité du Circuit ( $S_E$ ) : Récompense la compacité et la faible profondeur du circuit.

C. Boucle d'Entraînement GRPO

RubriQ utilise l'Optimisation de la Politique Relative de Groupe (GRPO) pour mettre à jour la politique :

Normalisation de Groupe : Pour un prompt donné, les récompenses des $N$ complétions échantillonnées sont normalisées en soustrayant la moyenne du groupe et en divisant par l'écart-type du groupe.
Sans Critique : Cette approche élimine le besoin d'une fonction de valeur apprise, s'appuyant sur les signaux denses et déterministes fournis par la rubrique.
Estimation de l'Avantage : L'avantage normalisé $\hat{A}_i$ pilote les mises à jour du gradient de la politique, permettant au modèle d'apprendre à partir de retours gradués plutôt que de signaux de succès/échec binaires et éparses.

D. Architecture des Systèmes HPC

Pour gérer le coût computationnel de la simulation de fidélité (évoluant en $O(4^{n_q})$ ), RubriQ est déployé sur le supercalculateur NERSC Perlmutter :

Matériel : Clusters NVIDIA A100 (80 Go) connectés via Slingshot-11.
Optimisation : Utilise DeepSpeed ZeRO-2 pour la partition distribuée des états de gradient et de l'optimiseur.
Simulation : Intègre la simulation CUDA-Q accélérée par GPU directement dans la boucle de RL pour une évaluation de la fidélité à haut débit.
Efficacité : Atteint une efficacité de mise à l'échelle forte (strong-scaling) de >85 % sur 8 GPU.

3. Contributions Clés

Formulation LLM-as-Synthesizer : La première application de LLM de taille milliardaire, ajustés par instruction, à la synthèse de portes quantiques avec un post-entraînement par RL, allant au-delà des petits modèles transformeurs ou des règles heuristiques.
Moteur de Récompense par Rubrique Multi-Objectifs : Un remplacement novateur des critiques neuronaux par un système de notation interprétable et ancré dans le domaine, fournissant des récompenses denses et bornées à travers les dimensions Clifford, compte T, matériel, fidélité et efficacité.
Architecture HPC Scalable : Une implémentation complète du pipeline d'entraînement sur NERSC Performer démontrant une mise à l'échelle forte et réduisant le nombre total d'appels de simulation de 2 à 3 fois par rapport aux bases de référence à récompense éparse grâce à une convergence plus rapide.
Évaluation Validée par le Matériel : Déploiement réussi des circuits synthétisés sur les processeurs physiques IBM Heron-3 et IonQ Forte via un pipeline de transpilation automatisé.
Performance Expérimentale : Performance supérieure démontrée sur 1 500 circuits de référence, atteignant une compression de portes T significative et une convergence plus rapide que les bases de référence existantes.

4. Résultats

Compression des Portes T : RubriQ atteint une compression moyenne des portes T de 3,31× sur les jeux de données de référence, surpassant nettement les bases de référence RL à récompense éparse (2,05×) et les compilateurs basés sur des règles (Qiskit O3 : ~1,4×, TKET O2 : ~1,7×).
Vitesse de Convergence : Le cadre converge 2 à 3× plus vite que les méthodes de RL à récompense éparse, nécessitant moins d'époques d'entraînement pour atteindre les taux de compression cibles.
Efficacité des Ressources : Grâce à une convergence plus rapide, RubriQ réduit le nombre total d'heures-GPU d'environ 2,6× par rapport aux bases de référence Sparse-PPO et Sparse-GRPO.
Respect des Contraintes : Le système maintient moins de 1 % de violations de contraintes matérielles et atteint une haute fidélité fonctionnelle (>99 % dans de nombreux cas).
Validation Matérielle : Les circuits les mieux classés ont été exécutés avec succès sur le matériel IBM et IonQ, confirmant l'applicabilité pratique au-delà de la simulation.

5. Signification et Revendications

L'article affirme que RubriQ établit un nouveau paradigexe pour la découverte scientifique automatisée en informatique quantique en unifiant la génération de code pilotée par LLM avec l'apprentissage par renforcement vérifiable par rubrique. Sa signification réside dans :

Scalabilité : Prouver que la synthèse basée sur les LLM peut être mise à l'échelle dans des environnements HPC pour résoudre la complexité exponentielle de l'optimisation des circuits quantiques.
Sensibilité aux Contraintes : Répondre avec succès aux doubles exigences de la préparation à la FTQC (minimisation du compte T) et de la compatibilité matérielle à court terme (contraintes de topologie) au sein d'un cadre d'optimisation unique.
Efficacité : Démontrer que le façonnage de récompense programmatique dense est computationnellement supérieur aux récompenses éparses ou aux critiques neuronaux pour ce domaine, permettant l'entraînement de grands modèles sur des charges de travail quantiques réalistes.
Praticité : Valider que les circuits générés par l'IA ne sont pas seulement théoriquement optimaux, mais aussi exécutables sur le matériel quantique de génération actuelle.

Les auteurs positionnent RubriQ comme une étape cruciale vers des pipelines de haute performance pilotés par le calcul haute performance pour la génération de circuits quantiques prêts pour la tolérance aux fautes et utilisables à grande échelle.