QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

L'article présente QASM-Eval, le premier ensemble de données et banc d'essai complet conçu pour entraîner et évaluer les grands modèles de langage sur les fonctionnalités avancées orientées vers le matériel d'OpenQASM-3, telles que la rétroaction classique et le contrôle des impulsions, démontrant qu'un ajustement fin ciblé améliore considérablement la performance des modèles dans ces tâches de programmation critiques de l'ère NISQ.

L'essentiel

Imaginez que vous essayez d'enseigner à un apprenti brillant mais inexpérimenté comment construire une machine très délicate et de haute technologie. Cette machine est un ordinateur quantique.

Pendant longtemps, les instructions que nous donnions à cet apprenti ressemblaient à une simple recette : « Mélangez ces ingrédients, faites cuire pendant 10 minutes. » Cela fonctionnait pour des tâches basiques, mais la machine entre maintenant dans une phase bruyante et difficile (appelée l'ère NISQ). Pour qu'elle fonctionne de manière fiable, les instructions doivent devenir beaucoup plus précises. L'apprenti doit désormais savoir exactement quand vérifier la température, comment ajuster la porte du four en pleine cuisson, et même comment modifier la forme des ondes de chaleur elles-mêmes.

Le langage utilisé pour ces instructions ultra-précises s'appelle l'OpenQASM 3. C'est le « manuel matériel » des ordinateurs quantiques.

Le Problème : L'Apprenti est Confus

Même si l'Intelligence Artificielle (IA) est devenue très douée pour écrire du code, il y avait un problème majeur : personne n'avait construit de test d'entraînement spécifique pour ce nouveau langage complexe.

Les tests existants étaient comme demander à l'apprenti de « faire un gâteau » (logique de haut niveau) ou de « réparer un grille-pain cassé » (circuits basiques). Mais ils ne testaient pas si l'apprenti pouvait :

1. S'arrêter et réfléchir : Arrêter le processus de cuisson, vérifier un capteur, et décider s'il faut ajouter plus de sucre en fonction de cette lecture (Logique Classique).
2. Maîtriser le timing parfaitement : Attendre exactement 0,0000001 seconde avant d'ouvrir la porte, ou synchroniser deux fours parfaitement (Planification Temporelle/Scheduling).
3. Ajuster les ondes : Ajuster manuellement la forme des ondes de chaleur frappant les aliments pour éviter qu'ils ne brûlent (Contrôle d'Impulsion/Pulse Control).

Sans un test d'entraînement pour ces compétences spécifiques, les modèles d'IA devinaient, et ils échouaient lamentablement.

La Solution : QASM-Eval (L'Examen de Fin d'Études Ultime)

Les auteurs de cet article ont créé QASM-Eval. Voyez cela comme une immense salle de sport spécialisée et un examen final pour l'IA, conçu spécifiquement pour l'OpenQASM 3.

• Le Jeu de Données d'Entraînement : Ils ont généré 4 000 problèmes d'entraînement. Ce ne sont pas de simples questions aléatoires ; ce sont des scénarios soigneusement élaborés où l'IA doit remplir le code manquant pour faire fonctionner correctement la machine quantique.
• L'Examen : Ils ont créé un test strict de 100 questions.
• Le Système de Notation : Ils ont construit un « robot professeur » spécial (un vérificateur automatisé). Ce robot ne se contente pas de vérifier si le code semble correct ; il simule réellement la machine quantique pour voir si le code produit le résultat attendu, respecte les règles de timing et ne fait pas planter le système.

Ce Qu'Ils Ont Découvert

Les chercheurs ont soumis plusieurs modèles d'IA de haut niveau (comme Llama et GPT) à ce nouvel examen. Voici ce qui s'est passé :

1. La Lutte du « Zero-Shot » : Lorsqu'ils ont demandé à l'IA de passer l'examen sans aucune aide (juste « voici la question, résolvez-la »), les résultats ont été terribles. Les IA étaient comme des étudiants qui avaient étudié la physique générale mais qui n'avaient jamais vu le plan spécifique de cette machine. Elles ne parvenaient pas à respecter la syntaxe, et encore moins le timing.
2. Le Boost du « Few-Shot » : Lorsque les chercheurs ont donné à l'IA quelques exemples de résolution de problèmes similaires au préalable (comme montrer un exemple de corrigé), les scores ont augmenté. C'était comme donner à l'étudiant une fiche de triche avec un exemple.
3. La Percée du « Fine-Tuning » : Ce fut la grande victoire. Les chercheurs ont pris les modèles d'IA et les ont « entraînés » spécifiquement sur leurs 4 000 problèmes d'entraînement.
   • Le Résultat : Un modèle d'IA de taille moyenne (Llama-8B), après cet entraînement spécifique, a performé presque aussi bien que l'IA la plus puissante et la plus coûteuse (GPT-5.2) qui n'avait reçu aucun entraînement.
   • Le Champion : Un modèle d'IA plus grand (Llama-70B), après entraînement, est devenu un maître. Il a obtenu 85 % à l'examen, battant même l'IA la plus puissante lorsqu'on lui donnait quelques exemples.

La Conclusion

L'article conclut que le goulot d'étranglement n'est pas que l'IA soit « stupide » en physique quantique. Le goulot d'étranglement est que l'IA ne connaît pas la grammaire et les règles spécifiques de l'OpenQASM 3.

En créant un jeu de données dédié (QASM-Eval) et en entraînant l'IA sur celui-ci, ils ont prouvé que l'on peut transformer une IA à usage général en un programmeur quantique hautement fiable. C'est comme prendre une personne intelligente qui sait conduire une voiture et lui donner un manuel spécifique et une piste d'essai pour une voiture de Formule 1 ; soudain, elle peut conduire la voiture de course parfaitement.

Ce jeu de données est désormais ouvert à tous, aidant à construire de meilleurs assistants d'IA qui pourront aider les humains à programmer la prochaine génération d'ordinateurs quantiques.

Résumé technique

Résumé Technique : QASM-Eval

Énoncé du Problème

Le calcul quantique opère actuellement dans l'ère du NISQ (Noisy Intermediate-Scale Quantum), où les performances sont fortement contraintes par le bruit. L'atténuation de ces erreurs nécessite des capacités orientées vers le matériel qui vont au-delà des spécifications standards de séquences de portes. Ces capacités incluent la mesure à l'intérieur du circuit et le retour d'information classique pour la correction d'erreurs quantiques (QEC), le contrôle précis du timing pour le découplage dynamique (DD), et l'accès aux formes d'ondes au niveau des impulsions pour le calibrage.

OpenQASM 3 a été introduit pour exposer ces fonctionnalités matérielles avancées, fournissant une interface de programmation qui lie les algorithmes à la physique. Cependant, malgré l'avancement rapide des modèles de langage de grande taille (LLM) dans la génération de code, il existe un manque critique de jeux de données conçus pour entraîner et évaluer les LLM sur les programmes OpenQASM 3 utilisant ces fonctionnalités avancées orientées matériel. Les ressources existantes se concentrent soit sur la conception d'algorithmes de haut niveau (ex: jeux de données basés sur Qiskit), soit sont limitées à des circuits statiques de séquences de portes, échouant ainsi à couvrir la nature dynamique et riche en contraintes d'OpenQASM 3. Par conséquent, les LLM actuels peinent à générer du code valide respectant les contraintes syntaxiques et sémantiques strictes d'OpenQASM 3 concernant la logique classique, le timing et le contrôle des impulsions.

Méthodologie

Construction du Jeu de Données (QASM-Eval)

Les auteurs introduisent QASM-Eval, le premier jeu de données complet conçu spécifiquement pour l'entraînement et l'évaluation des LLM sur OpenQASM 3. Le jeu de données est construit via un pipeline hybride impliquant des experts en programmation quantique humaine et l'IA, garantissant à la fois diversité et exactitude tout en évitant la fuite de données.

1. Préparation des Modèles (Templates) : Des experts conçoivent des « modèles de contexte » (randomisant les configurations de qubits, les fréquences et les états initiaux) et des « modèles de tâches centrales » (ciblant des thèmes spécifiques comme les flux if/else ou les opérations d'impulsion).
2. Génération d'Instances : Un LLM codeur (Qwen3-Coder-480B), augmenté de la documentation OpenQASM 3, génère des variantes stylistiques et structurelles des tâches centrales. Celles-ci sont combinées avec des contextes randomisés pour créer des programmes OpenQASM 3 complets.
3. Génération de Prompts : Le code de la tâche centrale est remplacé par un commentaire de type « TODO » en langage naturel décrivant la fonctionnalité requise, créant ainsi une paire spécification-solution.
4. Composition du Jeu de Données :
   • Ensemble de Test : 100 tâches vérifiées par des experts.
   • Ensemble d'Entraînement : 4 000 tâches.
   • Catégories : Le jeu de données couvre quatre catégories :
     • Logique Classique : Flux de contrôle, mesure à l'intérieur du circuit, arithmétique et conversion de types.
     • Planification du Timing : Insertion de délais, types de durée, intervalles extensibles et alignement.
     • Contrôle des Impulsions : Manipulation de formes d'ondes, synchronisation de trames et calibrage.
     • Tâches Complexes : Flux de travail réels intégrant les éléments précédents, tels que la QEC, le DD et le calibrage de la diaphonie (crosstalk).

Cadre d'Évaluation

Pour valider les programmes générés, les auteurs ont développé un vérificateur automatique étendu qui vérifie :

• La Syntaxe : Analyse via le parseur officiel OpenQASM 3 pour assurer des arbres de syntaxe abstraite (AST) bien formés.
• L'État Quantique : Utilisation de la simulation de vecteur d'état (Qiskit) et de la simulation au niveau des impulsions (Qutip) pour vérifier la distribution de l'état quantique final par rapport aux comportements de référence.
• Le Planning (Schedule) : Génération d'une chronologie virtuelle pour vérifier que les contraintes de timing (ex: alignement, délais) sont respectées.

Le critère de réussite exige une analyse syntaxique réussie et, selon le type de tâche, la réussite de la vérification de l'état, de la vérification du planning, ou des deux.

Contributions Clés

1. Premier Jeu de Données Orienté Matériel pour OpenQASM 3 : QASM-Eval est la première ressource couvrant systématiquement les fonctionnalités avancées d'OpenQASM 3 (logique classique, timing et contrôle des impulsions) spécifiquement pour l'entraînement et l'évaluation des LLM.
2. Pipeline de Vérification Automatisée : Les auteurs ont étendu les chaînes d'outils existantes pour supporter la vérification automatique des caractéristiques uniques d'OpenQASM 3, incluant le timing dynamique et la sémantique des impulsions, atteignant un taux d'accord de 92 % avec les experts humains.
3. Résultats de Benchmarking et de Fine-Tuning : L'article fournit un benchmark rigoureux montrant que les modèles de pointe éprouvent des difficultés avec les tâches OpenQASM 3 mais peuvent obtenir des améliorations significatives grâce à un fine-tuning ciblé.

Résultats Expérimentaux

Les auteurs ont évalué plusieurs modèles, notamment ChatGPT-5.2-Thinking, DeepSeek-V3 et des variantes de Llama-3 (8B et 70B), en utilisant le jeu de test QASM-Eval.

• Performance de Base : Les modèles de pointe présentent des performances limitées. ChatGPT-5.2-Thinking a atteint un pass@1 global de 0,54, tandis que les bases open-source (Llama-70B, Llama-8B) ont obtenu des scores nettement inférieurs (respectivement 0,27 et 0,24). La performance était particulièrement faible sur les tâches « Complexes » (0,00–0,08).
• Prompting Few-Shot : Fournir trois exemples en contexte a amélioré les performances, ChatGPT-5.2-Thinking atteignant 0,78 globalement. Cependant, cette approche repose sur la capacité du modèle à inférer des motifs à partir d'exemples plutôt que sur une connaissance internalisée.
• Impact du Fine-Tuning : Le fine-tuning sur le jeu d'entraînement QASM-Eval a produit les gains les plus substantiels :
  • Llama-3-70B : A atteint un pass@1 global de 0,85, surpassant le ChatGPT-5.2-Thinking augmenté par le few-shot (0,78).
  • Llama-3-8B : Est passé de 0,24 à 0,52, approchant la performance zero-shot de ChatGPT-5.2-Thinking.
  • Le fine-tuning sur des jeux de données précédents (QCircuitBench, Agent-Q) n'a apporté que des améliorations marginales, soulignant la nécessité de données spécifiques aux fonctionnalités matérielles d'OpenQASM 3.
• Analyse d'Erreur : Le fine-tuning a principalement réduit les erreurs de syntaxe (ex: affectation de mesure incorrecte ou syntaxe switch invalide), qui étaient le mode d'échec dominant pour les modèles de base. Bien que la validité syntaxique se soit nettement améliorée, les erreurs sémantiques (décalages de timing et de distribution) restaient un défi, particulièrement pour les modèles plus petits.

Signification et Revendications

L'article positionne QASM-Eval comme un benchmark et une fondation d'entraînement cruciaux pour l'ère NISQ. Les auteurs affirment que :

• Les LLM actuels manquent des connaissances syntaxiques et sémantiques spécifiques requises pour la programmation quantique orientée matériel.
• Le fine-tuning ciblé sur QASM-Eval débloque des capacités substantielles, permettant à des modèles de taille moyenne (comme Llama-3-70B) de surpasser la performance de modèles plus grands assistés par le few-shot.
• Le jeu de données et le cadre de vérification constituent une étape nécessaire vers le développement d'assistants LLM fiables capables de combler le fossé entre l'intention algorithmique et l'exécution physique quantique, allant au-delà de la conception de circuits abstraits pour atteindre les réalités pratiques de l'atténuation du bruit et du calibrage.

Les auteurs restent modestes quant à la portée, notant que les tâches actuelles se concentrent sur la traduction de code contraint plutôt que sur le raisonnement algorithmique ouvert, et que la nature synthétique des données peut ne pas capturer pleinement la complexité non structurée des bases de code quantiques réelles. Cependant, ils affirment que QASM-Eval établit une base vitale pour la recherche future en ingénierie du logiciel quantique.