Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation

Ce document présente une adaptation basée sur Qiskit des QuantumKatas de Microsoft en tant que benchmark complet pour évaluer les LLM sur des tâches d'informatique quantique, révélant que si les modèles excellent dans la mise en œuvre d'algorithmes connus, ils éprouvent des difficultés avec le codage des problèmes et que l'incitation par chaîne de pensée produit des résultats mitigés selon les différentes architectures de modèles.

L'essentiel

Imaginez que vous possédez une gigantesque bibliothèque de 350 énigmes conçues pour enseigner à quelqu'un comment parler le « Quantique », une étrange nouvelle langue utilisée pour programmer les ordinateurs quantiques. Pendant des années, ces énigmes ont été rédigées dans une langue appelée Q# (le dialecte de Microsoft).

Cet article porte sur deux points principaux :

1. La Traduction de la Bibliothèque : Les auteurs ont pris ces 350 énigmes et les ont traduites en Qiskit, qui est le « dialecte » (framework) le plus populaire utilisé par les programmeurs quantiques aujourd'hui.
2. Le Test des Étudiants : Ils ont utilisé cette bibliothèque traduite comme un examen géant pour tester 16 modèles d'Intelligence Artificielle (IA) différents afin de voir à quel point ils sont bons pour résoudre ces énigmes quantiques.

Voici une analyse de ce qu'ils ont découvert, en utilisant des analogies simples :

1. L'Examen : « QuantumKatas »

Considérez les QuantumKatas comme un jeu vidéo comportant 26 niveaux différents, allant du « Tutoriel » (très facile) à la « Bataille contre le Boss » (très difficile).

• Les Niveaux : Certains niveaux demandent à l'IA d'effectuer des astuces simples, comme retourner une pièce (une porte de base). D'autres demandent à l'IA de résoudre des énigmes complexes, comme trouver une aiguille cachée dans une botte de foin en utilisant un algorithme spécifique (la recherche de Grover) ou réparer une machine cassée (correction d'erreurs).
• La Traduction : Les auteurs n'ont pas inventé de nouvelles énigmes ; ils ont simplement traduit celles existantes de la langue Q# de Microsoft vers la langue Qiskit d'IBM. Cela garantit que la difficulté est équitable et que les concepts sont identiques.
• La Notation : Ils n'ont pas seulement demandé à l'IA d'écrire du code ; ils ont exécuté ce code dans un simulateur (un ordinateur quantique virtuel) pour vérifier s'il fonctionnait réellement. Si les mathématiques ne correspondaient pas, l'IA échouait.

2. Les Étudiants : 16 Modèles d'IA

Ils ont testé 16 « étudiants » IA différents.

• Les Étudiants « Élite » (Modèles de Pointe) : Ce sont les grands modèles propriétaires et coûteux (comme GPT-5.5, Claude Opus, Gemini 3.1).
• Les Étudiants « Ouverts » (Modèles Open Source) : Ce sont des modèles gratuits que n'importe qui peut télécharger (comme Llama, Mistral, Gemma).

Les Résultats :

• L'Écart : Les étudiants Élite ont obtenu des scores bien supérieurs aux étudiants Ouverts. En moyenne, les étudiants Élite ont eu raison sur environ 75 % des énigmes, tandis que les étudiants Ouverts n'ont eu raison que sur environ 49 %. C'est comme la différence entre un élève d'honneur et un élève qui a simplement réussi.
• La Taille ne Gagne pas Toujours : Fait intéressant, avoir un « cerveau plus gros » (plus de paramètres) ne garantissait pas un meilleur score. Certains modèles plus petits, mieux ajustés, ont surpassé des modèles massifs. Il ne s'agit pas seulement de la taille du cerveau, mais de la manière dont il a été entraîné.

3. Les Indices d'Étude (Stratégies de Prompting)

Les chercheurs ont essayé différentes façons de poser les questions pour voir si cela aidait l'IA à mieux performer.

• La Méthode « Montrez-moi » (Few-Shot) : Ils ont fourni à l'IA quelques exemples d'énigmes résolues avant de lui demander d'en résoudre une nouvelle. C'était la méthode la plus fiable pour presque tout le monde. C'est comme montrer à un élève un problème de mathématiques résolu avant de lui donner un examen.
• La Méthode « Pensez à voix haute » (Chain-of-Thought) : Ils ont demandé à l'IA d'expliquer son raisonnement étape par étape avant d'écrire le code.
  • La Surprise : Cela a très bien fonctionné pour les modèles « Ajustés au Raisonnement » (ceux spécifiquement entraînés à réfléchir intensément), augmentant leurs scores.
  • L'Inconvénient : Pour la plupart des autres modèles, penser à voix haute les a en fait rendus pires. C'est comme demander à un élève de verbaliser chaque étape d'une énigme, et il se laisse tellement distraire par la parole qu'il oublie la solution.
• La Méthode « Fais-le » (Zero-Shot) : Poser simplement la question sans aucun exemple. Cela a fonctionné le mieux pour les modèles absolument les plus intelligents (comme GPT-5.5), qui n'avaient pas besoin d'aide.

4. Où Ont-ils Échoué ?

Les étudiants IA étaient bons dans certaines choses et terribles dans d'autres :

• Le Point Fort : Ils étaient excellents pour réciter des algorithmes connus. Si l'énigme demandait : « Écrivez le code pour l'algorithme de Simon », ils avaient raison 82 % du temps. C'est comme mémoriser une recette et la cuisiner parfaitement.
• Le Point Faible : Ils peinaient avec l'encodage des problèmes. Si l'énigme disait : « Prenez ce problème réel désordonné (comme une énigme logique) et transformez-le en recette quantique », ils échouaient souvent (seulement 34 % de réussite). C'est comme être excellent pour suivre une recette mais terrible pour inventer un nouveau plat à partir de zéro.
• Le Piège de la « Mesure » : Ils avaient également du mal avec les tâches impliquant la « mesure » (vérifier le résultat d'un état quantique). Cela semble être un angle mort spécifique pour l'IA actuelle.

5. Le Verdict

• L'IA s'améliore, mais n'est pas parfaite : La meilleure IA peut résoudre environ 83 % de ces énigmes quantiques. C'est impressionnant pour un sujet aussi difficile, mais ce n'est pas encore parfait.
• Le Problème de « Traduction » : L'IA est meilleure pour copier des modèles connus que pour traduire un nouveau problème désordonné en code quantique.
• Une Taille Unique Ne Convient Pas à Tous : Vous ne devriez pas utiliser le même « indice d'étude » (prompt) pour chaque IA. Certains ont besoin d'exemples, d'autres doivent penser à voix haute, et certains ont juste besoin qu'on les laisse tranquilles.

En résumé : Les auteurs ont construit un « Permis de Conduire Quantique » standardisé dans la langue la plus populaire. Ils ont constaté que si l'IA devient très bonne pour conduire sur des routes connues (algorithmes standards), elle peine encore à naviguer lorsque la carte manque (résoudre de nouveaux problèmes). Les modèles d'IA « Élite » sont actuellement les meilleurs conducteurs, mais l'écart entre eux et les modèles « Ouverts » est significatif.

Résumé technique

Résumé technique : Qiskit QuantumKatas pour l'évaluation des LLM

Énoncé du problème

Bien que les modèles de langage de grande taille (LLM) aient démontré de solides capacités de génération de code en programmation générale et en science des données, leur maîtrise dans le domaine spécialisé du calcul scientifique, et plus précisément du calcul quantique, reste sous-étudiée. Le calcul quantique présente un défi unique en raison de son paradigme de calcul non classique, qui nécessite une compréhension de la superposition, de l'intrication et de la mesure. Les benchmarks existants pour les tâches quantiques sont souvent limités en échelle, manquent de structure pédagogique ou se concentrent sur des connaissances à choix multiples plutôt que sur la génération de code. Il existe un besoin d'un benchmark à grande échelle et structuré permettant une analyse fine de la capacité des LLM à générer du code quantique fonctionnel au sein du framework le plus largement adopté, Qiskit.

Méthodologie

Les auteurs introduisent Qiskit QuantumKatas, un benchmark adaptant le curriculum établi de Microsoft QuantumKatas (à l'origine en Q#) vers Qiskit. La méthodologie comprend :

1. Construction du jeu de données :

   • Traduction : 350 tâches de programmation distinctes ont été traduites de Q# vers Qiskit, en préservant la progression pédagogique originale, des portes de base aux algorithmes avancés.
   • Vérification : Un pipeline d'évaluation déterministe a été construit en utilisant la simulation de circuits classiques (les modules AerSimulator et Statevector de Qiskit). Chaque tâche comprend un prompt en langage naturel, une solution canonique et une fonction de test qui vérifie l'exactitude par comparaison d'états vectoriels ou par analyse des résultats de mesure.
   • Catégorisation : Les tâches sont organisées en 26 catégories (par exemple, BasicGates, Algorithme de Grover, Correction d'erreurs quantiques) et trois niveaux pédagogiques : Introductif (95 tâches), Intermédiaire (132 tâches) et Avancé (123 tâches).

2. Cadre d'évaluation :

   • Modèles : 16 LLM ont été évalués, comprenant 6 modèles de pointe (propriétaires) (par exemple, GPT-5.5, Claude Opus 4.7) et 10 modèles open source (allant de 8 à 675 milliards de paramètres).
   • Configurations de prompt : Chaque modèle a été testé selon 7 stratégies de prompt : trois variantes zero-shot (par défaut, minimale, détaillée), trois variantes few-shot (1-shot, 3-shot, 5-shot utilisant des exemples des catégories introductives) et une configuration de chaîne de pensée (CoT).
   • Exécution : L'étude a impliqué 39 200 exécutions de modèles. Les solutions ont été analysées, vérifiées syntaxiquement et exécutées dans des sous-processus isolés avec un délai d'attente de 30 secondes. Les résultats Pass@1 (tentative unique) ont été rapportés à une température de 0 pour garantir la reproductibilité.

Contributions clés

• Adaptation du benchmark : Une traduction complète du curriculum QuantumKatas de 350 tâches de Q# vers Qiskit, rendant une ressource pédagogique éprouvée accessible pour évaluer le framework quantique dominant.
• Infrastructure d'évaluation : Un pipeline d'évaluation robuste et déterministe intégrant une simulation classique pour la vérification, un support multi-fournisseurs et des stratégies de prompt configurables.
• Analyse empirique : La plus grande évaluation systématique des LLM sur la génération de code quantique à ce jour, fournissant des résultats de référence, des taxonomies d'erreurs et un profilage de performance fin à travers 26 catégories.
• Publication ouverte : Le jeu de données, le cadre d'évaluation et les résultats de référence sont publiés pour soutenir la recherche reproductible.

Résultats

L'évaluation a produit plusieurs conclusions critiques concernant les capacités des LLM en calcul quantique :

1. Écart de performance des modèles :

   • Les taux de réussite avec la meilleure configuration variaient de 32,3 % (Granite 4.1 8B) à 83,1 % (GPT-5.5).
   • Un écart persistant de 26,1 points de pourcentage existe entre les modèles de pointe (moyenne de 75,3 %) et les modèles open source (moyenne de 49,3 %).
   • L'échelle du modèle n'est pas un prédicteur parfait de la performance ; par exemple, le Mistral Large 3 de 675 milliards de paramètres (48,6 %) a sous-performé par rapport au Gemma 4 de 31 milliards de paramètres (68,0 %).

2. Effets des stratégies de prompt :

   • Le prompting few-shot (spécifiquement 5-shot) s'est avéré la stratégie la plus fiable en moyenne (57,8 % de moyenne), surpassant le zero-shot et la chaîne de pensée.
   • La chaîne de pensée (CoT) a montré un effet bimodal : elle était la meilleure stratégie pour trois modèles (dont deux explicitement ajustés pour le raisonnement : GPT-5.3-Codex et Gemini 3.1 Pro), mais dégradait la performance pour la majorité des autres modèles (par exemple, une baisse de 11,1 points de pourcentage pour Claude Sonnet 4.6). Cela suggère que la CoT n'est pas universellement bénéfique pour la génération de code quantique.

3. Difficulté des tâches et capacités :

   • Implémentation d'algorithmes vs Encodage de problèmes : Les modèles performent bien sur l'implémentation d'algorithmes connus (par exemple, Algorithme de Simon : 82,1 %, BasicGates : 81,6 %) mais peinent considérablement à encoder des problèmes classiques en primitives quantiques (par exemple, SolveSATWithGrover : 34,4 %, DistinguishUnitaries : 40,0 %).
   • Analyse des erreurs : Le mode d'échec dominant est l'erreur logique (43,0 %, principalement AssertionError), où le code s'exécute mais produit des états quantiques incorrects. Cela indique que le raisonnement quantique, plutôt que la syntaxe ou l'utilisation des API, constitue le principal goulot d'étranglement.
   • Raisonnement sur la mesure : Les catégories impliquant des résultats de mesure et le choix de base (par exemple, Measurements, Teleportation) ont systématiquement montré des taux de réussite plus faibles, mettant en évidence une faiblesse spécifique dans le raisonnement sur les interfaces classique-quantique.

Importance

L'article affirme que le benchmark Qiskit QuantumKatas fournit un outil rigoureux et pédagogiquement structuré pour évaluer les LLM dans un domaine scientifique spécialisé. Son importance réside dans :

• Différenciation : Le benchmark différencie efficacement les capacités des modèles sur un large spectre de performance, évitant les effets de plafond ou de plancher.
• Granularité : La structure à 26 catégories permet une analyse fine, révélant que les LLM peuvent traduire des structures algorithmiques documentées en code plus facilement qu'ils ne peuvent formuler de nouvelles solutions quantiques pour des problèmes classiques.
• Utilité éducative et développementale : Les résultats suggèrent que, si les modèles de pointe deviennent viables pour le tutorat automatisé et la complétion de code dans les sujets quantiques introductifs, ils ne sont pas encore fiables pour la formulation de problèmes avancés ou l'arithmétique complexe.
• Orientation future : L'étude met en évidence que le passage à l'échelle seul ne comble peut-être pas l'écart dans les domaines spécialisés ; un entraînement ciblé et des capacités de raisonnement améliorées sont probablement nécessaires pour relever les défis spécifiques de l'encodage de problèmes et du raisonnement sur la mesure.

Les auteurs soulignent que le benchmark sert de fondation pour la recherche future, incluant des tâches sensibles au bruit, des algorithmes de niveau recherche et le développement de données d'entraînement spécifiques au domaine pour combler l'écart de performance entre les modèles de pointe et les modèles open source.