⚛️ quantum physics

AG-CoT: Verified Algorithmic Traces for LLM Program Synthesis on Clifford Circuits

Cet article démontre que l'entraînement de modèles de langage sur des traces de chaîne de pensée vérifiées d'Aaronson-Gottesman, combiné à un entraînement de continuation filtré par un vérificateur, améliore significativement la précision de la synthèse de circuits de Clifford corrects pour la correction d'erreurs quantiques par rapport aux bases de référence composées uniquement de circuits.

Auteurs originaux : Lu Wei, Yufeng Wang, Chenfeng Cao, Lu Pang, Haibin Ling

Publié 2026-09-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lu Wei, Yufeng Wang, Chenfeng Cao, Lu Pang, Haibin Ling

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le domaine émergent de l'informatique quantique, les scientifiques apprennent à construire des machines qui opèrent selon les règles étranges du monde subatomique. Pour faire fonctionner ces machines, les chercheurs doivent écrire des logiciels — appelés circuits quantiques — qui manipulent de minuscules unités d'information pour atteindre un résultat spécifique et souhaité. Considérez un circuit quantique comme un ensemble d'instructions qui guide une particule d'un point de départ vers une destination précise. Le défi est que ces instructions sont incroyablement fragiles ; une seule erreur peut envoyer la particule au mauvais endroit, rendant l'ensemble du calcul inutile. Pendant des années, les informaticiens ont tenté d'apprendre à l'intelligence artificielle à écrire ces circuits automatiquement, espérant que les machines pourraient apprendre à concevoir la logique complexe requise pour les expériences quantiques. Cependant, un obstacle majeur est demeuré : une IA peut souvent produire un code qui semble parfaitement correct en surface, respecte toutes les règles grammaticales du langage de programmation, et fonctionne même sans planter, tout en échouant à préparer l'état quantique exact nécessaire. Le code est valide, mais le résultat est erroné.

Une nouvelle étude s'attaque à ce problème spécifique en se concentrant sur un type particulier de circuit quantique appelé circuit de Clifford. Ces circuits sont spéciaux car ils sont suffisamment puissants pour être utiles à la correction d'erreurs et à d'autres tâches critiques, tout en possédant une propriété mathématique unique qui permet de les vérifier avec une précision parfaite sur un ordinateur standard. Contrairement à la plupart des simulations quantiques, qui nécessitent de suivre un nombre impossible de possibilités, ces circuits peuvent être vérifiés exactement et rapidement. Les chercheurs ont utilisé cet avantage pour créer un système d'entraînement pour les modèles de langage de grande taille. Au lieu de simplement demander à l'IA de deviner le code final, ils lui ont appris à montrer son raisonnement. Le système exigeait que l'IA génère une trace logique étape par étape — une chaîne de raisonnement expliquant comment transformer l'état initial en l'état cible — avant qu'elle ne soit autorisée à écrire le programme final. Cette trace était ensuite vérifiée par un vérificateur strict, un arbitre numérique qui confirmait si la logique était solide et si le circuit résultant préparait effectivement le bon état quantique. Seuls les exemples où l'IA réussissait la logique et le résultat final ont été conservés pour enseigner davantage au modèle.

Les résultats de cette approche ont été frappants. Lorsque les chercheurs ont testé l'IA sur des milliers de cibles quantiques différentes, les modèles ayant appris avec ces traces étape par étape vérifiées ont obtenu des performances nettement supérieures à ceux entraînés uniquement sur le code final. Pour l'un des modèles testés, le nombre de solutions correctes est passé d'une simple poignée à plus de deux cents sur le même ensemble de problèmes. Dans une autre famille de modèles, le taux de réussite est passé de moins de deux pour cent à près de neuf pour cent. L'étude a révélé que le simple fait de montrer la réponse finale à l'IA ne suffisait pas ; l'IA devait comprendre les étapes intermédiaires de la transformation pour réussir. De plus, les chercheurs ont découvert que même lorsqu'une IA produisait un code grammaticalement parfait et physiquement valide, elle préparait souvent le mauvais état quantique. Cet écart entre un programme valide et un résultat correct est un aperçu crucial, prouvant que la vérification de la syntaxe du code est insuffisante pour les tâches quantiques. Les modèles les plus performants étaient ceux qui apprenaient des traces vérifiées et étaient ensuite affinés en étant entraînés uniquement sur leurs propres tentatives réussies, créant ainsi un cycle d'amélioration piloté par une vérification exacte.

Les chercheurs ont également exploré si cette méthode pouvait passer à l'échelle supérieure avec des modèles d'IA beaucoup plus grands et plus puissants. Ils ont constaté que, bien que ces modèles plus vastes puissent presque parfaitement écrire du code respectant les règles et restant dans la famille valide des circuits quantiques, ils éprouvaient toujours des difficultés à atteindre l'état cible exact sans le guidage spécifique de l'entraînement basé sur la trace. Même avec les modèles les plus avancés, le taux de réussite pour la préparation de l'état exact restait relativement bas, oscillant autour de six pour cent pour les tentatives uniques. Cependant, lorsque les chercheurs permettaient au modèle de générer de nombreux candidats différents pour chaque problème et utilisaient le vérificateur pour choisir le meilleur, la couverture des solutions correctes s'améliorait considérablement. Cela suggère que, si l'IA s'améliore dans la mécanique de l'écriture du code quantique, la véritable difficulté réside dans la compréhension sémantique profonde requise pour s'assurer que le code fait exactement ce qui est prévu. L'étude conclut que pour que l'IA devienne un partenaire fiable dans la conception d'expériences quantiques, elle doit être entraînée non seulement à produire du code, mais à produire un code dont la validité du résultat a été rigoureusement vérifiée, comblant ainsi le fossé entre un programme qui s'exécute et un programme qui fonctionne.

Résumé Technique : AG-COT : Traces Algorithmiques Vérifiées pour la Synthèse de Programmes par LLM sur des Circuits de Clifford

1. Énoncé du Problème

L'article traite d'une lacune critique dans la génération de code scientifique : la capacité des Grands Modèles de Langage (LLM) à produire des programmes syntaxiquement valides et exécutables qui, pourtant, échouent à calculer l'objet scientifique visé. Bien que les benchmarks basés sur l'exécution aient déplacé l'évaluation vers la correction comportementale, la synthèse de programmes quantiques présente un défi unique où un circuit peut être analysable (parse), exécutable et rester physiquement valide (par exemple, valide au sens de Clifford) tout en préparant le mauvais état quantique.

Les auteurs se concentrent sur les circuits de Clifford, qui sont construits à partir de portes Hadamard, de phase et CNOT. Ces circuits sont significatifs car ils :

Préparent des états stabilisateurs, essentiels pour la correction d'erreurs quantiques et le calcul quantique basé sur la mesure.
Admettent une vérification classique exacte via l'algorithme d'Aaronson–Gottesman, permettant une simulation efficace sans suivre les $2^n$ amplitudes.
Servent de cadre contrôlé pour tester si la supervision du processus de dérivation (traces algorithmiques) et l'entraînement sur des sorties vérifiées améliorent la correction sémantique au-delà de la simple génération de code.

Les benchmarks précédents, tels que QCircuitBench, ont montré que même les modèles de pointe (incluant GPT-4o) atteignaient une fidélité proche de zéro sur les tâches de préparation d'états de Clifford en utilisant un prompting standard, soulignant la difficulté de la tâche.

2. Méthodologie

Le cadre proposé, AG-COT, intègre la vérification exacte dans la boucle d'entraînement via deux mécanismes principaux : la Supervision par Trace Algorithmique et la Continuation Filtrée par Vérificateur.

2.1 Représentation de la Cible et Vérification

Au lieu d'utiliser des vecteurs d'état complets (qui sont exponentiellement grands), les cibles sont représentées sous forme de générateurs de stabilisateurs signés compacts. Cela réduit considérablement la longueur du prompt (par exemple, de ~16K caractères pour un vecteur d'état de 12 qubits à ~800 caractères pour le tableau).

Le Vérificateur : Une chaîne de décision ordonnée vérifie :
1. Validité Syntaxique ( $P(y)$ ) : Le résultat est-il analysable (parse) comme de l'OpenQASM ?
2. Validité de Clifford ( $K(y)$ ) : Le circuit analysé peut-il être converti en un objet Qiskit Clifford ?
3. Correspondance Exacte :
  - Correspondance de Label Stricte : Vérifie si les labels de stabilisateurs générés correspondent exactement aux labels cibles.
  - Équivalence d'État ($StateEq$) : Vérifie si l'état généré est équivalent à l'état cible, en ignorant les différences de base des générateurs.

2.2 Pipeline d'Entraînement

Le processus d'entraînement implique deux étapes distinctes :

Supervision AG-CoT (Trace Algorithmique) :
- Au lieu de s'entraîner uniquement sur le circuit OpenQASM final, le modèle est supervisé avec des traces de pensée (Chain-of-Thought) d'Aaronson–Gottesman (AG).
- Ces traces consistent en des étapes de réduction de tableau déterministes qui, lorsqu'elles sont inversées, produisent le circuit de préparation correct.
- Les données d'entraînement associent le prompt cible à un bloc <think> contenant la trace de réduction, suivi du programme OpenQASM final.
- Construction : Pour l'étude sur 32B, les traces sont dérivées de circuits de référence. Pour les études 3B/7B, les traces sont construites directement à partir de générateurs de stabilisateurs signés en complétant le tableau, en appliquant la réduction, en inversant les étapes et en compilant vers l'ensemble de portes autorisé.
- Seules les paires où le vérificateur accepte le circuit final sont incluses dans l'ensemble d'entraînement.
Continuation Filtrée par Vérificateur (Fine-Tuning par Échantillonnage de Rejet - RFT) :
- Après l'entraînement initial par AG-CoT, le modèle génère ses propres sorties.
- Le vérificateur filtre ces générations, ne conservant que celles qui passent le test d'équivalence d'état exacte.
- Le modèle subit un nouvel entraînement supervisé sur cet ensemble de ses propres générations réussies.

2.3 Configuration Expérimentale

Modèles : Les expériences ont été menées sur Qwen2.5-3B-Instruct, Mistral-7B-Instruct-v0.3, et Qwen2.5-Coder-32B-Instruct.
Baselines : Comparaison avec le SFT Direct (supervision de circuit uniquement) et les baselines Zero-shot.
Métriques : Évaluées sur la validité syntaxique, la validité de Clifford, la correspondance de label stricte, l'équivalence d'état et le Pass@N (couverture de recherche).

3. Contributions Clés

Supervision par Trace Algorithmique : L'article démontre que la supervision des modèles avec des traces AG-CoT vérifiées par un vérificateur améliore significativement la correction sémantique. Cette approche associe le circuit émis aux étapes de réduction spécifiques qui l'ont produit, enseignant au modèle la procédure de synthèse plutôt que seulement le format de sortie.
Continuation Filtrée par Vérificateur : Les auteurs montrent que continuer l'entraînement sur les sorties de son propre modèle acceptées par le vérificateur fournit un gain constant, bien que plus faible, par rapport à la baseline de trace supervisée.
Représentation Compacte de la Cible : Ce travail établit un pipeline où les cibles sont spécifiées via des générateurs de stabilisateurs signés, permettant une vérification exacte et réduisant la surcharge des prompts tout en maintenant une pleine précision sémantique.
Évaluation Complète : L'étude sépare la validité syntaxique, la validité de Clifford et l'équivalence d'état pour démontrer qu'un code quantique valide prépare souvent un mauvais état, confirmant la nécessité d'une vérification exacte.

4. Résultats

4.1 Comparaisons Contrôlées (Modèles 3B et 7B)

Sur un ensemble de test de 3 661 cibles :

Qwen2.5-3B :
- Le SFT Direct a atteint 0,90 % de succès de tâche (33/3 661).
- L'AG-CoT SFT a augmenté le succès à 5,49 % (201/3 661), soit un gain de 4,59 points de pourcentage.
- Les versions RFT filtrées par vérificateur ont atteint 5,74 % – 5,87 % (210–215 succès).
Mistral-7B :
- Le SFT Direct a atteint 1,94 % (71/3 661).
- L'AG-CoT SFT a augmenté le succès à 8,63 % (316/3 661), soit un gain de 6,69 points de pourcentage.
- Le RFT a atteint 8,80 % (322/3 661).
Signification Statistique : Les tests de McNemar ont confirmé que les gains de l'AG-CoS par rapport au SFT Direct sont hautement significatifs ( $p < 10^{-48}$ pour Qwen, $p < 10^{-72}$ pour Mistral). Les gains du RFT étaient plus faibles et moins uniformément significatifs.

4.2 Étude 32B

Syntaxe et Validité : Les modèles supervisés ont atteint une validité syntaxique et de Clifford quasi parfaite (~99,9 %), tandis que les modèles Zero-shot peinaient (< 40 %).
Équivalence d'État : Malgré une haute validité, le modèle le plus fort (RFT-v1) n'a atteint que 6,14 % d'équivalence d'état.
Couverture de Recherche : En utilisant une sélection guidée par le vérificateur avec 64 candidats par cible (Best-of-64), la couverture pour l'AG-CoT de base est montée à 10,07 % sous équivalence d'état, démontrant que la recherche peut récupérer plus de circuits corrects qu'une génération de sortie unique.
Analyse d'Erreur : Les modèles entraînés par trace produisaient des erreurs avec des "déficits de contraintes" plus faibles (moins de contraintes cibles indépendantes manquantes) par rapport aux modèles de type circuit seul, suggérant qu'ils conservent plus d'informations cibles même en cas d'échec.

5. Signification et Revendications

L'article affirme que la supervision par trace algorithmique et la continuation filtrée par vérificateur sont des stratégies efficaces et complémentaires pour améliorer la correction sémantique des LLM dans la synthèse de code scientifique.

Nécessité de la Vérification Exacte : L'écart persistant entre la validité de Clifford (syntaxe/physique) et l'équivalence d'état (correction sémantique) confirme que la validité syntaxique est insuffisante. Un circuit peut être physiquement valide tout en préparant le mauvais état ; par conséquent, une vérification exacte est nécessaire pour les signaux d'entraînement.
Valeur de la Dérivation : Superviser la dérivation (la trace AG-CoT) parallèlement à la sortie finale apporte des gains substantiels par rapport à la supervision de la sortie seule. Cela suggère que les LLM bénéficient de l'apprentissage des étapes de raisonnement intermédiaire de l'algorithme de synthèse.
Scalabilité : Les méthodes montrent des améliorations constantes à travers différentes familles de modèles (3B, 7B, 32B), bien que les taux de succès absolus restent modestes (en chiffres simples), indiquant que si l'approche est efficace, la tâche de synthèse de circuits quantiques reste difficile pour les LLM actuels.

Les auteurs concluent que ces résultats soutiennent l'utilisation de la supervision algorithmique et des données filtrées par vérificateur comme voie vers une génération de code scientifique plus fiable, particulièrement dans les domaines où la vérification exacte est computationnellement réalisable.