💻 computer science

Auditing Empirical Comparisons in Quantum Software

Cet article introduit CLAIMSTAB-QC, un cadre pour l'audit des comparaisons empiriques dans le logiciel quantique en verrouillant les protocoles d'étude avant le calcul des résultats, ce qui révèle un écart de matérialisation significatif où la plupart des affirmations rapportées manquent de preuves suffisantes pour une vérification directe et produisent souvent des résultats non résolus ou inversés sous un examen rigoureux.

Auteurs originaux : Boshuai Ye, Peng Liang, Maryam Tavassoli Sabzevari, Arif Ali Khan

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Boshuai Ye, Peng Liang, Maryam Tavassoli Sabzevari, Arif Ali Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous lisiez une critique gastronomique qui dit : « Le burger du Chef A est plus savoureux que celui du Chef B. » Habituellement, nous considérons cela comme une vérité universelle sur les burgers. Mais et si le Chef A avait utilisé un mélange d'épices secret, un type de pain spécifique et un gril réglé à une température précise, tandis que le Chef B avait utilisé un pain différent et un gril à charbon ? Si vous essayiez de les goûter vous-même en utilisant vos propres ustiles de cuisine, vous pourriez découvrir que le burger du Chef B gagne en réalité.

C'est le problème que l'article « Auditing Empirical Comparisons in Quantum Software » traite, mais au lieu de burgers, il s'agit d'ordinateurs quantiques et du logiciel qui les fait fonctionner.

Voici une décomposition simple de ce que les auteurs ont fait, en utilisant des analogies de la vie quotidienne.

1. Le Problème : Le piège des « Pommes vs Oranges »

Dans le monde du logiciel quantique, les chercheurs publient souvent des articles affirmant : « Notre outil (Outil A) est plus rapide/meilleur que cet outil (Outil B). »

Cependant, le logiciel quantique est comme un sandwich géant à plusieurs couches. Pour faire un sandwich, vous avez besoin de pain, de garniture, de sauce et d'une façon spécifique de le trancher. Dans le logiciel quantique, ces couches sont :

Le code (le pain).
Le compilateur (le trancheur).
Le simulateur ou le matériel (l'assiette).
Le bruit et les erreurs (les miettes).

Les auteurs soutiennent que dire « L'outil A est meilleur » est souvent trompeur car le résultat dépend entièrement de la manière dont le sandwich a été fabriqué. Si vous changez le pain (le circuit) ou le trancheur (les paramètres du compilateur), l'outil A pourrait soudainement paraître moins bon que l'outil B.

2. La Solution : L'« Inspecteur Strict » (CLAIMSTAB-QC)

Les auteurs ont construit un nouveau cadre appelé CLAIMSTAB-QC. Voyez cela comme un inspecteur de la qualité alimentaire strict qui ne se contente pas de goûter la nourriture ; il vérifie d'abord la fiche recette.

Voici comment fonctionne leur « inspection » :

La Fiche de Réclamation : Lorsqu'un article dit « A bat B », l'inspecteur note exactement ce qui a été affirmé : les ingrédients spécifiques, les outils spécifiques et les règles spécifiques utilisées.
Le Verrou : Avant que l'inspecteur ne goûte quoi que ce soit, il verrouille la recette. Il n'est pas autorisé à changer les ingrédients ou les outils. Il doit utiliser exactement ce que l'article original a décrit.
La Vérification des Preuves : L'inspecteur examine le « reçu » de l'article (les données et le code fournis).
- Scénario A : L'article a fourni le reçu exact. L'inspecteur peut goûter le burger exactement comme décrit.
- Scénario B : L'article a dit « A est meilleur » mais n'a pas listé les ingrédients ou la température. L'inspecteur ne peut pas goûter. Il doit s'arrêter et dire : « Nous ne pouvons pas vérifier cette affirmation car les preuves sont manquantes. »

3. La Grande Découverte : L'écart du « Reçu Manquant »

Les auteurs ont testé ce cadre sur 455 affirmations provenant de 119 articles de recherche différents. Les résultats ont été surprenants :

175 affirmations pouvaient être écrites sous forme de recette claire (Fiches de Réclamation).
79 affirmations semblaient pouvoir être testées.
53 affirmations avaient assez de données pour mettre en place un test.
MAIS... seulement 8 affirmations possédaient le « reçu » complet nécessaire pour tester l'affirmation sans deviner ou inventer des données manquantes.

L'Analogie : Imaginez qu'une chaîne de restaurants prétende que ses burgers sont les meilleurs de la ville. Ils vous remettent une liste de 100 établissements. Vous vous rendez dans 53 d'entre eux pour vérifier. Mais quand vous essayez de goûter le burger, vous réalisez que 45 d'entre eux ne vous ont pas dit quels ingrédients ils utilisaient. Vous ne pouvez réellement goûter et vérifier le burger que dans 8 établissements.

C'est ce qu'on appelle le « Écart de Matérialisation ». Les chercheurs rapportent souvent le résultat (le vainqueur) sans fournir la preuve (les paramètres exacts) nécessaire pour prouver l'affirmation.

4. Les Résultats : Qui a réellement gagné ?

Pour les 8 affirmations possédant des preuves complètes, les auteurs ont mené l'audit strict :

2 affirmations : Le vainqueur original a été confirmé (le verdict « Soutenu »).
4 affirmations : Il était impossible de dire qui avait gagné car les données étaient trop mixtes ou les résultats trop proches (le verdict « Non résolu »).
2 affirmations : Le vainqueur original a en réalité perdu lors du test strict (le verdict « Inversé »).

L'exemple du « Verdict Inversé » : Un article affirmait que l'Outil A produisait moins d'erreurs que l'Outil B. Lorsque les auteurs ont verrouillé les paramètres et relancé le test exactement comme décrit, ils ont découvert que l'Outil A produisait en réalité plus d'erreurs. L'affirmation originale n'était vraie qu'en raison d'un paramètre spécifique non rapporté que les auteurs n'avaient pas verrouillé.

5. La Leçon : « Montrez votre travail »

L'article conclut que la manière actuelle de rapporter les comparaisons de logiciels quantiques est défaillante. C'est comme un professeur de mathématiques qui dit : « La réponse est 5 », mais qui ne montre pas les étapes du calcul.

Les auteurs suggèrent que les futurs articles devraient :

Énoncer la comparaison clairement.
Fournir le « reçu » exact (les paramètres, les graines/seeds et les données spécifiques) nécessaire pour verrouiller le test.
Admettre clairement là où les preuves s'arrêtent (ex : « Nous n'avons testé cela que sur de petits circuits ; nous ne savons pas si cela fonctionne sur de grands circuits »).

Résumé

L'article ne dit pas que le logiciel quantique est mauvais. Il dit que les affirmations sur quel logiciel est « meilleur » sont souvent impossibles à prouver parce que les chercheurs ne partagent pas assez de détails sur la façon dont ils ont mené les tests.

Ils ont construit un outil (CLAIMSTAB-QC) pour agir comme un auditeur strict. En l'utilant, ils ont découvert que la plupart des affirmations ne pouvaient pas être auditées car les « reçus » manquaient. Pour les rares affirmations qui pouvaient l'être, les résultats étaient mitigés : parfois l'affirmation originale tenait bon, parfois elle ne tenait pas, et souvent, il était impossible de trancher.

À retenir : Si vous voulez savoir si l'Outil A est vraiment meilleur que l'Outil B, vous devez voir la recette complète, pas seulement le goût final.

Résumé Technique : Audit des comparaisons empiriques en logiciel quantique

Énoncé du Problème
Les articles empiriques en ingénierie du logiciel quantique (QSE) rapportent fréquemment des affirmations comparatives (par exemple, « le compilateur A produit des circuits plus petits que le compilateur B »). Cependant, ces conclusions du type « A bat B » ne sont pas des propriétés intrinsèques des outils seuls ; ce sont des résultats émergents d'une pile complexe impliquant la construction de circuits, les choix de compilation, les stratégies d'échantillonnage, les hypothèses de bruit du backend, la stochasticité de l'optimiseur et les budgets de ressources. Bien que les méthodes existantes traitent de la reproductibilité (réexécution des expériences) et du test d'outils, elles n'auditent pas directement si la comparaison rapportée elle-même est étayée par l'évidence spécifique exposée dans la source (article et artefact).

Le défi central est le fossé de matérialisation : un article peut rapporter un ordre clair, mais la source manque souvent de l'évidence appariée (baselines identiques, paramètres identiques et règles de résultat verrouillées) requise pour auditer cette relation spécifique sans reconstruction par procuration ou introduction d'hypothèses non supportées. Par conséquent, de nombreuses comparaisons rapportées restent inauditables malgré la disponibilité d'artefacts exécutables.

Méthodologie : Cadre CLAIMSTAB-QC
Les auteurs présentent CLAIMSTAB-QC, un cadre limité par la source conçu pour auditer les comparaisons empiriques en traitant la relation rapportée comme l'unité d'audit. Le cadre opère à travers les étapes suivantes :

Représentation par Carte de Réclamation (Claim Card) : Une comparaison rapportée est formalisée sous la forme d'une carte de réclamation $C = \langle P, BA, BB, M, R \rangle$ , où $P$ est le contexte du problème, $BA/BB$ sont les baselines, $M$ est la métrique et $R$ est la relation rapportée. Cela fixe le périmètre avant tout calcul de résultat.
Matérialisation et Verrouillage : Le cadre tente de « matérialiser » la réclamation en identifiant l'évidence supportée par la source. Il définit un Espace d'Audit ( $S_{audit} = S_{scope} \times E_{env}$ $S_{a u d i t} = S_{sco p e} \times E_{e n v}$ ) comprenant six groupes d'axes : Périmètre (taille du problème, instances), L1 (construction/compilation), L2 (échantillonnage/estimation), L3 (backend/bruit), ALGO (stochasticité de l'optimiseur) et Budget (limites de ressources).
- Une procédure de « Dry-Run-First » inspecte ces axes. Seules les variations qui sont supportées par la source, affectant la métrique et préservant la relation sont activées.
- La conception est verrouillée avant le calcul des résultats. Si la source manque des données appariées nécessaires (par exemple, des circuits identiques sous des graines/seeds identiques), l'audit s'arrête à une Frontière d'Évidence.
Calcul des Résultats :
- Pour les enregistrements Scalaires-Directionnels (affirmations strictes de type « meilleur/moins bon »), le cadre calcule une marge signée pour chaque cellule appariée.
- Il applique une règle de décision de Wilson pour classer la relation comme Soutenue (borne inférieure $\ge \tau$ ), Inversée (borne supérieure $\le 1-\tau$ ) ou Non Résolue. Le seuil $\tau$ est fixé à 0,95 pour les affirmations strictes.
- Les enregistrements non scalaires (agrégats, croisements) utilisent des règles supportées par la source si elles sont verrouillables ; sinon, ils sont marqués comme des frontières.
Rapport : La sortie inclut le verdict délimité (S/U/R) ou une explication explicite de la frontière d'évidence expliquant pourquoi la comparaison n'a pas pu être auditée (par exemple, protocoles de timing manquants, graines/seeds non appariées).

Contributions Clés

Cadre : Un nouveau cadre de QSE qui déplace l'accent de l'audit de « pouvons-nous reproduire le résultat ? » vers « l'évidence de la source supporte-t-elle la relation rapportée ? » en utilisant des enregistrements limités par la source et des conceptions verrouillées.
Étude Empirique : Une application du cadre à 455 réclamations comparatives issues de 119 articles de logiciel quantique (2020–2024).
Artefact Réutilisable : Un package publié contenant des représentations de réclamations, des enregistrements d'audit, des traces verrouillées et des annotations sur l'évidence manquante pour faciliter l'inspection des comparaisons empiriques en QSE.

Résultats
L'étude révèle un entonnoir de matérialisation et un fossé significatifs :

Représentation : Sur 455 réclamations acceptées, 175 ont pu être représentées sous forme de cartes de réclamation.
Planification : 79 ont été identifiées comme des enregistrements de planification scalaire-directionnelle.
Verrouillabilité : 53 ont produit des conceptions d'audit ou de diagnostic verrouillables.
Audit sans Procuration (Proxy-Free) : Seuls 8 enregistrements exposaient assez d'évidence appariée pour auditer la comparaison originale sans reconstruction par procuration (Tier-1).
- Sur ces 8, 2 étaient Soutenues, 4 étaient Non Résolues et 2 étaient Inversées.
- Notamment, deux cas « Inversés » (EX-C7 et EX-C8) ont montré que la direction rapportée était contredite dans 0/80 et 0/80 cellules verrouillées, respectivement, sous l'effet de contradictions strictes plutôt que d'ex æquo.
Diagnostics Contrôlés : Des expériences sur 24 comparaisons pertinentes pour les benchmarks ont montré que des protocoles d'audit plus simples (configuration unique ou axe unique) préservaient souvent des directions apparentes qui s'affaiblissaient ou devenaient Non Résolues lorsque l'ensemble de la pile d'axes verrouillés (L1–L3, ALGO, BUDGET) était inspecté.
Robustesse : Les verdicts se sont révélés robustes aux choix statistiques (seuils, regroupement) lorsque l'évidence était suffisante, mais la sensibilité à la gestion des ex æquo et aux seuils a été explicitement rapportée comme une condition limite.

Signification et Revendications
L'article soutient que les comparaisons de QSE empiriques sont souvent rapportées comme des résultats sans l'évidence nécessaire pour auditer la comparaison elle-même. La principale signification de ce travail est la démonstration que les ordonnancements de performance et leur évidence de support sont séparables.

Les auteurs concluent que pour que la QSE empirique progresse, les sources doivent rapporter non seulement qui gagne, mais aussi l'évidence appariée requise pour verrouiller le périmètre de cet ordonnancement. Le cadre fournit un mécanisme pour distinguer une comparaison qui est auditable (Soutenue/Inversée/Non Résolue) d'une qui est fondamentalement inauditable en raison d'une évidence manquante (Frontière). Cela déplace la cible de rapport pour les futures études de QSE : les articles doivent exposer explicitement les baselines, les paramètres, les instances, les budgets et les règles de résultat nécessaires pour verrouiller la comparaison, et marquer clairement là où les frontières d'évidence empêchent un audit plus poussé.