Metriq: A Collaborative Platform for Benchmarking Quantum Computers

Le papier présente Metriq, une plateforme collaborative open-source qui unifie la définition, l'exécution et la publication de benchmarks quantiques reproductibles pour permettre des comparaisons systématiques entre différents matériels et introduire un score composite global.

L'essentiel

Imaginez que vous êtes dans un grand magasin d'électronique, mais au lieu de téléviseurs et de réfrigérateurs, on y vend des ordinateurs quantiques. Le problème ? Chaque vendeur (IBM, Google, IonQ, etc.) utilise un langage différent, des mesures différentes et des règles différentes pour dire : « Mon ordinateur est le meilleur ! ». C'est comme si l'un mesurait la vitesse en kilomètres par heure, l'autre en miles par heure, et un troisième en « nombre de clins d'œil par seconde ». Résultat : impossible de comparer objectivement qui est le plus performant.

C'est pour résoudre ce chaos que l'équipe de Metriq a créé une nouvelle plateforme. Voici une explication simple de leur travail, avec quelques images pour mieux comprendre.

1. Le Problème : Une jungle sans boussole

Actuellement, évaluer un ordinateur quantique, c'est comme essayer de comparer des voitures de course en regardant seulement une seule photo prise à un moment précis.

• Les outils sont fragmentés : Chaque fabricant a son propre outil de test.
• Les résultats sont isolés : On ne peut pas facilement voir l'historique ou comparer deux machines côte à côte de manière fiable.
• Le manque de confiance : Sans un juge neutre, on ne sait pas si les résultats sont réels ou juste du marketing.

2. La Solution : Metriq, le « Grand Jury » neutre

Les auteurs ont construit Metriq, une plateforme collaborative et ouverte (comme Wikipédia, mais pour les tests quantiques). On peut la voir comme un grand laboratoire de test indépendant qui ne travaille pour aucun vendeur.

Metriq est composé de trois pièces principales, comme un restaurant complet :

• Le Cuisinier (metriq-gym) : C'est le robot qui prépare et exécute les tests. Il est capable de cuisiner le même plat (le même test) dans n'importe quelle cuisine (IBM, AWS, IonQ, etc.), peu importe les ingrédients locaux. Il s'assure que tout le monde suit la même recette.
• Le Livre de Recettes (metriq-data) : C'est une bibliothèque numérique où tous les résultats sont stockés de manière organisée. Chaque résultat est étiqueté avec sa date, la machine utilisée et les paramètres exacts. C'est transparent et vérifiable par tout le monde.
• Le Menu Affiché (metriq-web) : C'est le site web où tout le monde peut venir voir les résultats. Vous pouvez comparer les machines, voir qui progresse dans le temps et télécharger les données pour vos propres analyses.

3. Les Tests : Une série de défis variés

Pour juger un ordinateur quantique, on ne peut pas juste lui demander de faire un seul calcul. Metriq utilise une boîte à outils de tests (un « suite ») qui évalue différentes compétences, un peu comme un examen de conduite qui teste le stationnement, la vitesse et la sécurité.

Voici quelques-uns de ces tests, expliqués simplement :

• BSEQ (Le test de l'entanglement) : Imaginez que vous devez faire danser des paires de danseurs (les qubits) qui sont liés par un fil invisible. Ce test vérifie combien de paires peuvent danser ensemble sans se tromper de pas. Plus il y a de danseurs qui réussissent, mieux c'est.
• Mirror Circuits (Le test du miroir) : C'est comme demander à un robot de dessiner un dessin, puis de le dessiner exactement à l'envers. Si le robot est parfait, le dessin final doit être identique au début. Si le dessin est tordu, c'est que le robot a fait des erreurs. Ce test est très sensible aux bugs.
• QML Kernel (Le test de l'intelligence artificielle) : Ici, on demande à la machine de résoudre un problème de reconnaissance de formes (comme distinguer des chats de chiens), mais en utilisant la magie quantique. Cela montre si la machine est utile pour des tâches réelles.
• CLOPS (Le test de vitesse) : Combien de couches de gates (portes logiques) la machine peut-elle exécuter par seconde ? C'est le test de la vitesse pure.

4. Le Score Final : Le « Metriq Score »

Au lieu de donner une liste de 10 notes différentes, Metriq combine tout cela en un seul chiffre, un peu comme le Geekbench pour les ordinateurs classiques ou le score de crédit pour les banques.

• Ce score prend en compte la taille de la machine (plus elle est grande, plus c'est dur de la faire fonctionner).
• Il compare chaque machine à une référence (un « étalon »).
• Il permet de dire : « La machine A est 20 % plus performante que la machine B sur l'ensemble des tests ».

5. Pourquoi c'est important ?

• Transparence : Plus de secrets. Tout le code et les données sont publics.
• Évolution : Les ordinateurs quantiques changent vite. Metriq permet de refaire les tests chaque mois pour voir si les machines s'améliorent ou régressent.
• Aide aux développeurs : Les chercheurs savent exactement quelles machines sont bonnes pour quelles tâches, ce qui accélère le développement de nouvelles applications.

En résumé

Metriq est la première plateforme qui permet de comparer les ordinateurs quantiques du monde entier de manière juste, transparente et continue. C'est comme passer d'un marché noir où chacun vend son produit avec ses propres mensonges, à un grand magasin officiel avec des étiquettes de prix claires et des tests de qualité indépendants.

C'est un pas de géant vers un futur où nous pourrons vraiment savoir quels ordinateurs quantiques sont prêts à résoudre les problèmes du monde réel.

Résumé technique

Voici un résumé technique détaillé de l'article « Metriq: A Collaborative Platform for Benchmarking Quantum Computers » en français.

1. Problématique et Contexte

Le paysage actuel du benchmarking des ordinateurs quantiques est fragmenté et manque de cohérence. Les principaux obstacles identifiés sont :

• Hétérogénéité des outils : Chaque fournisseur de matériel (IBM, Quantinuum, Rigetti, etc.) utilise ses propres outils de benchmarking, souvent liés à une pile technologique spécifique, ce qui rend les comparaisons inter-plateformes difficiles.
• Absence de données standardisées : La plupart des résultats sont présentés comme des études de cas isolées sans données publiques normalisées, empêchant les comparaisons systématiques dans le temps et entre différents dispositifs.
• Biais des fournisseurs : L'absence de comparaisons tierces impartiales complique l'évaluation objective des performances, les benchmarks étant souvent définis et exécutés par les fournisseurs eux-mêmes.
• Évolution rapide : La nature dynamique de la technologie quantique rend les benchmarks statiques obsolètes rapidement.

Il existe un besoin urgent d'une plateforme collaborative, open-source et indépendante pour collecter, exécuter et présenter des données de benchmarking reproductibles.

2. Méthodologie : La Plateforme Metriq

Les auteurs introduisent Metriq, une plateforme open-source collaborative conçue pour unifier le processus de benchmarking. L'architecture repose sur trois composants modulaires interconnectés :

1. Le Runner (metriq-gym) :

   • C'est un framework Python qui permet de définir et d'exécuter des benchmarks sur divers fournisseurs de matériel (IBM, AWS Braket, Azure, Quantinuum Nexus, etc.) via une interface unifiée.
   • Il utilise le SDK qBraid pour l'abstraction du matériel et la transpilation des circuits.
   • Il fonctionne de manière asynchrone (dispatch/poll), permettant d'envoyer des tâches et de récupérer les résultats sans bloquer l'utilisateur, ce qui est crucial pour les campagnes de benchmarking à grande échelle.
   • Les configurations sont définies par des schémas JSON stricts, garantissant la reproductibilité et la validation des paramètres.

2. Le Jeu de Données (metriq-data) :

   • C'est un dépôt GitHub versionné contenant les résultats structurés (fichiers JSON validés par un schéma).
   • Il agrège les résultats de manière continue, permettant un suivi longitudinal des performances des dispositifs au fil du temps.
   • Les données sont accessibles publiquement sous licence CC-BY-4.0.

3. Le Portail Web (metriq-web) :

   • Une interface interactive permettant de visualiser les résultats sous forme de graphiques temporels et de tableaux.
   • Elle permet de filtrer par fournisseur, dispositif ou type de benchmark, et d'exporter les données pour des analyses personnalisées.

Le Score Metriq (Metriq Score - MS) :
Pour synthétiser les performances hétérogènes en un indicateur unique, les auteurs proposent un score composite. Le calcul se fait en trois étapes :

• Agrégation intra-benchmark : Moyenne pondérée des résultats à différentes largeurs de circuit (plus la largeur est grande, plus le poids est important).
• Normalisation : Les résultats sont normalisés par rapport à un dispositif de référence (baseline), fixé à 100.
• Agrégation inter-benchmark : Les sous-scores sont combinés selon des poids basés sur l'échelle effective du circuit (les benchmarks plus complexes et à plus grande échelle ont un poids plus élevé).

3. Contributions Clés

• Plateforme Open-Source : Mise à disposition publique d'un outil complet pour l'exécution, la gestion des données et la visualisation des benchmarks quantiques.
• Nouveaux Benchmarks et Extensions : Introduction de protocoles nouveaux (comme BSEQ - Bell State Effective Qubits) et extension de benchmarks existants à de nouvelles plateformes matérielles.
• Jeu de Données Curaté : Collecte et publication de résultats provenant de plus de dix ordinateurs quantiques de plusieurs fournisseurs (IBM, Quantinuum, IQM, Rigetti, OriginQ).
• Analyse Transversale : Utilisation des données partagées pour analyser les corrélations entre les différents benchmarks et les métriques de calibration matérielles (ex: fidélité des portes à deux qubits).

4. Résultats et Benchmarks Évalués

La suite de benchmarks couvre à la fois des métriques au niveau système et des protocoles inspirés par des applications :

A. Benchmarks au niveau système :

• BSEQ (Bell State Effective Qubits) : Évalue la capacité de l'appareil à produire des états intriqués de haute qualité sur tout le graphe de connectivité en testant les inégalités de CHSH. Il mesure la taille du plus grand composant connecté (LCCS) et la fraction de connexion.
• EPLG (Error Per Layered Gate) : Mesure l'erreur par porte dans des couches de portes à deux qubits sur une chaîne connectée, fournissant une estimation conservative de la qualité des portes natives.
• Mirror Circuits : Une méthode évolutive et vérifiable qui exécute un circuit suivi de son quasi-inverse pour mesurer la probabilité de succès et la polarisation, sensible aux erreurs cohérentes et au bruit.
• CLOPS (Circuit Layer Operations Per Second) : Mesure le débit de traitement (vitesse d'exécution des couches de portes), intégrant les temps de compilation et d'attente.

B. Benchmarks inspirés par les applications :

• QML Kernel : Évalue la capacité à calculer des éléments de matrice de noyau pour l'apprentissage automatique quantique.
• WIT (Wormhole-inspired Teleportation) : Simule la téléportation à travers un trou de ver (modèle holographique) pour tester la cohérence sur des circuits multi-étapes complexes.
• LR-QAOA (Linear-Ramp QAOA) : Une variante de l'algorithme d'optimisation quantique approximative utilisant un schedule linéaire déterministe pour éviter l'optimisation variationnelle, testant la performance sur des problèmes MaxCut.
• QFT (Quantum Fourier Transform) : Teste la capacité à maintenir la cohérence et l'accumulation de phase dans des circuits structurés.

Résultats Observés :

• Les dispositifs IBM (architecture Heron) et Quantinuum (H2-2) montrent généralement les meilleures performances globales.
• Les dispositifs basés sur AWS Braket (IQM, Rigetti) ont montré des performances variables, souvent limitées par des contraintes de compilation (nécessité d'utiliser le mode "verbatim" pour éviter l'optimisation excessive des circuits symétriques).
• Le score Metriq révèle des corrélations fortes entre les benchmarks (ex: Mirror Circuits et QML Kernel sont presque identiques en rang), suggérant des goulots d'étranglement physiques communs (comme la fidélité des portes à deux qubits).

5. Signification et Perspectives

• Indépendance et Transparence : Metriq offre une référence neutre, indépendante des fournisseurs, permettant une comparaison équitable et reproductible.
• Évolutivité : La plateforme est conçue pour évoluer avec le matériel. Elle intègre déjà des estimations de coûts et prévoit l'ajout de benchmarks pour les qubits logiques (correction d'erreurs) et l'atténuation d'erreurs (QEM).
• Communauté : En rendant les outils et les données accessibles, Metriq favorise une gouvernance collective et permet à la communauté scientifique de critiquer, améliorer et étendre la suite de benchmarks.
• Impact : Ce travail pose les bases d'une infrastructure de benchmarking standardisée, essentielle pour évaluer le progrès réel vers l'avantage quantique pratique et guider le développement des futures architectures quantiques.

En résumé, Metriq ne se présente pas comme une autorité finale, mais comme une plateforme vivante et collaborative pour transformer le benchmarking quantique en une science reproductible, transparente et continue.