Benchmarking the Lights Out Problem on Real Quantum Hardware

Cet article évalue les performances du problème des lumières éteintes résolu par l'algorithme de recherche de Grover sur du matériel quantique réel d'IBM et d'IQM, mettant en évidence les progrès des puces Heron, l'impact crucial de l'étalonnage et les variations significatives de fiabilité entre les dispositifs.

L'essentiel

🌟 Le Grand Défi : "Éteindre les Lumières" sur un Ordinateur Quantique

Imaginez un jeu de puzzle classique appelé "Lights Out" (Éteignez les lumières). Vous avez une grille de lampes. Si vous appuyez sur une lampe, elle s'allume ou s'éteint, mais elle change aussi l'état de ses voisines. Le but ? Éteindre tout le monde.

Les chercheurs de ce papier ont pris ce jeu et l'ont transformé en un test de stress pour les ordinateurs quantiques actuels. Ils ont demandé à ces machines : "Peux-tu trouver la combinaison magique pour éteindre toutes les lumières ?"

Pourquoi faire ça ? Parce que les ordinateurs quantiques sont encore très "bruyants" et fragiles (c'est l'ère NISQ). Ils veulent voir si ces machines peuvent vraiment résoudre des problèmes logiques ou si elles font juste du bruit.

🏭 Les Deux Usines de Test : IBM et IQM

Pour faire ce test, les chercheurs ont utilisé deux types d'usines (des fournisseurs d'ordinateurs quantiques) accessibles gratuitement en ligne :

1. IBM (avec des puces appelées "Heron", comme des versions r1 et r2).
2. IQM (une entreprise finlandaise avec des puces comme "Emerald", "Garnet" et "Sirius").

C'est un peu comme comparer deux marques de voitures de course : l'une est plus récente (Heron r2), l'autre plus ancienne (Heron r1), et on veut voir laquelle finit la course sans tomber en panne.

🧩 Les Deux Niveaux de Jeu

Les chercheurs ont créé deux niveaux de difficulté :

1. Le Niveau Facile (Grille 2x2) : Un petit carré avec 4 lampes. C'est comme un niveau de débutant.

   • Résultat : Les machines d'IBM ont réussi à trouver la solution assez souvent (environ 40 à 50 % de réussite). C'est bien, mais pas parfait. Les machines d'IQM, elles, ont eu du mal et ont donné des résultats presque au hasard (comme si on lançait un dé).

2. Le Niveau Difficile (Échelle de Möbius) : Imaginez une grille en forme de ruban tordu (comme un ruban de Möbius) avec 6 lampes. C'est plus complexe.

   • Résultat : Là, c'était dur ! Même les meilleures machines d'IBM ont eu du mal. Elles ont réussi à trouver la solution un peu plus de la moitié du temps, mais c'était très proche de la limite de leurs capacités.

🔍 Les Découvertes Surprenantes (Le "Pourquoi" et le "Comment")

Voici les leçons principales tirées de cette expérience, expliquées avec des métaphores :

1. Le "Calibrage" est la clé de voûte 🎹

C'est la découverte la plus importante. Un ordinateur quantique, c'est comme un piano. Si les touches ne sont pas bien accordées (calibrées), même le meilleur pianiste du monde jouera faux.

• L'analogie : Les chercheurs ont vu que le même ordinateur (par exemple, ibm_torino) pouvait être excellent un jour et terrible le lendemain, juste parce que son "accordage" (calibration) avait changé.
• Le fait choquant : Un jour, une machine a eu un taux d'erreur de lecture de 49 % ! C'est comme si vous lanciez une pièce de monnaie et que vous obteniez pile ou face au hasard, peu importe ce que vous essayez de faire. Le lendemain, après maintenance, c'était redevenu normal.
• Conclusion : Ne regardez pas seulement si une machine est "nouvelle". Regardez comment elle est "accordée" ce jour-là.

2. La "Nouveauté" ne garantit pas la victoire 🏆

On pense souvent que le dernier modèle est toujours meilleur. Pas toujours !

• L'analogie : C'est comme si une voiture de 2024 (Heron r2) avait un moteur défectueux et battait une voiture de 2023 (Heron r1) qui était en parfait état.
• Le fait : Parfois, la machine la plus récente (ibm_fez) a fait pire que l'ancienne (ibm_torino) simplement à cause de la qualité de fabrication ou du calibrage.

3. La forme du circuit compte plus que la taille 🏗️

Pour le niveau difficile (Möbius), les chercheurs ont remarqué quelque chose d'intéressant.

• L'analogie : Imaginez que vous devez transporter des meubles.
  • Sur les machines IBM, c'est comme essayer de passer un grand canapé dans un couloir étroit avec beaucoup de virages. Il faut beaucoup de manœuvres (erreurs).
  • Sur les machines IQM, l'architecture est différente (plus carrée). Les chercheurs ont vu que les machines IQM pouvaient "plier" le problème pour le faire passer plus facilement (le circuit devient plus petit après transformation).
• Le paradoxe : Même si le problème était le même, la façon dont la machine le "voit" change tout. Les machines IQM ont généré des circuits plus compacts, mais elles n'ont pas réussi à résoudre le problème final, probablement à cause d'autres types de bruit.

🚀 Conclusion : Où en sommes-nous ?

Ce papier nous dit que nous sommes dans une phase de transition excitante mais frustrante :

• Les ordinateurs quantiques grandissent : Ils arrivent à faire des calculs avec plus de 700 étapes (portes logiques) et 300 interactions complexes. C'est énorme !
• Ils sont encore capricieux : Ils ne sont pas fiables à 100 %. Parfois, ils réussissent, parfois ils échouent, et cela dépend beaucoup de la météo (le calibrage du jour).
• Le futur est proche : Le problème "Möbius" est presque résolu sur les meilleures machines actuelles. Cela signifie que dans un avenir très proche, les ordinateurs quantiques gratuits pourraient résoudre ce genre de puzzles de manière fiable.

En résumé : Les chercheurs ont utilisé un jeu de lumières pour tester la santé des ordinateurs quantiques. Ils ont découvert que la technologie progresse, mais que la fiabilité dépend encore beaucoup de la "médecine" (calibrage) quotidienne des machines, et que le plus récent n'est pas toujours le meilleur. C'est un peu comme courir un marathon : ce n'est pas seulement la vitesse du coureur qui compte, c'est aussi l'état de ses chaussures et la météo du jour ! 🏃‍♂️⚡

Résumé technique

1. Problématique et Contexte

L'article se concentre sur l'évaluation des performances des ordinateurs quantiques actuels (ère NISQ - Noisy Intermediate-Scale Quantum) en utilisant le problème du jeu « Lights Out » (Les Lumières S'éteignent) comme cas d'usage. Ce problème, qui consiste à éteindre une configuration de lampes sur une grille en cliquant sur certaines d'entre elles, est formulé comme un problème de recherche non structurée.

Les auteurs implémentent l'algorithme de recherche de Grover pour résoudre des instances spécifiques de ce problème sur du matériel quantique réel. L'objectif est de mesurer la capacité des processeurs quantiques (QPU) à exécuter des algorithmes avec des oracles complexes, en tenant compte du bruit, de la connectivité des qubits et des erreurs de calibration.

2. Méthodologie

2.1. Instances du Problème

Les auteurs ont conçu deux circuits quantiques principaux basés sur la recherche de Grover :

• Grille 2x2 (9 qubits) : Une instance simple sur une grille de 4 lampes. Le circuit utilise 2 qubits pour l'index du clic, 4 pour l'état des lampes, 1 pour l'oracle et 2 qubits auxiliaires. Il contient 14 portes Toffoli et une profondeur de 31 couches (avant optimisation).
• Échelle de Möbius à 6 lampes (16 qubits) : Une instance sur un graphe en forme d'échelle de Möbius. Ici, cliquer sur une lampe affecte ses voisins et la lampe opposée. Ce circuit utilise 3 qubits pour l'index, 6 pour l'état, et plusieurs qubits auxiliaires pour les contrôles complexes (portes RCCX). Il contient 3 portes Toffoli, 12 portes RCCX et 12 portes CNOT, avec une profondeur de 32 couches.

2.2. Matériel et Logiciel

Les expériences ont été menées sur des plateformes publiques accessibles :

• IBM : Trois dispositifs basés sur l'architecture Heron :
  • ibm_marrakesh et ibm_fez (Heron r2, 2024).
  • ibm_torino (Heron r1, 2023).
• IQM : Trois dispositifs à qubits transmon supraconducteurs :
  • Emerald et Garnet (topologie grille carrée).
  • Sirius (topologie étoile).

Les circuits ont été compilés via Qiskit avec différents niveaux d'optimisation (0 à 3) et exécutés via les primitives Sampler et Estimator (ce dernier incluant des techniques d'atténuation d'erreurs). Des circuits de base supplémentaires (SAT sur 5 qubits et un test de santé sur 2 qubits) ont été utilisés pour diagnostiquer les performances des dispositifs IQM, qui affichaient des résultats uniformes sur les instances principales.

3. Contributions Clés

1. Benchmarking Comparatif : Mise en place d'une évaluation comparative rigoureuse entre les générations de matériel IBM (r1 vs r2) et entre deux architectures de fournisseurs (IBM vs IQM).
2. Analyse de la Calibration : Démonstration que la qualité de la calibration d'un jour à l'autre a un impact plus significatif sur les résultats que la génération technologique du matériel.
3. Observation de l'Architecture : Mise en évidence du fait que la connectivité des qubits (topologie) influence la taille du circuit transpilé, parfois de manière contre-intuitive (les circuits IQM étaient plus compacts après transpilation, mais moins performants en pratique).
4. Données Publiques : Mise à disposition du code, des résultats bruts et des données de calibration sur GitHub pour la communauté scientifique.

4. Résultats Expérimentaux

4.1. Performances IBM

• Progression r1 vers r2 : Les dispositifs Heron r2 (marrakesh, fez) ont globalement montré une meilleure fiabilité que le Heron r1 (torino), confirmant les progrès d'IBM entre 2023 et 2024.
• Incohérence intra-fournisseur : Le dispositif ibm_fez (r2) a parfois performé pire que ibm_torino (r1), prouvant que la nouvelle génération ne garantit pas systématiquement de meilleures performances.
• Impact de la calibration : Des variations de performance significatives ont été observées d'un jour à l'autre. Par exemple, un dispositif IBM non gratuit (ibm_miami) a affiché un taux d'erreur de lecture médian de 33% après une calibration spécifique, rendant les résultats aléatoires, contre ~1% habituellement.
• Résultats sur l'instance 6 lampes : Même avec les meilleurs réglages (Estimator avec atténuation d'erreurs), la fréquence de succès sur l'instance à 16 qubits a à peine dépassé 50% sur le meilleur dispositif (marrakesh), bien que l'instance à 9 qubits ait donné de meilleurs résultats.

4.2. Performances IQM

• Distribution Uniforme : Sur les dispositifs IQM, les circuits Lights Out ont produit des distributions de sortie quasi-uniformes, indiquant un échec à résoudre le problème.
• Diagnostic : Les circuits de base (SAT et 2 qubits) ont permis d'identifier que le dispositif Garnet était le plus fiable parmi les trois, tandis que Sirius (topologie étoile) montrait des résultats très bruités.
• Transpilation : Bien que l'architecture IQM ait permis de générer des circuits transpilés plus compacts (moins de portes) que ceux d'IBM pour le problème de l'échelle de Möbius, cela ne s'est pas traduit par une meilleure résolution du problème en raison du bruit et des erreurs de lecture.

4.3. Observations Techniques

• Profondeur et Complexité : Les dispositifs actuels peuvent exécuter des circuits avec une profondeur dépassant 700 et plus de 300 opérations à deux qubits, mais la précision chute drastiquement avec le nombre de qubits actifs (passage de 9 à 16 qubits).
• Connectivité vs Bruit : La connectivité limitée force des opérations de routage supplémentaires, augmentant l'erreur effective même si la profondeur nominale semble faible.

5. Signification et Conclusion

Cet article souligne que, bien que le matériel quantique progresse (notamment avec les puces Heron r2 d'IBM), il reste extrêmement sensible aux conditions opérationnelles, en particulier à la calibration.

• Fiabilité du matériel : Un dispositif plus récent n'est pas nécessairement meilleur qu'un modèle plus ancien ; la qualité de fabrication et l'état de calibration au moment de l'exécution sont des facteurs déterminants.
• Benchmarking : Les instances de « Lights Out » proposées, en particulier celle sur l'échelle de Möbius à 16 qubits, constituent un excellent point de repère pour les futurs ordinateurs quantiques, car elles sont à la limite de la solvabilité actuelle.
• Recommandation : Les auteurs suggèrent de réaliser des tests préliminaires sur tous les dispositifs disponibles pour vérifier la qualité de la calibration avant d'exécuter des algorithmes coûteux, car la performance peut varier considérablement d'un jour à l'autre.

En résumé, ce travail fournit une vue d'ensemble réaliste des capacités des ordinateurs quantiques publics en 2024-2025, mettant en lumière les défis persistants liés au bruit et à la stabilité des systèmes NISQ.