Metriq: A Collaborative Platform for Benchmarking Quantum Computers

Dit artikel introduceert Metriq, een open-source platform dat de gefragmenteerde landschap van quantumcomputer-benchmarks oplost door een gestandaardiseerde, reproduceerbare workflow te bieden voor het verzamelen, analyseren en vergelijken van prestatiedata van diverse hardwareleveranciers via een unificerend Metriq-score.

De kern

Stel je voor dat de wereld van quantumcomputers een enorme, chaotische markt is. Er staan hier tientallen kraampjes, elk met een heel ander type computer: sommige werken met ijskoude supergeleiders, andere met gevangen ionen, en weer andere met neutrale atomen. De verkopers (zoals IBM, Quantinuum, Rigetti) zeggen allemaal: "Mijn computer is de snelste!" of "Mijn computer is het meest nauwkeurig!"

Het probleem? Ze gebruiken allemaal hun eigen meetlat. De ene verkoper meet in "quantum volumes", de andere in "foutpercentages", en weer een andere in "aantal berekeningen per seconde". Het is alsof één verkoper zegt: "Mijn auto rijdt 100 mijl per uur" en een ander zegt: "Mijn auto is 50 kilometer per uur", zonder dat je weet of ze dezelfde eenheden gebruiken. Je kunt ze niet vergelijken.

Metriq is het project dat dit probleem oplost. Het is een open, gemeenschappelijke "meetstation" voor quantumcomputers. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Universele Testbaan" (Het Platform)

Voorheen moest je voor elke computer een andere test doen, met andere software. Metriq is als een universele rijtest voor auto's.

• De Runner (metriq-gym): Dit is de testbaan zelf. Het is een stukje software dat je op je eigen laptop kunt draaien. Je zegt: "Ik wil deze specifieke test doen op die specifieke computer," en het programma regelt de rest. Het maakt niet uit of de computer van IBM of van een klein start-upbedrijf is; de test blijft hetzelfde.
• De Database (metriq-data): Alle resultaten worden netjes opgeslagen in een openbaar boekje (een database). Iedereen kan erin kijken, niemand kan de cijfers verbergen of aanpassen.
• De Website (metriq-web): Dit is het scorebord. Hier zie je in mooie grafieken en tabellen wie er nu echt goed presteert. Je kunt filteren op "snelheid", "nauwkeurigheid" of "hoeveel qubits".

2. De Proefjes (De Benchmarks)

In plaats van één grote, onbegrijpelijke test, doet Metriq een reeks van specifieke proefjes, net zoals een rijinstructeur verschillende onderdelen test:

• BSEQ (De "Vriendschapstest"): Deze test kijkt of de qubits (de bouwstenen van de computer) echt met elkaar kunnen "praten" en verstrengeld kunnen raken. Het is alsof je kijkt of je een groep vrienden kunt laten dansen zonder dat iemand uit de kring valt. Als de computer dit goed doet, betekent het dat hij complexe taken kan uitvoeren.
• Mirror Circuits (De "Spiegeltest"): Stel je voor dat je een dansstap doet en daarna precies de omgekeerde stap doet. Als alles perfect is, sta je weer precies waar je begon. Als de computer fouten maakt, sta je ergens anders. Deze test is slim omdat je precies weet wat het juiste antwoord moet zijn, dus je kunt direct zien hoeveel "ruis" of fouten erin zitten.
• QML Kernel (De "Leren Test"): Dit is een test voor kunstmatige intelligentie. De computer moet proberen patronen te herkennen in data. Het is een beetje zoals een hersenpan die probeert te leren of een foto een kat of een hond is.
• CLOPS (De "Snelheidstest"): Dit meet niet hoe goed de computer is, maar hoe snel hij kan werken. Het is alsof je kijkt hoeveel auto's er per uur door een tolpoortje kunnen rijden.

3. De "Metriq Score" (De Gemiddelde Cijfer)

Omdat er zoveel verschillende tests zijn, is het lastig om te zeggen wie de "beste" is. Metriq lost dit op met een Gemiddeld Cijfer (de Metriq Score).
Stel je voor dat je een schoolrapport krijgt. Je hebt cijfers voor Wiskunde, Taal, Sport en Muziek. De Metriq Score is het eindcijfer dat al deze vakken samenvoegt tot één getal.

• Ze geven meer punten aan tests die moeilijker zijn (zoals tests met veel qubits), omdat die belangrijker zijn voor de toekomst.
• Ze vergelijken alles met een "basiscomputer" (een standaardreferentie), zodat je weet: "Deze computer doet 20% beter dan het gemiddelde."

4. Waarom is dit zo belangrijk?

• Geen "Varkens in de zak": Vroeger moesten we geloven wat de verkopers zeiden. Nu kunnen we zelf kijken naar de data. Het is transparant.
• Fairness: Omdat iedereen dezelfde test doet met dezelfde regels, is het eerlijk. Je kunt niet meer zeggen: "Mijn computer is sneller" als je een andere, makkelijkere test hebt gebruikt.
• Groeien: De wereld van quantumcomputers verandert razendsnel. Vandaag is de beste computer morgen misschien niet meer de beste. Metriq is een "levend platform". Het wordt continu bijgewerkt. Zodra er een nieuwe computer komt, wordt hij direct getest en toegevoegd aan het scorebord.

Samenvattend

Metriq is de onafhankelijke jury voor quantumcomputers. Het zorgt ervoor dat we niet meer praten in onbegrijpelijke termen, maar dat we op basis van harde, vergelijkbare feiten kunnen zien welke technologie echt vooruitgang boekt. Het is een open, eerlijk en voortdurend groeiend systeem dat helpt om de toekomst van quantumcomputing te bouwen op een solide fundament.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Metriq: A Collaborative Platform for Benchmarking Quantum Computers" in het Nederlands.

Probleemstelling

Het landschap van benchmarks voor quantumcomputers is momenteel gefragmenteerd en gebrekkig. Er zijn drie hoofdproblemen die de betrouwbare prestatiebeoordeling van quantumhardware belemmeren:

1. Gebrek aan standaardisatie: Verschillende hardwareproviders (zoals IBM, Quantinuum, Rigetti, IQM) gebruiken eigen tools, architecturen en foutmitigatiestrategieën, wat het moeilijk maakt om gestandaardiseerde prestatie-evaluaties uit te voeren.
2. Isolatie van data: De meeste benchmarkresultaten verschijnen als geïsoleerde case studies zonder publieke, gestandaardiseerde datasets. Systematische vergelijkingen van hetzelfde protocol over verschillende providers en in de tijd zijn zeldzaam.
3. Vendor-afhankelijkheid: Bestaande frameworks zijn vaak gebonden aan specifieke technologie-stacks (bijv. IBM Qiskit of IQM's eigen tools), wat objectieve, onafhankelijke vergelijkingen bemoeilijkt. Er is een dringende behoefte aan een gemeenschapsgedreven platform dat onbevooroordeelde assessments biedt.

Methodologie: Het Metriq-platform

Metriq is een open-source, collaboratief platform dat benchmarkdefinitie, uitvoering, datacollectie en publicatie integreert in één werkstroom. Het platform bestaat uit drie kerncomponenten die los van elkaar maar ook samen kunnen worden gebruikt:

1. Runner (metriq-gym):

   • Een Python-framework dat een uniforme interface biedt voor het definiëren en uitvoeren van benchmarks op heterogene backends (cloud en lokaal).
   • Het maakt gebruik van de qBraid SDK voor transpilatie en job-executie over verschillende providers heen.
   • Het werkt met expliciete, machine-leesbare JSON-schema's voor parameters (zoals shot-aantallen en circuitdiepte), wat reproduceerbaarheid garandeert en configuratie-afwijkingen voorkomt.
   • Het ondersteunt een asynchroon werkstroom (dispatch/poll) om wachttijden in hardware-queues te minimaliseren.

2. Dataset (metriq-data):

   • Een versiebeheerde collectie van gestructureerde benchmarkrecords, opgeslagen als JSON-bestanden in een GitHub-repository.
   • De structuur is: {bron}/{versie}/{provider}/{apparaat}/{tijdstempel}_{benchmark-type}_{hash}.json.
   • Dit maakt het mogelijk om resultaten te reproduceren, te versiebeheren en te analyseren zonder afhankelijkheid van een centrale database.

3. Website (metriq-web):

   • Een interactieve webapplicatie die de dataset visualiseert via tijdreeksgrafieken en tabellen.
   • Gebruikers kunnen filteren op benchmark en provider, en machine-leesbare bundles downloaden voor offline analyse.

De Metriq Score (MS):
Om prestaties over de hele suite van benchmarks samen te vatten, introduceert het paper de Metriq Score. Dit is een samengesteld indexcijfer dat wordt berekend in drie stappen:

1. Aggregatie binnen benchmarks: Lineaire weging van resultaten over verschillende circuitbreedtes (aantal qubits).
2. Normalisatie: Vergelijking met een referentieapparaat (baseline), waarbij scores worden genormaliseerd (100 = gelijk aan baseline).
3. Cross-benchmark aggregatie: Een gewogen som van de subscores, waarbij de gewichten worden bepaald door de effectieve circuitbreedte. Dit benadrukt prestaties op grotere schaal, waar klassieke simulatie moeilijker wordt en hardwarefouten sterker accumuleren.

Belangrijkste Bijdragen

1. Open Platform: De release van Metriq als een volledig open-source ecosysteem voor collaboratief benchmarken, inclusief tools voor uitvoering, data-curatie en webvisualisatie.
2. Nieuwe en Uitgebreide Benchmarks: Implementatie van vendor-onafhankelijke benchmarks, waaronder nieuwe protocollen zoals BSEQ (Bell State Effective Qubits) en uitbreiding van bestaande benchmarks naar nieuwe hardwareplatforms.
3. Gecurateerde Dataset: Het verzamelen en publiceren van resultaten van meer dan tien quantumcomputers van meerdere providers (IBM, Quantinuum, Rigetti, IQM, OriginQ), inclusief een voorbeeld van de Metriq Score.
4. Cross-benchmark Analyse: Het bieden van inzichten in de correlaties tussen verschillende benchmarks en hardware-calibratiemetingen (zoals twee-qubit gate fideliteit).

Resultaten en Benchmarksuite

De suite omvat zowel systeem-niveau benchmarks als applicatie-geïnspireerde protocollen:

• Systeem-niveau:

  • BSEQ: Test de kwaliteit van verstrengeling over het hele connectiviteitsgraph van het apparaat via CHSH-ongelijkheden.
  • EPLG (Error Per Layered Gate): Meet de fouten in lagen van twee-qubit poorten, specifiek voor connectiviteit-beperkte architecturen.
  • Mirror Circuits: Een schaalbare methode om prestaties te evalueren door een circuit te spiegelen en de output te controleren (Loschmidt echo).
  • CLOPS (Circuit Layer Operations Per Second): Meet de doorvoersnelheid (speed) van het apparaat.

• Applicatie-geïnspireerd:

  • QML Kernel: Test de capaciteit om kernel-matrixelementen voor machine learning te berekenen.
  • WIT (Wormhole-inspired Teleportation): Simuleert holografische wormgaten om coherentie en complexe dynamica te testen.
  • LR-QAOA: Een lineaire-ramp variant van QAOA voor optimalisatieproblemen zonder klassieke optimalisatie.
  • QFT (Quantum Fourier Transform): Test de coherentie in gestructureerde algoritmen.

Kernbevindingen uit de data:

• Er is een sterke correlatie (Spearman $\rho \approx 0.99$) tussen de Metriq Score en de prestaties van Mirror Circuits, wat aangeeft dat dit een robuuste proxy is voor algemene hardwarekwaliteit.
• De scores correleren sterk met de twee-qubit gate fideliteit ($\rho \approx 0.98$), wat bevestigt dat twee-qubit fouten de primaire limiterende factor zijn voor de geteste circuits.
• Verschillende hardware-architecturen tonen verschillende sterke punten; bijvoorbeeld, Quantinuum (gevangen ionen) presteert vaak beter op diepe circuits met hoge coherentie, terwijl IBM (supergeleidende circuits) hoge snelheden (CLOPS) laat zien.
• De paper benadrukt het belang van verbatim compilatie (zonder optimalisatie) om eerlijke vergelijkingen te maken, vooral bij symmetrische circuits zoals de QML Kernel, waar standaard compilers fouten kunnen maskeren.

Betekenis en Toekomstperspectief

Metriq biedt een fundamentele verschuiving in hoe quantumhardware wordt geëvalueerd:

• Reproduceerbaarheid en Transparantie: Door open data en versiebeheer kunnen resultaten onafhankelijk worden geverifieerd en bijgewerkt naarmate hardware evolueert.
• Onafhankelijkheid: Het platform is vendor-neutraal, wat objectieve vergelijkingen mogelijk maakt die niet worden beïnvloed door commerciële belangen.
• Schaalbaarheid: De suite is ontworpen om mee te groeien met de hardware, van huidige NISQ-apparaten tot toekomstige foutgecorrigeerde systemen.
• Toekomstige Richtingen: Het paper schetst een pad naar logische benchmarking (voor foutgecorrigeerde qubits) en de integratie van kwantumfoutmitigatie (QEM) technieken in de werkstroom.

Kortom, Metriq vestigt een onafhankelijke, uitbreidbare basis voor het volgen van de vooruitgang in quantumcomputing, waarbij het de gemeenschap in staat stelt om gezamenlijk de staat van de technologie te evalueren en te sturen.