Benchmarking Quantum Computers: Towards a Standard Performance Evaluation Approach

Dit artikel bespreekt de uitdagingen bij het vergelijken van quantumprocessors, analyseert bestaande benchmarks en kwaliteitskenmerken, en stelt richtlijnen voor om tot een gestandaardiseerde prestatie-evaluatie te komen die vergelijkbaar is met SPEC voor klassieke computers.

De kern

De Grote Quantum-Wedstrijd: Waarom we een nieuwe "Jury" nodig hebben

Stel je voor dat er een nieuwe sport is uitgevonden: Quantum Computing. In plaats van gewone computers die werken met schakelaars (aan/uit), gebruiken deze machines de raadselachtige wetten van de kwantumwereld om problemen op te lossen die voor gewone computers onmogelijk zijn.

Maar er is een groot probleem: er zijn veel verschillende soorten van deze nieuwe machines. Sommige gebruiken gevangen ionen, andere supergeleidende circuits, en weer andere lichtdeeltjes. Het is alsof je een race organiseert tussen auto's, fietsen en vliegtuigen, maar je hebt nog geen regels om te zeggen wie er wint.

Dit artikel, geschreven door een groep wetenschappers, roept op om eindelijk standaard regels te maken om deze machines eerlijk te vergelijken. Hier is de uitleg in simpele taal:

1. Het probleem: De "Valse" Reclame

In het verleden, toen de eerste gewone computers kwamen, bedachten fabrikanten hun eigen tests. Ze lieten hun computers alleen de taken doen waar ze goed in waren, zodat ze er supersterk uitzagen. Dit noemen ze "benchmarketing" (benchmark + marketing).

Bij quantumcomputers dreigt hetzelfde te gebeuren. Als er geen eerlijke regels zijn, zullen bedrijven hun machines zo instellen dat ze winnen in hun eigen test, terwijl ze in de echte wereld misschien niets waard zijn. Dit is gevaarlijk, want het leidt tot verkeerde beslissingen en verspilde geld.

2. De les van het verleden: De "Spec"-jury

De auteurs kijken naar hoe we dit in het verleden hebben opgelost voor gewone computers. Ze verwijzen naar een organisatie genaamd SPEC (Standard Performance Evaluation Corporation).

• De analogie: Stel je voor dat je twee auto's wilt vergelijken. Je kunt niet alleen kijken naar wie het snelst is op een rechte weg (dat is te makkelijk). Je moet ze ook laten rijden op modder, in de sneeuw en in de stad.
• De oplossing: SPEC heeft een reeks tests (een "benchmark suite") bedacht die alles meet: snelheid, betrouwbaarheid en energiegebruik. Ze hebben ook regels voor "Base" (standaard instellingen) en "Peak" (de beste prestatie met alle trucs).

3. Waarom quantum anders is: Het "Kwetsbare" IJs

Quantumcomputers zijn heel anders dan gewone computers, wat het vergelijken lastig maakt:

• Ze zijn kwetsbaar: Een quantumcomputer is als een ijsbeer op een dun stukje ijs. Als je te lang wacht of te veel doet, smelt het ijs (de informatie verdwijnt door ruis).
• Geen vaste taal: Elke fabrikant gebruikt een andere "taal" voor hun machine. Wat voor de ene machine een simpele opdracht is, is voor de andere een hele moeilijke puzzel.
• Het meetprobleem: Als je een quantumcomputer meet, verandert de meting de uitkomst. Het is alsof je probeert de temperatuur van een ijsblokje te meten met een hete thermometer; het ijs smelt al door het meten.

4. De Oplossing: De "SPEQC"

De auteurs stellen voor om een nieuwe organisatie op te richten, vergelijkbaar met SPEC, maar dan voor quantum: SPEQC (Standard Performance Evaluation for Quantum Computers).

Wat moet SPEQC doen?

1. Een gemeenschappelijke taal: Zorg dat iedereen dezelfde woorden gebruikt. Als we zeggen "Quantum Volume", moet iedereen precies weten wat dat betekent.
2. Een "Testpakket" voor elke fase:
   • Vandaag (NISQ-era): We hebben machines die nog veel fouten maken. De tests moeten kijken naar hoe goed ze fouten kunnen opvangen en welke kleine taken ze kunnen doen.
   • Morgen (Fouttolerante era): Als de machines beter worden, moeten de tests kijken naar complexe problemen zoals het kraken van codes of het ontwerpen van nieuwe medicijnen.
3. Eerlijke rapporten: Net als bij auto's, moet er een rapport zijn dat laat zien:
   • Hoe snel is de machine?
   • Hoeveel fouten maakt hij?
   • Welke "trucs" (optimalisaties) zijn gebruikt?
   • Wat is de "standaard" prestatie en wat is de "beste" prestatie?

5. Waarom is dit belangrijk voor jou?

Zonder deze regels kunnen we niet weten welke quantumcomputer echt de beste is.

• Voor bedrijven: Ze weten niet welke machine ze moeten kopen.
• Voor wetenschappers: Ze weten niet of hun resultaten echt goed zijn of alleen maar goed lijken door een slimme test.
• Voor de maatschappij: We willen dat deze technologie echt werkt voor problemen zoals klimaatverandering of ziektes. Als we de verkeerde machines kiezen, verliezen we kostbare tijd.

Conclusie: De Start van een Nieuw Tijdperk

Dit artikel zegt eigenlijk: "Laten we stoppen met ruzie maken over wie de snelste is, en samen een eerlijke wedstrijd organiseren."

Ze willen een SPEQC oprichten die als een neutrale scheidsrechter fungeert. Deze scheidsrechter zorgt ervoor dat elke quantumcomputer wordt getest op dezelfde manier, met dezelfde regels, zodat we uiteindelijk de machines kunnen vinden die echt het verschil maken voor de wereld.

Kortom: Geen enkele test is perfect, maar een goede set van tests (een "suite") geeft ons het beste beeld. Laten we samenwerken om de regels te schrijven voordat de race uit de hand loopt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Benchmarking Quantum Computers: Towards a Standard Performance Evaluation Approach" in het Nederlands.

Probleemstelling

De snelle ontwikkeling van quantumprocessors op diverse platforms (zoals supergeleidende circuits, ingevangen ionen, fotonica) heeft een kritiek probleem blootgelegd: het ontbreekt aan een eerlijke en gestandaardiseerde manier om de prestaties van deze verschillende quantumcomputers met elkaar te vergelijken.

• Gebrek aan standaardisatie: In tegenstelling tot klassieke computers, waar organisaties zoals SPEC (Standard Performance Evaluation Corporation) en TPC al decennia gestandaardiseerde benchmarks hanteren, is het quantumveld nog in een vroeg stadium. Dit leidt tot een gebrek aan gemeenschappelijke terminologie, inconsistente methodologieën en het risico op "benchmarking" (marketing gericht op specifieke tests in plaats van echte prestaties).
• Goodhart's Wet: Het artikel waarschuwt dat zonder strikte, geverifieerde benchmarks, onderzoekers en bedrijven hun systemen kunnen optimaliseren voor specifieke tests ("gaming the system"), wat de ontwikkeling van echt schaalbare en betrouwbare quantumprocessors kan verstoren.
• Fundamentele verschillen: Klassieke benchmarks kunnen niet zomaar worden overgenomen omdat quantumcomputers fundamenteel verschillen in aard (kwantumverstrengeling, decoherentie, meetfouten, en de Input-Process-Output (IPO) cyclus) en omdat er geen enkele dominante architectuur is.

Methodologie

De auteurs hanteren een analytische benadering die lesjes uit de klassieke computergeschiedenis toepast op de quantumwereld, gecombineerd met een kritische review van bestaande quantumproposals.

1. Analyse van Klassieke Benchmarking: Het artikel begint met een grondige analyse van klassieke processorbenchmarks. Hierbij worden de essentiële kwaliteitskenmerken van een goede benchmark gedefinieerd: Relevantie, Reproduceerbaarheid, Eerlijkheid, Verifieerbaarheid en Gebruiksgemak. Ook worden de eigenschappen van goede metrieken onderzocht (praktisch, herhaalbaar, betrouwbaar, lineair en consistent).
2. Karakterisering van Quantum Systemen: De auteurs identificeren de intrinsieke eigenschappen van quantumcomputers die een directe overdracht van klassieke methoden belemmeren, zoals:
   • De beperking van Holevo's bound (beperking van klassieke informatie uit een kwantumtoestand).
   • De noodzaak van herstarten van de toestand na elke run.
   • Het effect van ruis (noise) en decoherentie, vooral in het huidige NISQ-tijdperk (Noisy Intermediate-Scale Quantum).
   • Platformheterogeniteit (verschillende gate-tijden, connectiviteit en native gate-sets).
3. Unificatie van Terminologie: Er wordt een gestandaardiseerd vocabulaire voorgesteld om verwarring weg te nemen tussen termen zoals benchmark, metriek, verificatie, validatie en testing.
4. Review van Bestaande Proposals: Een uitgebreide evaluatie van bestaande quantumbenchmarks (zoals Quantum Volume, Q-Score, CLOPS, QED-C) en technieken (zoals Randomized Benchmarking, Mirror Circuits, Classical Shadow Tomography). Deze worden getoetst aan de eerder gedefinieerde kwaliteitskenmerken.

Belangrijkste Bijdragen

Het artikel biedt een raamwerk voor het standaardiseren van quantumbenchmarking met de volgende kernbijdragen:

1. Gedefinieerde Terminologie:

   • Quantum Benchmark: Een test of set tests om prestaties te meten.
   • Quantum Performance Metric: Een numerieke waarde die een eigenschap karakteriseert (bijv. gate-fidelity, Quantum Volume).
   • Verificatie vs. Testing: Onderscheid tussen het certifiëren dat een apparaat werkt zoals verwacht (verificatie) en het controleren van het gedrag van een programma (testing).

2. Evaluatie van Bestaande Metrieken:
   De auteurs presenteren een tabel (Tabel 1) die de meest gebruikte metrieken analyseert op basis van de kwaliteitskenmerken.

   • Voorbeeld: Quantum Volume (QV) is reproduceerbaar en consistent, maar niet praktisch (vereist exponentiële klassieke simulatie) en niet betrouwbaar voor alle circuittypes.
   • Voorbeeld: Q-Score is praktisch en consistent, maar niet lineair en niet volledig betrouwbaar voor generieke optimalisatieproblemen.
   • Conclusie: Geen enkele metriek is een "zilveren kogel"; een combinatie is noodzakelijk.

3. Routekaart en Richtlijnen voor Quantum Benchmarking:
   Vijf concrete richtlijnen worden voorgesteld voor ontwikkelaars:

   • Richtlijn 1: Benchmarks moeten passen bij het technologische tijdperk (NISQ vs. Fouttolerant). In het NISQ-tijdperk moeten benchmarks hardware-ontwikkeling sturen, niet alleen scores opleveren.
   • Richtlijn 2: Benchmarks moeten voldoen aan de vijf kwaliteitskenmerken (Relevantie, Reproduceerbaarheid, Eerlijkheid, Verifieerbaarheid, Gebruiksgemak).
   • Richtlijn 3: Rapportage van zowel Base (standaard, beperkte optimalisaties voor eerlijke vergelijking) als Peak (maximale prestaties met expert-optimalisaties) resultaten.
   • Richtlijn 4: Metrieken moeten praktisch, herhaalbaar, betrouwbaar en consistent zijn.
   • Richtlijn 5: Gebruik geen enkele benchmark. Gebruik een benchmark suite om verschillende aspecten van het gedrag van het systeem te dekken.

4. Structuur voor Benchmarking:
   Een stap-voor-stap structuur wordt voorgesteld:

   1. Apparaatverificatie.
   2. Definitie van de benchmark suite en metrieken.
   3. Configuratie van transpilers en flags (voor Base en Peak).
   4. Executie en verificatie.
   5. Rapportage (inclusief statische eigenschappen, configuratie en resultaten).

5. Voorgestelde Organisatie (SPEQC):
   De auteurs propageren de oprichting van de Standard Performance Evaluation for Quantum Computers (SPEQC). Dit zou een non-profitorganisatie zijn, vergelijkbaar met SPEC, die:

   • Standaarden en richtlijnen ontwikkelt.
   • Een divers scala aan benchmarks beheert (van synthetisch tot applicatie-gericht).
   • Inclusief is voor alle stakeholders (industrie, academici, overheid) om partijdigheid te voorkomen.
   • Flexibel is om mee te groeien met de technologie (van NISQ naar Fouttolerante Quantum Computers).

Resultaten en Analyse

• Huidige staat: De huidige benchmarking in het quantumveld is gefragmenteerd. Veel bestaande metrieken voldoen niet aan alle ideale eigenschappen (bijv. veel zijn niet "praktisch" voor grote qubit-aantallen vanwege de noodzaak van klassieke simulatie).
• Platformheterogeniteit: Het is onmogelijk om één vaste numerieke drempelwaarde (bijv. "gate tijd < X") te stellen die voor alle platforms geldt, vanwege de enorme verschillen in technologie (supergeleiders vs. ionen). Richtlijnen zijn daarom beter dan starre standaarden.
• Noodzaak van suites: Het artikel concludeert dat een enkele metriek (zoals Quantum Volume) onvoldoende is om het volledige gedrag van een quantumcomputer te karakteriseren. Een suite van benchmarks is vereist om een volledig beeld te krijgen van schaalbaarheid, kwaliteit en snelheid.

Significantie

Deze paper is van cruciaal belang voor de toekomst van quantumcomputing omdat het:

1. Wetenschappelijke Rigiditeit Brengt: Het introduceert een gestructureerde, wetenschappelijke aanpak voor prestatie-evaluatie, wat essentieel is voor de volwassenheid van het veld.
2. Voorkomt "Benchmarketing": Door richtlijnen voor eerlijkheid en transparantie (Base vs. Peak) te bieden, wordt voorkomen dat bedrijven hun systemen alleen optimaliseren voor marketingdoeleinden ten koste van echte bruikbaarheid.
3. Stimuleert Innovatie: Een gestandaardiseerde benchmarking-omgeving helpt fabrikanten om specifieke zwakke punten in hun hardware te identificeren en te verbeteren, in plaats van alleen te concurreren op één getal.
4. Bereidt de Weg voor Schaalbaarheid: De voorgestelde structuur en de SPEQC-organisatie zijn ontworpen om mee te groeien met de technologie, van het huidige NISQ-tijdperk naar de toekomstige era van fouttolerante quantumcomputers.

Kortom, het artikel biedt de blauwdruk voor een eerlijke, transparante en wetenschappelijk onderbouwde benchmarking-cultuur in de quantumwereld, vergelijkbaar met wat er in de klassieke computergeschiedenis is gebeurd.