Benchmarking Quantum Computers via Protocols, Comparing IBM's Heron vs IBM's Eagle

Dit artikel presenteert een protocolgebaseerde benchmarkmethode die de prestaties van IBM's nieuwere Heron-architectuur significant beter laat uitvallen dan die van de oudere Eagle-generatie, waardoor een transparante evaluatie van praktische quantumvoordelen mogelijk wordt.

De kern

🚀 De Quantum-Test: Een Strijd tussen Oude en Nieuwe Generaties

Stel je voor dat je twee auto's wilt vergelijken: een oude, betrouwbare stationwagen (IBM's Eagle-chip, model "Brisbane") en een gloednieuwe, snelle sportwagen (IBM's Heron-chip, model "Kingston").

De onderzoekers van dit paper wilden niet alleen kijken naar de specificaties op papier (zoals "hoeveel paardenkrachten" of "hoeveel qubits"). Nee, ze wilden weten: kunnen deze auto's daadwerkelijk racen op een echt circuit?

Om dit te testen, gebruikten ze geen simpele versnellingsproef, maar een reeks van specifieke testrondes (protocollen). Ze noemen dit "Benchmarking via Protocollen".

1. De Testcircuit: Hoe testen ze de chips?

In plaats van te kijken naar individuele onderdelen (zoals een enkele bout of schroef, wat in de quantumwereld "gates" zijn), keken ze naar complete routes door de chip.

Stel je de quantumchip voor als een stadje met huizen (qubits) die verbonden zijn door straten.

• De "Do-nothing" test: Dit is alsof je een auto start en hem stil laat staan. Als de auto niet eens stil kan staan zonder te trillen, is hij kapot.
• De "Transmit" test: Je moet een boodschap van het ene einde van de stad naar het andere brengen zonder dat hij verandert.
• De "Teleportatie" en "Verstrengeling" tests: Dit zijn de zware proeven. Het is alsof je een auto moet laten vliegen of twee auto's moet laten denken als één entiteit. Dit is pas echt "quantum-gedrag".

De onderzoekers gebruikten een slimme zoekmethode (de "Optimal Lookup Workflow"):

1. Ze testten eerst kleine stukjes van de stad (één blokje huizen).
2. Als dat blokje faalde, werd het afgekeurd.
3. Als het blokje slaagde, probeerden ze twee blokken samen te koppelen.
4. Zo bouwden ze een fideliteitskaart op: een kaart die laat zien welke delen van de chip echt werken en welke delen "lek" zijn.

2. Het Verhaal van de Twee Chips

De Oude Krijger: IBM Brisbane (Eagle)
Deze chip is als die oude stationwagen. Hij heeft veel onderdelen, maar veel zijn versleten.

• Het probleem: Bij de eerste tests (het "stil staan" en de simpele boodschappen) faalden al veel blokken. De onderzoekers moesten zelfs een nog simpelere test bedenken (de "Transmit"-test) omdat de oude tests te zwaar waren.
• Het resultaat: Van de 18 blokken in de stad, konden er maar heel weinig (ongeveer 6) zelfs de simpele taken uitvoeren. Bij de zware taken (zoals teleportatie) faalde de hele stad. Er was geen enkel stukje van de chip groot genoeg om een echte quantum-taak te doen. Het was alsof je een auto hebt die wel kan rijden, maar niet kan remmen of sturen.

De Nieuwe Ster: IBM Kingston (Heron)
Deze chip is de nieuwe sportwagen. Hij is niet alleen groter, maar ook veel stabieler.

• Het resultaat: Hier werkten de tests veel beter. Veel blokken konden de simpele taken doen, maar het echte wonder was bij de zware taken.
• De prestatie: Bij de "Teleportatie"-test slaagden er 11 blokken, en zelfs 19 paren van blokken! Dit betekent dat je op deze chip grote stukken kunt gebruiken om echte quantum-berekeningen te doen. Het is alsof je niet alleen een auto hebt die rijdt, maar een heel team van auto's dat perfect samenwerkt.

3. De "Verbeterde" Brisbane (De verrassing)

Tijdens het onderzoek merkten de onderzoekers iets raars op. De oude Brisbane-chip werd door IBM "geüpdatet" (verbeterd) halverwege 2025.

• Vóór de update: De chip was bijna onbruikbaar.
• Na de update: De chip deed het plotseling veel beter! Het was alsof de oude stationwagen ineens een nieuwe motor kreeg. Hoewel hij nog steeds niet zo goed was als de nieuwe sportwagen (Kingston), was de verbetering enorm. Dit laat zien dat quantum-chips niet statisch zijn; ze kunnen verbeteren door software-updates en kalibratie.

4. De Grote Conclusie: Wat betekent dit voor ons?

De onderzoekers concluderen dat de Heron-chip (Kingston) een enorme sprong voorwaarts is.

• Brisbane (Oud): Kan alleen heel kleine, simpele dingen doen. Het is nog niet klaar voor de "grote show".
• Kingston (Nieuw): Kan complexe quantum-taken uitvoeren op grote schaal. Het bewijst dat we eindelijk chips hebben die niet alleen "quantum klinken", maar ook "quantum doen".

De belangrijkste les:
Het is niet genoeg om te zeggen "we hebben een quantumcomputer met 100 qubits". Je moet kijken of die 100 qubits ook samenwerken. Deze paper laat zien dat de nieuwe generatie van IBM eindelijk die samenwerking heeft gevonden, terwijl de oude generatie nog worstelt met de basis.

Kortom: De oude chip is als een orkest dat nog niet goed kan samenspelen (veel fouten, veel stiltes). De nieuwe chip is een orkest dat een symfonie kan spelen. En dankzij deze nieuwe testmethode weten we nu precies welke delen van het orkest het beste spelen, zodat we die kunnen gebruiken voor de echte muziek.

Technische samenvatting

Titel: Benchmarking van Quantumcomputers via Protocollen: Vergelijking van IBM's Heron en Eagle

Auteurs: Nitay Mayo, Tal Mor en Yossi Weinstein (Technion University, Israël)
Datum: 5 maart 2026 (voorgesteld)

---

1. Het Probleem

Met de snelle vooruitgang van quantumhardware is het objectief evalueren van de prestaties en foutpercentages van nieuwe processoren een kritieke uitdaging. Traditionele benchmarks op gate-niveau geven vaak geen volledig beeld van de praktische bruikbaarheid van een quantumcomputer. Er is behoefte aan een realistisch begrip van de huidige prestaties om onderzoeksprioriteiten te sturen. Bovendien vertonen hardwareleveranciers zoals IBM periodieke updates aan hun chips, wat de consistentie van benchmarking bemoeilijkt.

2. Methodologie

De auteurs passen een protocolgebaseerde benchmarking-methodologie toe (gebaseerd op eerdere werken [1]), waarbij de prestaties worden gemeten op basis van het succesvol uitvoeren van specifieke quantumprotocollen in plaats van individuele logica-poorten.

De Protocollen:
Er worden zes protocollen getest, variërend van eenvoudig tot complex:

1. Do-nothing: De basislijn; een qubit wordt geïnitieerd en gemeten zonder operaties.
2. Transmit (Nieuw): Een nieuw gedefinieerd, extreem simpel protocol (een component van 'do-nothing') waarbij een qubit-toestand via swap-gates van Alice naar Bob wordt verplaatst. Dit werd geïntroduceerd omdat de bestaande protocollen te complex bleken voor oudere hardware.
3. Bell-state transfer: Het overdragen van een verstrengeld paar.
4. Teleportatie: Het teleporteren van een qubit-toestand.
5. Super-dense coding: Het coderen van twee klassieke bits in één qubit.
6. Entanglement swapping: Het verstrengelen van qubits die nooit direct hebben interactie gehad.

De "Optimal Lookup Workflow":
Om de beste sub-chips (subsets van qubits) te identificeren, gebruiken de auteurs een gefaseerde workflow:

• Sub-chip definitie: De chips (Eagle en Heron) zijn opgebouwd uit herhalende rechthoekige patronen van 12 qubits. Deze rechthoeken en paren daarvan worden behandeld als "sub-chips".
• Fasen van evaluatie:
  1. c2c (Corner-to-Corner): Test de kortste paden tussen hoekpunten van een rechthoek. Alleen rechthoeken die hierin slagen, gaan door.
  2. M-L (Maximal Lengths): Test de langste paden binnen een rechthoek om te garanderen dat elke qubit als doelwit fungeert.
  3. A-L (All Lengths): Test alle interne paden binnen een rechthoek. Dit is de zwaarste test. Een rechthoek die A-L doorstaat, wordt beschouwd als een "quantum-capable" sub-chip voor dat specifieke protocol.
• Protocol Vector: De resultaten worden samengevat in een visuele "protocol vector" die de sterkte en zwaktes van elke sub-chip per protocol weergeeft.

Geteste Hardware:

• IBM Eagle-r3 (Brisbane): Een oudere generatie met 127 qubits. De studie onderscheidt tussen "Old Brisbane" (voor augustus 2025) en "Modified Brisbane" (na augustus 2025, waar IBM onofficieel verbeteringen doorvoerde).
• IBM Heron-r2 (Kingston): Een nieuwere generatie met 156 qubits, ontworpen voor betere schaalbaarheid en prestaties.

3. Belangrijkste Bijdragen

• Introductie van het 'Transmit'-protocol: Een nieuwe, fundamentele benchmark om de ondergrens van de hardwarekwaliteit te meten, vooral voor hardware die faalt bij complexere protocollen.
• Protocolgebaseerde Benadering: Een verschuiving van gate-level naar protocol-level benchmarking, wat een intuïtievere maatstaf biedt voor praktische quantumvoordeel.
• Gedetailleerde Vergelijking: Een uitgebreide vergelijking tussen twee generaties IBM-hardware, inclusief een analyse van de impact van onofficiële chip-updates.
• Identificatie van Optimale Sub-chips: De methologie toont aan dat niet de hele chip even goed presteert; specifieke subsets (rechthoeken) kunnen aanzienlijk beter zijn dan het gemiddelde.

4. Resultaten

IBM Eagle-r3 (Brisbane):

• Prestaties: De prestaties zijn beperkt. Van de 18 rechthoeken op de chip slaagden er slechts een handvol in het doorstaan van de A-L-fase voor de eenvoudigste protocollen.
• Transmit: Slechts 10 van de 18 rechthoeken slaagden in de 'Transmit'-test.
• Complexere Protocollen: Voor protocollen zoals Teleportatie, Bell-state transfer, Entanglement swapping en Super-dense coding slaagde geen enkele rechthoek op de "Modified Brisbane" in het doorstaan van de A-L-test.
• Paren: Geen enkel paar van rechthoeken slaagde in de tests voor de complexere protocollen. De "Optimal Sub-chip" voor Brisbane is klein en beperkt tot basisoperaties.
• Tijdsverloop: Er was een merkbare verbetering tussen de "Old" en "Modified" versie van Brisbane (bijv. meer rechthoeken die 'Do-nothing' haalden), maar de chip bleef fundamenteel beperkt voor complexe taken.

IBM Heron-r2 (Kingston):

• Prestaties: Aanzienlijk superieur. De chip toont robuuste prestaties over het grootste deel van de architectuur.
• Transmit: 13 van de 21 rechthoeken slaagden in de A-L-test.
• Complexere Protocollen:
  • Teleportatie: 11 rechthoeken en 19 paren slaagden.
  • Bell-state transfer: 12 rechthoeken en 11 paren slaagden.
  • Entanglement swapping: 10 rechthoeken en 13 paren slaagden (terwijl Brisbane hier volledig faalde).
  • Super-dense coding: 9 rechthoeken en 4 paren slaagden.
• Schalbaarheid: Kingston demonstreert dat de prestaties schalen; paren van rechthoeken behouden vaak hun quantumkwaliteit, wat essentieel is voor grootschalige berekeningen.

Vergelijking (Tabel 4 & 5):

• Kingston heeft een hogere gemiddelde minimale fideliteit en een veel hoger aantal succesvolle rechthoeken voor elk protocol.
• De "Global Score" (een gewogen gemiddelde van fideliteit en yield) is voor Kingston aanzienlijk hoger dan voor Brisbane, met name bij de complexe protocollen waar Brisbane op 0 scoort.

5. Beperkingen en Uitdagingen

• Hardware Beschikbaarheid: Langdurige onderhoudsperiodes bij IBM leidden tot data-oncontinuïteit en prestatieschommelingen.
• Temporale Consistentie: De prestaties van de chips varieerden binnen een week, wat de classificatie van sub-chips (slagen/mislukken) gevoelig maakt voor het tijdstip van meting.
• Experimentele Annuleringen: Grote experimenten (zoals A-L) werden soms onbedoeld geannuleerd door de provider, wat leidde tot gedeeltelijke datasets die moesten worden samengevoegd.

6. Betekenis en Conclusie

De studie concludeert dat de IBM Heron-r2 (Kingston) een aanzienlijke en fundamentele verbetering is ten opzichte van de IBM Eagle-r3 (Brisbane).

• Praktisch Quantumvoordeel: Heron is de eerste chip in deze vergelijking die in staat is om complexe protocollen (zoals entanglement swapping en super-dense coding) succesvol uit te voeren op meerdere sub-chips en paren.
• Methodologische Validatie: De "Benchmarking via Protocols"-methode bleek effectief om de echte bruikbaarheid van hardware bloot te leggen, waar gate-level benchmarks mogelijk te optimistisch zouden kunnen zijn.
• Toekomstperspectief: Hoewel hardware continu verbetert, biedt deze methode een robuust raamwerk voor kwaliteitsborging (QA) en helpt het gebruikers bij het selecteren van de beste sub-chips voor specifieke berekeningen.

Kortom, terwijl de oudere Eagle-architectuur beperkt blijft tot zeer eenvoudige taken, toont de nieuwere Heron-architectuur een duidelijke weg naar schaalbare, praktische quantumcomputing.