Claim against Measurement: Statistical Artefacts in Quantum Error Mitigation Benchmarks

Dit artikel evalueert kritisch 81 recente studies over kwantumfoutmitigatie (QEM), waarbij wordt aangetoond dat wijdverbreide statistische tekortkomingen en niet in aanmerking genomen experimentele variabelen vaak misleidende benchmarks creëren, en stelt derhalve strenge rapportagestandaarden voor om de geldigheid van prestatieclaims voor QEM te waarborgen.

De kern

Stel je voor dat je probeert de perfecte taart te bakken om te bewijzen dat een nieuw, chique ingrediënt (laten we het "Quantum Error Mitigation" of QEM noemen) taarten lekkerder maakt. Je wilt de wereld tonen dat je taart superieur is aan een normale.

Dit artikel is als een groep foodcritici die besloten om 81 verschillende recepten te proeven die beweren dit nieuwe ingrediënt te gebruiken. Ze proefden niet alleen de taarten; ze keken ook naar de kookboeken om te zien hoe de bakkers hun succes maten.

Hier is wat ze vonden, eenvoudig uitgelegd:

1. Het "Kookboek"-probleem: Onvoldoende bewijs

De critici keken naar 81 recente papers (recepten) over deze quantum-baktechniek. Ze vonden een groot probleem: De meeste bakkers beschreven alleen hoe goed de taart eruitzag, in plaats van het statistisch te bewijzen.

• De Realiteit: Slechts 25% van de bakkers gebruikte juiste statistische tests (zoals een strenge proefpanel met een controlegroep) om te bewijzen dat hun taart echt beter was.
• De Rest: De andere 75% zei gewoon: "Het smaakte beter," of toonde een grafiek met foutmarges, maar deden de wiskunde niet om te bewijzen dat het verschil niet gewoon toeval was. Het is als zeggen: "Mijn taart is beter," zonder hem op een eerlijke manier met de anderen te vergelijken.

2. De "Geheime Recept"-valstrik: Verborgen ingrediënten zijn belangrijk

De auteurs probeerden vervolgens dezelfde taarten opnieuw te bakken, maar ze veranderden de "verborgen" instellingen die de oorspronkelijke bakkers niet hadden opgeschreven. Ze ontdekten dat deze verborgen keuzes actief waren, wat betekent dat ze het resultaat volledig veranderden.

• De Analogie: Stel je een recept voor dat zegt: "Voeg suiker toe." Er staat niet hoeveel.
  • Als je 1 kop toevoegt, is de taart heerlijk (een "significante verbetering").
  • Als je 5 koppen toevoegt, is de taart een zout, oneetbaar puinhoop (een "significante verslechtering").
• De Bevinding: In hun studie veranderden ze verborgen instellingen zoals de "schaalfactoren" (hoeveel ze het ruis versterkten) en de "extrapolatiemethode" (hoe ze het perfecte resultaat voorspelden).
  • In 12% van hun testcases veranderden deze verborgen instellingen een "winnend" resultaat in een "verliezend" resultaat.
  • Soms maakte de techniek het resultaat slechter dan niets doen, maar de oorspronkelijke paper beweerde dat het beter was omdat ze per toeval de "gelukkige" instellingen hadden gekozen.

3. Het "Wankelende Tafel"-probleem: Tijd verandert alles

Het tweede grote probleem is dat quantumcomputers als wankelende tafels zijn. Ze verplaatsen zich in de loop van de tijd.

• De Analogie: Stel je voor dat je probeert een stapel borden op een tafel in evenwicht te houden.
  • Als je het om 09:00 uur probeert, is de tafel stabiel en kun je 10 borden in evenwicht houden.
  • Als je het om 13:00 uur probeert, is de tafel door temperatuur of slijtage iets verschoven. Nu kun je maar 3 borden in evenwicht houden.
  • Als je het om 17:00 uur opnieuw probeert, verschuift de tafel weer terug en kun je 9 borden in evenwicht houden.
• De Bevinding: De auteurs draaiden het exacte zelfde experiment gedurende 72 uur (3 dagen).
  • Ze ontdekten dat alleen door het tijdstip van de dag te veranderen, de "effectiviteit" van de techniek met 3,4 keer veranderde.
  • De ene ochtend zag de techniek er geweldig uit. Twaalf uur later zag het er middelmatig uit.
  • Dit creëerde een "Effectiviteitsillusie". Het leek alsof de techniek geweldig werkte, maar het was eigenlijk gewoon een gelukkig moment in de tijd.
  • Erger nog, omdat de tafel wankelde, telden de 30 keer dat ze de test deden niet als 30 onafhankelijke tests. Statistisch gezien was het slechts zo goed als 1,8 tests. Dit maakt hun "bewijs" veel zwakker dan ze dachten.

De Grote Conclusie

De auteurs zeggen niet dat Quantum Error Mitigation een slecht idee is of dat het niet werkt. Ze zeggen dat de manier waarop we het momenteel testen en rapporteren, gebrekkig is.

Omdat onderzoekers:

1. Geen strikte statistische wiskunde gebruiken.
2. Hun "geheime recept"-instellingen verbergen.
3. Het feit negeren dat de hardware in de loop van de tijd verandert.

...kunnen we "doorbraken" vieren die eigenlijk gewoon geluk of statistische trucs zijn.

Wat ze voorstellen:
Ze willen een nieuwe "Minimale Rapportagestandaard" voor quantum-bakken. Voordat je claimt dat je taart beter is, moet je:

• Elke enkele instelling die je hebt gebruikt opschrijven (geen verborgen ingrediënten).
• De test op verschillende tijdstippen uitvoeren om zeker te zijn dat de tafel niet wankelt.
• Juiste statistische wiskunde gebruiken om te bewijzen dat het verschil echt is, niet gewoon toeval.

Kortom: De techniek is misschien geweldig, maar ons huidige meetlint is kapot. We moeten het meetlint repareren voordat we de resultaten kunnen vertrouwen.

Technische samenvatting

Technische Samenvatting: "Claim tegen Meting: Statistische Artefacten in Benchmarks voor Quantum Error Mitigation"

Probleemstelling
Quantum Error Mitigation (QEM) wordt gepositioneerd als een cruciale brug tussen Noisy Intermediate Scale Quantum (NISQ)-apparaten en toekomstige Fault Tolerant Quantum Computers (FTQC). De empirische evaluatie van QEM-techniek mist echter vaak een rigoureuze statistische onderbouwing. De huidige literatuur vertrouwt frequent op beschrijvende rapportage in plaats van inferentiële statistiek, wat kan leiden tot conclusies die statistisch niet onderbouwd zijn. Bovendien houden QEM-benchmarks vaak geen rekening met twee versterkende bronnen van artefacten: de gevoeligheid van resultaten voor impliciet aangenomen parameters (zoals schalingsfactoren, extrapolatiemethoden) en de temporele drift van hardwarekalibratie. Deze omissies riskeren het vermengen van echte mitigerende effecten met statistische ruis of experimentele artefacten, waardoor de robuustheid en effectiviteit van QEM-methoden worden overschat.

Methodologie
De auteurs hanteren een mixed-method-benadering die een systematische literatuurstudie combineert met twee empirische casestudies:

1. Systematische Review: De auteurs analyseerden 81 recente QEM-papers (2022–2026) aan de hand van een acht-criteria raamwerk. De criteria beoordeelden de rechtvaardiging van steekproefgrootte, rapportage van variantie, bewijs van inferentiële statistiek, controle op drift, kwantificering van overhead, validatie van ruismodellen, reproduceerbaarheid en rapportage van negatieve resultaten.
2. Replicatie van Parameter Ruimte (Casestudie 1): Met behulp van de Zero-Noise Extrapolation (ZNE)-techniek met Richardson-extrapolatie als representatief geval, repliceerden de auteurs een studie van Khan et al. (2024). Zij formaliseerden de "reproductie-parameter ruimte" ($P$) in categorieën: Hardware/Backend ($H$), Circuit ($C$), Shots & Reps ($Q$), Folding ($F$), Extrapolatie ($E$) en Schalingsfactoren ($S$). Zij voerden systematisch een sweep uit over 132 configuraties door niet gespecificeerde parameters te variëren (bijv. schalingsfactoren $\{1, 3, 5\}$ versus $\{1, 1.5, \dots, 3\}$, extrapolatiemethoden en kalibratiesnaps) terwijl andere constant werden gehouden. Statistische significantie werd beoordeeld met behulp van gepaarde t-toetsen en effectgroottes (Cohen's $d$ en Cliff's $\delta$).
3. Longitudinale Driftstudie (Casestudie 2): Om de impact van temporele drift te isoleren, voerden de auteurs een longitudinale experiment van 72 uur uit op het 54-qubit IQM Euro-Q-Exa-systeem. Zij voerden dezelfde ZNE-configuratie uit op intervallen van 30 minuten gedurende drie sessies (twee dagen van 12 uur en één weekend van 48 uur). Zij analyseerden de autocorrelatie van ruwe verwachtingswaarden en de variatie in ZNE-effectgroottes ($d$) in de tijd.

Belangrijkste Bijdragen

• Vindt uit Systematische Review: De review onthult een aanzienlijk gat in statistische rigueur. Van de 59 papers waar statistisch bewijs van toepassing was, gebruikten slechts 15 (25%) inferentiële methoden (bijv. hypothetestoetsing). De meerderheid (42%) rapporteerde onzekerheid beschrijvend zonder te toetsen op statistische significantie, en 32% leverde helemaal geen statistisch bewijs. Driftcontrole werd slechts in 30% van de papers aangepakt.
• Identificatie van Actieve Parameters: De replicatiestudie toont aan dat parameters die in de literatuur vaak ongespecificeerd worden gelaten (schalingsfactoren, extrapolatiemethoden, kalibratiesnaps) "actief" zijn, wat betekent dat hun variatie experimentele conclusies fundamenteel kan veranderen. Bij de sweep over 132 configuraties verschoven variaties uitkomsten van "statistisch significante verbetering" naar "statistisch significante verslechtering" in specifieke configuraties.
• Drift-Geïnduceerde Illusie van Effectiviteit: De longitudinale studie toont aan dat temporele hardware-drift alleen al kan leiden tot een variatie in de schijnbare effectiviteit van ZNE met een factor van meer dan 3,4 (bijv. Cohen's $d$ variërend van 3,3 tot 11,3) binnen een venster van 48 uur op hetzelfde apparaat.
• Reductie van Effectieve Steekproefgrootte: De studie kwantificeert hoe temporele drift de onafhankelijkheidsaanname van standaard statistische toetsen schendt. Autocorrelatie in de data reduceert het effectieve aantal onafhankelijke waarnemingen ($n_{eff}$) van een nominale 30 herhalingen tot slechts 1,8, wat de bewijskracht van claims die zijn afgeleid van herhaalde metingen drastisch verzwakt.

Resultaten

• Parametergevoeligheid: Bij de replicatie van Khan et al. had de keuze voor schalingsfactoren en extrapolatiemethode een aanzienlijke impact op de resultaten. Zo toonde ZNE op een depolariserend ruismodel in 29/33 configuraties een significante verbetering, maar op echte hardware-snapshot (IBM Osaka) was de verbetering minder consistent. Cruciaal was dat op de IBM Marrakesh-processor met lage foutpercentages, ZNE contraproductief bleek voor ondiepe circuits (TC1), waardoor de fout toenam omdat de versterking van variantie de correctie overtrof.
• Temporele Variabiliteit: De longitudinale studie bevestigde dat hardware-drift niet-stationair is en verschillende patronen vertoont over sessies heen (bijv. stapveranderingen, geleidelijke dalingen, overnachtingsverschuivingen). De variatie in ZNE-effectiviteit veroorzaakt door drift (3,4x) was groter dan de variatie waargenomen bij het wijzigen van het volledige ruismodel (2,7x).
• Statistische Kracht: De studie benadrukt dat lage shot-aantallen en weinig herhalingen risico's met zich meebrengen voor vals-negatieven voor echte effecten en een onvermogen om de afwezigheid van verbetering te bevestigen. Omgekeerd kunnen hoge shot-aantallen effectgroottes ($d$) opblazen zonder echte robuustheid weer te geven als de onderliggende hardware instabiel is.

Betekenis en Claims
De auteurs claimen niet dat QEM-methoden intrinsiek onhoudbaar zijn. Zij betogen echter dat huidige evaluatiepraktijken de mitigerende prestaties robuuster doen lijken dan het bewijs rechtvaardigt. Het paper stelt het volgende:

1. Validiteit van Evaluatie: Zonder controle op parametergevoeligheid en temporele drift kunnen QEM-benchmarks niet betrouwbaar onderscheid maken tussen echte mitigerende effecten en statistische of experimentele artefacten.
2. Reproduceerbaarheidscrisis: Het "reproduceerbaarheidsrisico" is hoog omdat gedocumenteerde parameters vaak slechts een klein subset van de volledige parameter ruimte vertegenwoordigen, en de specifieke kalibratiesnapshot op het moment van uitvoering een kritieke, vaak ongerapporteerde variabele is.
3. Voorgestelde Standaarden: Om deze problemen aan te pakken, stellen de auteurs minimumrapporteringsstandaarden voor QEM-evaluaties voor, waaronder:
   • Expliciete documentatie van alle actieve parameters (inclusief kalibratiesnaps).
   • Verplicht inferentieel statistisch toetsen met rapportage van effectgroottes.
   • Robuustheidstests over een raster van configuraties.
   • Longitudinale driftbeoordeling of randomisatie van uitvoervolgorde om drift te deconfouderen van pareffecten.

Het paper concludeert dat deze methodologische verbeteringen noodzakelijk zijn om de wetenschappelijke houdbaarheid en praktische geloofwaardigheid van QEM-onderzoek te waarborgen naarmate het veld vordert naar het demonstreren van quantum nut.