💻 computer science

Auditing Empirical Comparisons in Quantum Software

Dit artikel introduceert CLAIMSTAB-QC, een framework voor het auditeren van empirische vergelijkingen in quantumsoftware door onderzoeksontwerpen vast te leggen vóór de uitkomstberekening, wat een significante materialisatiekloof onthult waarbij de meeste gerapporteerde claims onvoldoende bewijs missen voor directe verificatie en vaak onopgeloste of omgekeerde resultaten opleveren onder strikte controle.

Oorspronkelijke auteurs: Boshuai Ye, Peng Liang, Maryam Tavassoli Sabzevari, Arif Ali Khan

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Boshuai Ye, Peng Liang, Maryam Tavassoli Sabzevari, Arif Ali Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een restaurantrecensie leest waarin staat: "De burger van Chef A is lekkerder dan die van Chef B." Meestal gaan we ervan uit dat dit een universele waarheid is over de burgers. Maar wat als Chef A een geheim kruidenmengsel gebruikte, een specifiek type broodje, en een grill die op een precieze temperatuur stond ingesteld, terwijl Chef B een ander broodje en een houtskoolgrill gebrude? Als je ze zelf probeert te proeven met je eigen keukengerei, kan het zijn dat de burger van Chef B er eigenlijk wint.

Dit is het probleem waar het artikel "Auditing Empirical Comparisons in Quantum Software" zich mee bezighoudt, maar in plaats van burgers, gaat het over quantumcomputers en de software die ze aanstuurt.

Hier is een eenvoudige uitleg van wat de auteurs hebben gedaan, met alledaagse analogieën.

1. Het Probleem: De "Appels versus Oranjes" Valstrik

In de wereld van quantumsoftware publiceren onderzoekers vaak papers waarin zij beweren: "Onze tool (Tool A) is sneller/beter dan die andere tool (Tool B)."

Echter, quantumsoftware is als een gigantische, meerlagige sandwich. Om een sandwich te maken, heb je brood, vulling, saus en een specifieke manier van snijden nodig. In quantumsoftware zijn deze lagen:

De code (het brood).
De compiler (de snijder).
De simulator of hardware (het bord).
De ruis en fouten (de kruimels).

De auteurs stellen dat zeggen dat "Tool A beter is" vaak misleidend is, omdat het resultaat volledig afhangt van hoe de sandwich is gemaakt. Als je het brood (het circuit) of de snijder (de compiler-instellingen) verandert, kan Tool A er plotseling slechter uitzien dan Tool B.

2. De Oplossing: De "Strenge Inspecteur" (CLAIMSTAB-QC)

De auteurs hebben een nieuw framework gebouwd genaamd CLAIMSTAB-QC. Zie dit als een strenge voedselinspecteur die niet alleen het eten proeft, maar ook eerst het recept kaartje controleert.

Zo werkt deze "inspectie":

De Claim Kaart: Wanneer een paper zegt "A verslaat B", schrijft de inspecteur precies op wat er beweerd is: de specifieke ingrediënten, de specifieke tools en de specifieke regels die gebruikt zijn.
Het Slot: Voordat de inspecteur iets proeft, vergrendelt hij het recept. Hij mag de ingrediënten of de tools niet veranderen. Hij moet exact gebruiken wat de oorspronkelijke paper beschreef.
De Bewijscontrole: De inspecteur bekijkt het "bonnetje" (de data en code) van de paper.
- Scenario A: De paper heeft het exacte bonnetje geleverd. De inspecteur kan de burger proeven precies zoals beschreven.
- Scenario B: De paper zei "A is beter", maar heeft de ingrediënten of de temperatuur niet vermeld. De inspecteur kan het niet proeven. Hij moet stoppen en zeggen: "We kunnen deze claim niet verifiëren omdat de bewijslast ontbreekt."

3. De Grote Ontdekking: De "Ontbrekende Bon" Kloof

De auteurs hebben dit framework getest op 455 claims uit 119 verschillende research papers. De resultaten waren verrassend:

175 claims konden worden opgeschreven als een duidelijk recept (Claim Kaarten).
79 claims leken testbaar te zijn.
53 claims hadden genoeg data om een test op te zetten.
MAAR... slechts 8 claims hadden het volledige "bonnetje" dat nodig is om de claim te testen zonder te gokken of ontbrekende data te verzinnen.

De Analogie: Stel je voor dat een restaurantketen beweert dat hun burgers de beste van de stad zijn. Ze geven je een lijst met 100 locaties. Je gaat naar 53 van hen om het te controleren. Maar wanneer je de burger probeert te proeven, merk je dat 45 van hen niet hebben vermeld welke ingrediënten ze hebben gebruikt. Je kunt de burger alleen echt proeven en verifiëren bij 8 locaties.

Dit wordt de "Materialisatiekloof" genoemd. Onderzoekers rapporteren vaak het resultaat (de winnaar) zonder de bewijslast (de exacte instellingen) te verstrekken die nodig is om de test te bewijzen.

4. De Resultaten: Wie Heeft Er Eigenlijk Gewonnen?

Voor de 8 claims met volledig bewijs voerden de auteurs de "strenge audit" uit:

2 claims: De oorspronkelijke winnaar werd bevestigd (het "Sustained" oordeel).
4 claims: Het was onmogelijk om te bepalen wie er won omdat de data te gemengd was of de resultaten te dicht bij elkaar lagen (het "Unresolved" oordeel).
2 claims: De oorspronkelijke winnaar verloor het eigenlijk wanneer er strikt werd getest (het "Reversed" oordeel).

Het "Reversed" Voorbeeld: Eén paper beweerde dat Tool A minder fouten produceerde dan Tool B. Toen de auteurs de instellingen vergrendelden en de test exact zoals beschreven opnieuw uitvoerden, kwamen ze erachter dat Tool A juist meer fouten produceerde. De oorspronkelijke claim was alleen waar vanwege een specifieke, niet-gerapporteerde instelling die de auteurs niet hadden vastgelegd.

5. De Les: "Laat je Werk Zien"

Het artikel concludeert dat de huidige manier van rapporteren over quantumsoftware-vergelijkingen kapot is. Het is alsof een wiskundeleraar zegt: "Het antwoord is 5," maar niet de stappen laat zien.

De auteurs stellen voor dat toekomstige papers:

De vergelijking duidelijk formuleren.
Het exacte "bonnetje" (de specifieke instellingen, seeds en data) verstrekken die nodig zijn om de test te vergrendelen.
Duidelijk toegeven waar de bewijslast ophoudt (bijv. "We hebben dit alleen getest op kleine circuits; we weten niet of het ook werkt op grote circuits").

Samenvatting

Het artikel zegt niet dat quantumsoftware slecht is. Het zegt dat claims over welke software "beter" is, vaak onbewijsbaar zijn omdat onderzoekers niet genoeg details delen over hoe ze de tests hebben uitgevoerd.

Ze bouwden een tool (CLAIMSTAB-QC) om als een strenge auditor te fungeren. Toen ze deze gebruikten, ontdekten ze dat de meeste claims niet geaudit konden worden omdat de "bonnetjes" ontbraken. Voor de weinige claims die wel geaudit konden worden, waren de resultaten gemengd: soms hield de oorspronkelijke claim stand, soms niet, en vaak was het onmogelijk om het te zeggen.

De les: Als je wilt weten of Tool A echt beter is dan Tool B, moet je het volledige recept zien, niet alleen de uiteindelijke smaak.

Technische Samenvatting: Auditing van Empirische Vergelijkingen in Quantum Software

Probleemstelling
Empirische papers in Quantum Software Engineering (QSE) rapporteren frequent vergelijkende claims (bijv. "Compiler A produceert kleinere circuits dan Compiler B"). Deze "A verslaat B"-conclusies zijn echter geen intrinsieke eigenschappen van de tools alleen; het zijn emergente uitkomsten van een complexe stack die bestaat uit circuitconstructie, compilatiekeuzes, bemonsteringsstrategieën, backend-ruisveronderstellingen, optimalisator-stochastiek en resource-budgetten. Hoewel bestaande methoden zich richten op reproduceerbaarheid (het opnieuw draaien van experimenten) en tool-testen, adresseren zij niet direct de vraag of de gerapporteerde vergelijking zelf wordt ondersteund door de specifieke bewijslast die in de brontekst en het artefact wordt gepresenteerd.

De kernuitdaging is de materialisatiekloof: een paper kan een duidelijke ordening rapporteren, maar de bron mist vaak de bijbehorende bewijslast (gepaarde baselines, identieke instellingen en vergrendelde uitkomstregels) die vereist is om die specifieke relatie te auditen zonder gebruik te maken van proxy-reconstructie of het introduceren van ononderbouwde aannames. Gevolgelijk blijven veel gerapporteerde vergelijkingen niet-auditbaar, ondanks de beschikbaarheid van uitvoerbare artefacten.

Methodologie: CLAIMSTAB-QC Framework
De auteurs presenteren CLAIMSTAB-QC, een bron-gebonden framework ontworpen om empirische vergelijkingen te auditen door de gerapporteerde relatie als de audit-eenheid te behandelen. Het framework werkt via de volgende fasen:

Claim Card Representatie: Een gerapporteerde vergelijking wordt geformaliseerd als een claim card $C = \langle P, BA, BB, M, R \rangle$ , waarbij $P$ de probleemcontext is, $BA/BB$ de baselines zijn, $M$ de metriek is en $R$ de gerapporteerde relatie is. Dit legt de scope vast voordat een uitkomst wordt berekend.
Materialisatie en Vergrendeling: Het framework probeert de claim te "materialiseren" door bron-ondersteunde bewijslast te identificeren. Het definieert een Audit Ruimte ( $S_{audit} = S_{scope} \times E_{env}$ $S_{a u d i t} = S_{sco p e} \times E_{e n v}$ ) bestaande uit zes as-groepen: Scope (probleemgrootte, instanties), L1 (constructie/compilatie), L2 (bemonstering/schatting), L3 (backend/ruis), ALGO (optimalisator-stochastiek) en Budget (resource-limieten).
- Een Dry-Run-First procedure inspecteert deze assen. Alleen variaties die bron-ondersteund, metriek-beïnvloedend en relatie-behoudend zijn, worden geactiveerd.
- Het ontwerp is vergrendeld voordat uitkomsten worden berekend. Als de bron niet beschikt over de noodzakelijke gepaarde data (bijv. gematchte circuits onder identieke seeds), stopt de audit bij een Evidence Boundary (bewijsgrens).
Uitkomstberekening:
- Voor Scalar-Directional records (strikte "beter/slechter" claims) berekent het framework een gesigneerde marge voor elke gematchte cel.
- Het past een Wilson beslisregel toe om de relatie te classificeren als Sustained (ondergrens $\ge \tau$ ), Reversed (bovengrens $\le 1-\tau$ ) of Unresolved. De drempelwaarde $\tau$ wordt ingesteld op 0,95 voor strikte claims.
- Niet-scalaire records (aggregaten, crossovers) gebruiken bron-ondersteunde regels indien vergrendelbaar; anders worden ze gemarkeerd als grenzen.
Rapportage: De output bevat de gescoped verdict (S/U/R) of een expliciete evidence boundary die uitlegt waarom de vergelijking niet geaudit kon worden (bijv. ontbrekende timing-protocollen, niet-gematchte seeds).

Kernbijdragen

Framework: Een nieuw QSE-framework dat de audit-focus verschuift van "kunnen we het resultaat reproduceren?" naar "ondersteunt de bron-bewijslast de gerapporteerde relatie?" met behulp van bron-gebonden records en vergrendelde ontwerpen.
Empirische Studie: Een toepassing van het framework op 455 vergelijkende claims uit 119 quantum-software papers (2020–2024).
Herbruikbaar Artefact: Een vrijgegeven pakket met claim-representaties, audit-records, vergrendelde traces en annotaties over ontbrekende bewijslast om inspectie van empirische QSE-vergelijkingen te faciliteren.

Resultaten
De studie onthult een significante materialisatie-trechter en kloof:

Representatie: Van de 455 geaccepteerde claims konden 175 worden gerepresenteerd als claim cards.
Planning: 79 werden geïdentificeerd als scalar-directional planning records.
Lockability: 53 leverden vergrendelbare audit- of diagnostische ontwerpen op.
Proxy-Vrije Auditing: Slechts 8 records boden voldoende gematchte bewijslast om de oorspronkelijke vergelijking te auditen zonder proxy-reconstructie (Tier-1).
- Van deze 8 waren er 2 Sustained, 4 Unresolved en 2 Reversed.
- Opvallend genoeg toonden twee "Reversed" gevallen (EX-C7 en EX-C8) aan dat de gerapporteerde richting werd tegengesproken in respectievelijk 0/80 en 0/80 vergrendelde cellen, gedreven door strikte tegenstrijdigheden in plaats van gelijke uitkomsten.
Gecontroleerde Diagnostiek: Experimenten op 24 benchmark-relevante vergelijkingen toonden aan dat eenvoudigere audit-protocollen (enkele configuratie of enkele as) vaak de schijnbare richtingen behielden die verzwakten of Unresolved werden wanneer de volledige stack van vergrendelde assen (L1–L3, ALGO, BUDGET) werd geïnspecteerd.
Robuustheid: Verdicts bleken robuust tegen statistische keuzes (drempels, groepering) wanneer de bewijslast voldoende was, maar de gevoeligheid voor tie-handling en drempelwaarden werd expliciet gerapporteerd als een boundary condition.

Betekenis en Claims
Het artikel betoogt dat empirische QSE-vergelijkingen vaak worden gerapporteerd als uitkomsten zonder de noodzakelijke bewijslast om de vergelijking zelf te auditen. De primaire betekenis van dit werk is de demonstratie dat prestatie-ordeningen en hun ondersteunende bewijslast scheidbaar zijn.

De auteurs concluderen dat voor de vooruitgang van empirische QSE, bronnen niet alleen moeten rapporteren wie wint, maar ook de gematchte bewijslast die nodig is om de scope van die ordening te vergrendelen. Het framework biedt een mechanisme om onderscheid te maken tussen een vergelijking die auditbaar is (Sustained/Reversed/Unresolved) en een die fundamenteel niet-auditbaar is vanwege ontbrekende bewijslast (Boundary). Dit verschuift het rapportage-doel voor toekomstige QSE-studies: papers moeten expliciet de baselines, instellingen, instanties, budgetten en uitkomstregels blootleggen die nodig zijn om de vergelijking te vergrendelen, en duidelijk aangeven waar evidence boundaries verdere auditing verhinderen.