Technische Samenvatting: Over de reproduceerbaarheid van quantum software defect datasets: Een casestudy van Bugs4Q

Probleemstelling

Software defect datasets zijn fundamentele bronnen voor onderzoek in softwaretesting, foutlokalisatie en automatische programmaherstel. De reproduceerbaarheid van deze datasets verslechtert echter vaak in de loop van de tijd door veranderingen in executie-omgevingen en systeemafhankelijkheden. Hoewel eerder werk (Zhu et al.) heeft vastgesteld dat klassieke defect datasets (bijv. Defects4J) last hebben van reproductiefalen, blijft het onduidelijk of deze bevindingen generaliseren naar quantum software. Quantumprogramma's bezitten unieke kenmerken, zoals probabilistische outputs en een afhankelijkheid van specifieke quantum gate-operaties, wat mogelijk andere uitdagingen voor de reproduceerbaarheid met zich meebrengt. Deze studie adresseert de kenniskloof met betrekking tot de temporele reproduceerbaarheid van quantum software defect datasets, met een specifieke focus op Bugs4Q, een breed gebruikte benchmark van real-world bugs in Qiskit-gebaseerde quantumprogramma's.

Methodologie

De auteurs voerden een operationele replicatie uit van de studie van Zhu et al., waarbij het experimentele ontwerp werd aangepast voor het quantumdomein.

• Dataset: De studie maakte gebruik van Bugs4Q, een dataset die 42 real-world buggy Qiskit-programma's bevat, verzameld van GitHub, Stack Overflow en Stack Exchange. Na het uitsluiten van vijf artefacten die geen testcode bevatten, werden 37 artefacten geanalyseerd. Deze werden gecategoriseerd in drie bugtypen: Wrong Output (WO), Throw Exception (TE) en Simulation Failure (SF).
• Longitudinale Analyse: De auteurs evalueerden de reproduceerbaarheid over 21 snapshots van de Qiskit core library, verspreid over drie belangrijke versie-series (0.x, 1.x en 2.x) gedurende een periode van drie jaar (mei 2022 tot april 2026).
• Experimentele Opstelling:
  • Executies: In totaal werden 77.700 quantum program executies uitgevoerd. Om rekening te houden met de niet-deterministische aard van quantummetingen, werd elk artefact 30 keer per snapshot uitgevoerd.
  • Configuraties: Twee afhankelijkheidsconfiguraties werden getest:
    1. Core-only: Alleen de core Qiskit library updaten.
    2. Pinned-stack: De core library updaten terwijl compatibele versies van omliggende packages handmatig worden vastgezet (pinned) op basis van officiële release notes.
  • Reproduceerbaarheidscriteria: Drie criteria van toenemende strengheid werden aangepast van eerder werk:
    1. Existence: De buggy versie faalt en de gefixte versie slaagt.
    2. Type Match: Het type falen (bijv. een specifieke exception class of assertion error) komt overeen met de oorspronkelijke rapportage.
    3. Cause Match: Het runtime bewijs (bijv. foutmelding of output bias) is consistent met de oorspronkelijke oorzaak.
• Root Cause Analysis: Voor artefacten die faalden op het strengste criterium (Cause Match), voerden de auteurs een handmatige classificatie uit van 543 instanties van reproductiefalen met behulp van open coding om de oorzaken te identificeren en patch-strategieën voor te stellen.

Belangrijkste Bevindingen en Resultaten

1. Degradatie van de reproduceerbaarheid in de loop van de tijd

De reproduceerbaarheid van Bugs4Q nam scherp af naarmate het Qiskit-ecosysteem evolueerde.

• Op de initiële snapshot (Qiskit v0.20.1) was de reproduceerbaarheid onder het Existence-criterium 62,2%.
• Tegen de laatste snapshot (Qiskit v2.3.1) was de reproduceerbaarheid gedaald naar 16,2%.
• De daling was het meest ernstig na grote versie-upgrades (0.x → 1.x en 1.x → 2.x).
• Persistentie van Falen: In tegenstelling tot klassieke datasets, waarbij artefacten soms weer reproduceerbaar worden, bleef een Bugs4Q-artefact dat eenmaal niet-reproduceerbaar was, ook in alle daaropvolgende snapshots niet-reproduceerbaar. 83,8% van de artefacten (31 van de 37) ervoer ten minste één reproductiefalen over de driejarige periode.

2. Oorzaken van de reproductiefouten

Analyse van 543 falende instanties toonde aan dat 93,6% van de fouten gerelateerd was aan afhankelijkheden, wat consistent is met bevindingen in klassieke software. Echter, de aard van deze afhankelijkheden verschilde significant:

• Source-related failures (82,0%): De dominante oorzaak. Deze traden op omdat de broncode van het artefact verwijzingen maakte naar Qiskit-interfaces (import paden of API-aanroepen) die in nieuwere versies verwijderd of gestructureerd waren.
  • Import Incompatibility (48,1%): Modules die verplaatst of verwijderd waren (bijv. qiskit.extensions).
  • API Invocation Incompatibility (33,9%): Legacy functies (bijv. execute) die vervangen zijn door nieuwe patronen (bijv. transpile + backend.run).
• Library-related failures (11,6%): Incompatibiliteiten tussen de core library en omliggende packages.
• Quantum-specifieke failures (5,1%): Fouten door de probabilistische aard van quantummetingen (bijv. statistische fluctuaties in shot counts).
• Oorspronkelijke testproblemen (1,3%): Gebreken in de oorspronkelijke testlogica.

3. Patchbaarheid en Wijzigingen in de Broncode

Een kritiek verschil met de bevindingen bij klassieke software werd waargenomen met betrekking tot de oplosbaarheid:

• In klassieke datasets kon ~94% van de fouten worden opgelost door enkel updates van afhankelijkheden.
• In Bugs4Q kon slechts 4,6% van de fouten worden opgelost door patches op milieuniveau (dependency pinning).
• De resterende 95,4% vereiste wijzigingen in de broncode, zoals het migreren van import statements en het updaten van API-aanroepen om aan te sluiten bij de nieuwe Qiskit interface.

Bijdragen

1. Empirische Studie: Dit is de eerste empirische studie die de reproduceerbaarheid van een quantum software defect dataset onderzoekt in de loop van de tijd.
2. Classificatie van de Oorzaak: De studie classificeert reproductiefalen en identificeert dat hoewel afhankelijkheidsgerelateerde problemen domineren, deze zich primair manifesteren als mismatches in de broncode-interface in plaats van eenvoudige versieconflicten.
3. Bugs4Q-Robust: De auteurs hebben Bugs4Q-Robust samengesteld, een gepatchte versie van de dataset ontworpen voor Qiskit v2.3.1.
   • Resultaten: Het toepassen van patches verhoogde de reproduceerbaarheid van 16,2% naar 78,4% (Existence criterium) op de nieuwste versie.
   • Beperkingen: Sommige fouten blijven onoplosbaar vanwege "Library-internal behavior changes", waarbij de nieuwe API impliciet condities afhandelt die voorheen fouten triggerden, waardoor de oorspronkelijke bug onmogelijk te reproduceren is, ongeacht het patchen.
4. Implicaties voor Onderhoud: De studie benadrukt dat het onderhouden van quantum defect datasets continue migratie van de broncode vereist, en niet enkel milieubeheer.

Betekenis en Claims

Het artikel claimt dat hoewel het fenomeen van de degradatie van de reproduceerbaarheid consistent is tussen klassieke en quantum software, het mechanisme en de oplossing verschillen.

• Dependency Management is Noodzakelijk maar Onvoldoende: In tegen tegenstelling tot klassieke datasets waar het vastzetten (pinning) van afhankelijkheden vaak volstaat, vereisen quantum datasets actieve broncode-migratie om verouderde API-verwijzingen te actualiseren.
• Noodzaak voor Continu Onderhoud: De snelle evolutie van frameworks zoals Qiskit, gekenmerkt door breaking changes in major versies, vereist dat dataset-beheerders regelmatig handmatige migraties van artefacten naar nieuwe API's uitvoeren.
• Toekomstige Onderzoeksrichting: De auteurs suggereren dat technieken voor automatische code-migratie, geleid door de evolutie van het framework (bijv. Qiskit migratie gidsen), een veelbelovende richting zijn voor het onderhouden van quantum defect datasets, aangezien handmatig patchen niet schaalbaar is.

De studie concludeert dat voor onderzoekers die Bugs4Q gebruiken, het essentieel is om de specifieke dataset snapshot en de executie-omgeving te rapporteren, en om eventuele wijzigingen te documenteren die zijn doorgevoerd om de reproduceerbaarheid te herstellen. De auteurs stellen Bugs4Q-Robust en hun replicatiepakket beschikbaar om toekomstig onderzoek in dit evoluerende ecosysteem te ondersteunen.