Rethinking Reproducibility in the Classical (HPC)-Quantum Era: Toward Workflow-Centered Science

Dit artikel pleit voor een verschuiving naar een workflow-gecentreerde wetenschappelijke praktijk die de uitdagingen van reproduceerbaarheid in de geïntegreerde klassieke en quantum-computingwereld aanpakt door zowel procesabstracties als implementatiecontexten te documenteren.

De kern

Herkijken van Wetenschap in het HPC-Kwantum-tijdperk: Een Reis naar Betere Herhaalbaarheid

Stel je voor dat wetenschap een gigantische keuken is. Vroeger kookten onderzoekers met simpele pannen en recepten. Als je het recept volgde, kreeg je dezelfde soep als je buurman. Dat noemen we herhaalbaarheid: als iemand anders hetzelfde doet, moet het resultaat hetzelfde zijn.

Maar nu wordt die keuken steeds complexer. We hebben niet alleen grote, snelle kachels (de klassieke supercomputers of HPC), maar we beginnen ook te experimenteren met een heel nieuw soort "magnetische magnetron" die werkt volgens de regels van de quantummechanica. Dit paper van Anna Vrtiak en haar collega's vertelt ons dat deze nieuwe keuken ons oude receptenboek onbruikbaar maakt, en dat we een nieuwe manier van koken moeten bedenken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: Waarom is het "Hetzelfde" niet meer hetzelfde?

In de oude keuken (klassieke computers) dachten we: "Als ik precies hetzelfde recept gebruik, krijg ik dezelfde uitkomst." Maar dat is lastiger geworden.

• De Klassieke Keuken (HPC): Stel je voor dat je een recept hebt, maar de oven van je buren heeft een andere temperatuur, het meel is een andere batch, en de schaal is net iets anders. Zelfs als je hetzelfde recept volgt, kan je taart anders smaken. In de supercomputerwereld veranderen software-versies en hardware-instellingen zo snel, dat onderzoekers hun eigen experimenten vaak niet meer kunnen reproduceren.
• De Quantum-Keuken: Hier wordt het nog gekker. Een quantumcomputer is als een munt die je in de lucht gooit. Zelfs als je precies hetzelfde doet, landt hij soms op kop en soms op staart. Het resultaat is waarschijnlijkheid, niet zekerheid. Bovendien is elke quantumcomputer uniek, net als elke munt die net iets anders weegt. Als je een experiment op de ene quantumcomputer doet, krijg je een ander resultaat dan op de andere, zelfs als je het "recept" (de code) identiek houdt.

De kernboodschap: De infrastructuur (de apparatuur) is niet langer een onzichtbare, neutrale achtergrond. De apparatuur is nu een onderdeel van het experiment zelf. Je kunt het resultaat niet loskoppelen van de machine die het heeft gemaakt.

2. De Oude Maatstaven werken niet meer

Wetenschappers gebruiken vaak de "FAIR-principes" (vindbaar, toegankelijk, etc.) om wetenschap betrouwbaar te houden. Maar in deze nieuwe wereld zijn die regels net als een landkaart van 1920 die je gebruikt om een moderne stad te navigeren.

• Transparantie: Het is niet genoeg om alleen je code te delen. Je moet ook vertellen waar je code liep, hoe de machine eruitzag, en hoe "ruis" (storingen) de uitkomst beïnvloedde.
• Hergebruik: Je kunt een quantum-experiment niet zomaar op een andere machine kopiëren, omdat die machine anders "ruist".

3. De Oplossing: "Meta-Werkstromen" (Meta-Workflows)

Het paper stelt een nieuwe aanpak voor: Wetenschap gericht op Werkstromen.

Stel je voor dat je niet meer een specifiek recept schrijft voor deze oven, maar een Master-Plan maakt.

• Het Master-Plan (Meta-workflow): Dit plan beschrijft wat je wilt bereiken (bijv. "een taart bakken die niet instort") en waarom bepaalde stappen nodig zijn, zonder te zeggen welke specifieke oven of welk specifiek meel je moet gebruiken.
• De Implementatie: De uitvoering (de daadwerkelijke bakkerij) past zich aan aan de beschikbare apparatuur.

In de praktijk betekent dit dat onderzoekers en de mensen die de computers bouwen (de infrastructuur) samenwerken. De onderzoeker is niet meer alleen de "klant" die een machine huurt, maar wordt een mede-ontwerper. Ze maken samen een plan dat flexibel genoeg is om te werken op verschillende machines, maar strikt genoeg om de wetenschappelijke waarheid te bewaken.

4. Wat betekent dit voor de "Waarheid"?

Vroeger dachten we: "Wetenschappelijke kennis is een vaststaand feit dat je kunt kopiëren."
Nu moeten we leren denken: "Wetenschappelijke kennis is een proces dat afhankelijk is van de context."

Het is alsof je een reis maakt. Vroeger dachten we: "Als je dezelfde route neemt, kom je op dezelfde plek aan." Nu zeggen we: "De route is belangrijk, maar ook het voertuig (de auto, de fiets, het vliegtuig) en het weer bepalen hoe je aankomt. De reis is het resultaat."

Conclusie: Een Nieuwe Cultuur

Dit paper zegt niet dat we moeten stoppen met quantumcomputers of dat we moeten hopen dat alles straks "perfect" wordt. Integendeel.

Ze zeggen: Accepteer de complexiteit.
De integratie van klassieke en quantumcomputers is als een spiegel die ons laat zien dat onze oude manier van werken niet meer werkt. Door te stoppen met proberen alles exact te kopiëren, en te beginnen met het documenteren van de logica en de context van ons werk (via die Meta-workflows), maken we wetenschap sterker.

Het is een uitnodiging om te stoppen met vechten tegen de verandering en te leren dansen met de complexiteit. Alleen zo kunnen we ervoor zorgen dat wetenschappelijke ontdekkingen in dit nieuwe, razendsnelle tijdperk nog steeds betrouwbaar en waardevol blijven.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Rethinking Reproducibility in the Classical (HPC)-Quantum Era: Toward Workflow-Centered Science" in het Nederlands.

Probleemstelling

De wetenschappelijke kennisproductie is steeds meer afhankelijk van complexe computatieprocessen waarbij zowel hardware- als softwarelagen de onderzoeksuitkomsten beïnvloeden. De paper identificeert een groeiende "reproduceerbaarheidscrisis" in de computationele wetenschappen, die verergerd wordt door de integratie van klassieke High-Performance Computing (HPC) en kwantumcomputing.

De kernproblemen zijn:

1. Klassieke HPC: Hoewel klassieke computers deterministisch zijn, wordt reproduceerbaarheid ondermijnd door hardware-afhankelijkheden, onvoldoende documentatie, variatie in infrastructuur en een onderzoeks cultuur die reproduceerbaarheid niet belooft.
2. Kwantumcomputing: Dit introduceert fundamenteel nieuwe uitdagingen. Kwantumsystemen zijn probabilistisch (niet deterministisch), hebben een lage Technologische Bereidheidsgraad (TRL), vertonen hardware-specifieke ruis (noise) en hebben een zeer strakke koppeling tussen software en hardware.
3. Integratie: De komst van hybride systemen (HPC als accelerator voor kwantum) creëert een situatie waar de infrastructuur onlosmakelijk verbonden raakt met het resultaat. Bestaande reproduceerbaarheidskaders blijken ontoereikend omdat ze niet om kunnen gaan met deze complexiteit en de overgang van deterministische naar probabilistische uitkomsten.

Methodologie

De auteurs hanteren een analytische en conceptuele benadering, gebaseerd op literatuuronderzoek en expertfocusgroepen bij SURF (de Nederlandse IT-coöperatie voor onderzoek en onderwijs).

• Conceptueel Kader: De analyse bouwt voort op het filosofische concept van robustheid (procedurele en resultaat-robustheid) en de drie dimensies van reproduceerbaarheid volgens Chirigati et al.:
  • Transparantie: Openheid van data, code en omgeving.
  • Portabiliteit: De mogelijkheid om onderzoek op verschillende systemen uit te voeren.
  • Dekking (Coverage): Hoe volledig het onderzoekspipeline is vastgelegd.
• Vergelijkende Analyse: De paper vergelijkt systematisch de uitdagingen in klassieke HPC versus kwantumcomputing, met een specifieke focus op de "Noisy Intermediate-Scale Quantum" (NISQ) era.
• Stakeholder-analyse: Er wordt gekeken naar de verantwoordelijkheidsverdeling tussen onderzoekers, infrastructuurproviders en wetenschappelijke instellingen.

Belangrijkste Bijdragen en Resultaten

1. Diagnose van de Uitdagingen
De paper schetst een gedetailleerd beeld van waarom reproduceerbaarheid faalt:

• In Klassieke HPC: Het probleem ligt vaak in "verborgen" variaties (OS-versies, compiler-optimalisaties, bibliotheekversies) die leiden tot verschillende uitkomsten op hetzelfde systeem over tijd.
• In Kwantumcomputing:
  • Probabilistische Output: Identieke programma's leveren statistische verdelingen op, niet één vast resultaat.
  • Hardware-afhankelijkheid: Ruis (decoherentie, gate-fouten, readout-fouten) is inherent aan de fysieke chip. Twee dezelfde circuits op verschillende chips (of zelfs dezelfde chip op een ander tijdstip) leveren verschillende resultaten.
  • Software-Hardware Koppeling: Hoog-niveau code (bijv. Qiskit) wordt vertaald (gecompileerd) naar specifieke hardware-instructies. Deze compilatie is hardware-specifiek en beïnvloedt de uitkomst direct.
• Hybride Integratie: De paper stelt dat de integratie van kwantum en HPC niet alleen de bestaande problemen versterkt, maar ook blootlegt dat de scheiding tussen "infrastructuur" en "experiment" verdwijnt. De infrastructuur wordt een integraal onderdeel van het meetapparaat.

2. Conceptuele Verschuiving: Van "Selfde Setup" naar "Meta-Workflows"
De auteurs concluderen dat de traditionele definitie van reproduceerbaarheid ("zelfde setup, zelfde resultaat") niet langer houdbaar is voor kwantum-geïntegreerde wetenschap.

• Probleem: Het is onmogelijk om exact dezelfde fysieke omgeving te repliceren vanwege hardware-drift en probabilistische aard.
• Oplossing: De paper introduceert het concept van Workflow-Centered Science en Meta-workflows.
  • Meta-workflows zijn abstracte representaties van de onderzoeklogica. Ze definiëren wat er gedaan moet worden (de wetenschappelijke vraag, de validiteitscriteria, de afhankelijkheden) zonder vast te zitten aan een specifieke hardware- of software-implementatie.
  • Ze scheiden de procesabstractie (de wetenschappelijke methode) van de implementatiecontext (de specifieke hardware, ruisprofielen, compilatie-instellingen).

3. Nieuwe Definitie van Robustheid
De paper pleit voor een herdefiniëring van robustheid in dit nieuwe tijdperk:

• Procedurele Robustheid (PR): Moet verschuiven van "stabiliteit onder variatie" naar "beperkte variabiliteit met specifieke benchmarks".
• Resultaat-Robustheid (RR): Moet worden geïnterpreteerd binnen betrouwbaarheidsintervallen (confidence intervals) in plaats van exacte overeenkomst.
• Transparantie: Moet uitgebreid worden tot gedetailleerde hardware-characterisatie, kalibratieparameters en compilatieconfiguraties.

Significantie en Conclusie

De significante bijdrage van deze paper is de erkenning dat de kwantum-HPC-integratie fungeert als een catalysator die dieperliggende methodologische tekortkomingen in de gehele computationele wetenschap blootlegt.

• Paradigmaverschuiving: De paper stelt dat we moeten stoppen met het zien van kwantumreproduceerbaarheid als een louter technisch probleem dat opgelost moet worden door betere tools. In plaats daarvan moet dit leiden tot een epistemologische evolutie: een herdefiniëring van wat "wetenschappelijke kennis" is in een complexe computatiewereld.
• Rolverdeling: Onderzoekers moeten evolueren van passieve gebruikers van tools naar actieve co-ontwerpers van workflows, samenwerkend met infrastructuurproviders.
• Toekomstvisie: Door meta-workflows te adopteren, kan de wetenschap complexiteit omarmen zonder in te boeten aan rigour. Het stelt de wetenschappelijke gemeenschap in staat om resultaten te valideren die afhankelijk zijn van hun specifieke computatiecontext, zonder de eis van fysieke identiteit van de experimentele opstelling.

Kortom, de paper pleit voor een overgang van een "infrastructuur-neutrale" visie naar een "workflow-gedreven" wetenschap, waarbij de context van de uitvoering expliciet wordt gedocumenteerd en geïntegreerd in de interpretatie van de resultaten.