Stel je een wereld voor waarin computers niet alleen getallen verwerken, maar dansen met het weefsel van de werkelijkheid, waarbij ze de vreemde regels van de kwantumfysica gebruiken om problemen op te lossen die de huidige supercomputers eeuwen zouden kosten. Dit is het domein van quantum computing, een veld dat belooft alles te revolutioneren, van medicijnen tot financiën. Maar zoals elke nieuwe technologie, is het gebouwd op een fundament van softwarebibliotheken—massieve, complexe instructiehandleidingen die de quantumhardware vertellen wat het moet doen. Denk aan deze bibliotheken als de "besturingssystemen" voor quantummachines. Als de code in deze bibliotheken een fout bevat, kunnen de resultaten onjuist zijn, wat leidt tot valse conclusies bij wetenschappers of het verspillen van kostbare, schaarse quantumtijd. Net zoals je een auto met een wankelend stuur niet zou vertrouwen, kunnen we quantumcomputers niet vertrouwen met buggy software.

Om deze digitale motoren soepel te laten draaien, gebruiken testers een techniek genaamd "fuzzing". Stel je een robot voor die willekeurig duizenden verschillende sleutels in een slot gooit, in een poging om er een te vinden die het slot breekt of het mechanisme blokkeert. In softwaretesting betekent dit het voeden van het programma met miljoenen willekeurige, licht vreemde inputs om te zien of het crasht of zich vreemd gedraagt. Recentelijk zijn wetenschappers AI gaan gebruiken (specifiek Large Language Models, of LLM's) om als deze robots te fungeren, in de hoop dat ze betere, creatievere testgevallen kunnen schrijven dan een eenvoudige willekeurige generator. Echter, wanneer het aankomt op de complexe wereld van quantumcode, struikelen deze AI-robots vaak; ze schrijven vaak instructies die geen zin hebben voor de quantumhardware.

Dit is waar een nieuw team onderzoekers inspringt met een slimme oplossing genaamd KQFuzz. Ze realiseerden zich dat hoewel AI geweldig is in het schrijven van code, de AI vaak de weg kwijtraakt wanneer de regels snel veranderen, wat constant gebeurt in de snel bewegende quantumwereld. Om dit op te lossen, bouwden ze een "kennisgids" voor de AI. In plaats van de AI te laten gissen, voert KQFuzz het een gedetailleerde kaart van de huidige regels, relaties en geschiedenis van de bibliotheek. Het is also Mant de robot een GPS en een regelboek geeft voordat hij begint met het gooien van sleutels. Door deze kaart te combineren met een slim systeem dat controleert welke testgevallen het meest interessant zijn en deze te "muteren" om nog vreemdere variaties te creëren, heeft KQFuzz succesvol 13 nieuwe bugs gevonden in drie belangrijke quantumbibliotheken (Qiskit, PennyLane en Cirq). De ontwikkelaars hebben ze allemaal bevestigd, en 12 ervan zijn al opgelost.

Het Probleen: Wanneer AI verdwaalt in het Quantum-Labyrint

Quantumbibliotheken zijn als levende organismen die bijna dagelijks van vorm veranderen. Er komt nieuwe hardware aan, en de software moet worden herschreven om daarop aan te sluiten. Dit creëert een nachtmerrie voor standaard testingtools.

Ten eerste zijn er de ouderwetse "circuit-level" fuzzers. Dit zijn als robots die alleen eenvoudige Lego-structuren kunnen bouwen. Ze volgen strikte, vooraf geschreven regels om geldige circuits te bous. Hoewel ze goed zijn in het vinden van structurele scheuren, zijn ze ongelooflijk rigide. Ze kunnen de nieuwe, hoogwaardige functies van moderne quantumsoftware niet aan omdat hun regelboeken verouderd zijn. Ze zijn als een chef die alleen toast kan maken; hij kan geen gastronomisch diner bereiden, zelfs niet als de ingrediënten voor het grijpen liggen.

Dan zijn er de AI-gestuurde fuzzers. Deze gebruiken Large Language Models (LLM's)—dezelfde technologie die essays of code schrijft—om testgevallen te genereren. Het idee is dat, aangezien deze AI's miljoenen codevoorbeelden hebben gelezen, ze perfecte quantumprogramma's zouden moeten kunnen schrijven. Maar hier is de crux: de quantumwereld beweegt te snel. De trainingsdata van de AI is vaak verouderd. Wanneer de AI wordt gevraagd code te schrijven voor een nieuwe versie van een bibliotheek, begint de AI te "hallucineren". Het verzint commando's die niet bestaan of gebruikt oude commando's die verwijderd zijn. In een studie door de auteurs, toen ze de AI vroegen code voor quantumbibliotheken te schrijven, werkten slechts 35% tot 46% van de pogingen daadwerkelijk. Vergelijk dit met klassieke software (zoals standaard Python-bibliotheken), waarbij de AI het in 64% tot 86% van de gevallen goed doet. De AI is in feite in het donker aan het gokken, en de meeste van zijn gokken zijn fout.

De Oplossing: KQFuzz, de Kennisrijke Gids

De auteurs van dit paper, Fuyuan Xia en zijn team, besloten te stoppen met gokken. Ze bouwden KQFuzz, een systeem dat fungeert als een kennisrijke gids voor de AI. In plaats van de AI blind rond te laten dwalen, geeft KQFuzz het een "corpus" van kennis die rechtstreeks uit de broncode van de te testen bibliotheek is geëxtraheerd.

Denk er zo over na: als je een verhaal wilt schrijven over een specifieke stad, vertrouw je niet alleen op je geheugen (dat misschien fout is); je kijkt op een kaart, controleert de straatnamen en ziet hoe de gebouwen met elkaar verbonden zijn. KQFuzz doet precies dat voor quantumcode. Het bouwt een database die het volgende bevat:

1. Statische Metadata: De exacte namen en locaties van elke tool (API) in de bibliotheek.
2. Relaties: Hoe verschillende tools met elkaar communiceren (bijv. "Tool A volgt meestal Tool B").
3. Semantische Modellen: Een samenvatting van wat elke tool daadwerkelijk doet, geschreven door een krachtig AI-model dat de code leest.
4. Evolutie-metrieken: Een geschiedenis van hoe de tools in de loop van de tijd zijn veranderd, waarbij wordt benadrukt welke instabiel zijn of frequent worden bijgewerkt.

Met deze kaart in de hand begeleidt KQFuzz de "fuzzing" AI om testgevallen te genereren die daadwerkelijk geldig zijn. Het vraagt de AI niet simpelweg om "code te schrijven"; het zegt: "Hier is de huidige kaart. Gebruik deze specifieke tools die bekend staan als lastig, en zorg dat ze op deze manier verbonden zijn." Deze aanpak verhoogde de validiteit van de gegenereerde code aanzienlijk, waardoor een proces dat voorheen foutgevoelig was, een betrouwbaar proces werd.

De Strategie: Twee-Niveaus Mutaties en Fitness-Checks

Zododra KQFuzz een geldig startpunt (een "seed" programma) heeft, stopt het niet zomaar. Het moet de verborgen bugs vinden, die vaak diep begraven liggen in complexe interacties. Hiervoor gebruikt het een tweestapsstrategie:

1. De Fitnessfunctie (De Rechter):
Niet alle testgevallen zijn gelijkwaardig. Sommige zijn saai en simpel; andere zijn complex en chaotisch. KQFuzz gebruikt een "fitnessfunctie" om elk testgeval te beoordelen. Het kijkt naar:

• Gate Diversiteit: Worden er veel verschillende soorten quantumoperaties gebruikt?
• Verstrengelde Qubits: Interageren de quantumbits op complexe wijze met elkaar?
• API Diversiteit: Worden verschillende delen van de bibliotheek samen getest?
• Call Diepte: Hoe diep gaat de keten van commando's?

Als een testgeval hoog scoort op deze metrieken, wordt het als "fit" beschouwd en behouden voor de volgende ronde. Dit zorgt ervoor dat het systeem zijn energie richt op de meest veelbelovende, complexe scenario's waar bugs waarschijnlijk zullen schuilen.

2. Twee-Niveaus Mutatie (De Vormveranderaar):
Nadat de beste testgevallen zijn geselecteerd, probeert KQFuzz deze te breken door kleine, slimme wijzigingen aan te brengen. Dit doet het op twee manieren:

• Parameter-Niveau Mutatie: Het past de getallen aan. Quantum gates gebruiken vaak hoeken (zoals 0, 1, of $\pi$). KQFuzz vervangt deze getallen door "corner cases"—vreemde, extreme waarden die het systeem in verwarring kunnen brengen.
• Gate-Niveau Structurele Mutatie: Het verandert de structuur van het circuit. Het vervangt één type quantum gate door een ander die vergelijkbaar gedrag vertoont maar een andere interne logica heeft. Dit is als het vervangen van een automotor door een ander model om te zien of het chassis het houdt.

De Resultaten: Het Vinden van de Bugs

Het team heeft KQFuzz getest op drie van de meest populaire quantumbibliotheken: Qiskit, PennyLane en Cirq. Ze vergeleken het met de beste bestaande tools, inclus_of andere fuzzers en AI-gebaseerde testers.

De resultaten waren indrukwekkend. KQFuzz vond niet alleen meer bugs; het verkende delen van de code die de andere tools volledig misten.

• Op Qiskit dekte KQFuzz 63,31% van de code, terwijl de op één na beste tool slechts 53,00% dekte.
• Op PennyLane bereikte het 58,71% dekking vergeleken met 45,44%.
• Op Cirq bereikte het een enorme 73,79% dekking, waarmee het de concurrentie ver achterliet op 55,35%.

In totaal ontdekte KQFuzz 13 unieke bugs. Elke enkele werd bevestigd door de ontwikkelaars van de bibliotheken, en 12 ervan zijn al opgelost. Dit waren geen kleine typefoutjes; het waren serieuze problemen zoals "boundary violations" (waarbij de software crasht bij extreme inputs), "state divergence" (waarbij het intern geheugen uit de pas loopt) en "semantic violations" (waarbij de code iets anders doet dan de documentatie zegt).

Een specifieke bug gevonden in Qiskit betrof een lus die ervoor zorgde dat de software de controle over de eigen parameters verloor, wat leidde tot een stille fout die jarenlang onopgemerkt had kunnen blijven. De ontwikkelaars gaven toe dat dit een langlopend probleem was dat hun eerdere testmethoden niet hadden kunnen vangen.

Waarom Dit Belangrijk Is

Het paper suggereert dat de toekomst van quantum computing afhangt van betrouwbare software. Naarmate deze bibliotheken snel evolueren, is handmatige testing niet genoeg, en is eenvoudige willekeurige testing te blind. KQFuzz laat zien dat door de creatieve kracht van AI te combineren met een strikte, op kennis gebaseerde gids, we een testingssysteem kunnen bouwen dat zowel flexibel als accuraat is. Het bewijst dat we niet hoeven te kiezen tussen "slimme" AI en "veilige" testing; we kunnen beide hebben.

De auteurs benadrukken dat hun methode robuust is over verschillende AI-modellen heen. Zelfs toen ze kleinere, minder krachtige AI-modellen gebruikten, presteerde KQFuzz nog steeds beter dan de concurrentie, wat suggereert dat de "kennisgids" het geheime ingrediënt is, en niet alleen de grootte van het AI-brein.

Uiteindelijk is KQFuzz een herinnering aan het feit dat in de wilde, snel veranderende wereld van quantum computing, de beste manier om bugs te vinden is door de regels beter te kennen dan de regels zichzelf kennen. Door de AI een kaart te geven, hebben de onderzoekers ervoor gezorgd dat de reis naar een bug-vrije quantumtoekomst een stuk minder wankel is.