QuSema: Detecting Silent Bugs in Quantum Libraries via Quantum-knowledge-enhanced Agents

Quantum computing belooft problemen op te lossen die momenteel onmogelijk zijn voor klassieke machines, van het ontwerpen van nieuwe medicijnen tot het optimaliseren van complexe logistiek. Om deze technologie bruikbaar te maken, hebben wetenschappers softwarebibliotheken gebouwd—omvangrijke collecties vooraf geschreven code die fungeren als de essentiële instrumenten voor het construeren van quantumprogramma's. Deze bibliotheken stellen onderzoekers in staat om quantumoperaties te definiëren en deze uit te voeren op simulators of echte hardware. Omdat dit veld echter nog in de kinderschoenen staat, is de software zelf vatbaar voor fouten. Terwijl sommige fouten overduidelijk zijn, waardoor het programma crasht of direct stopt, zijn andere veel gevaarlijker omdat ze stil zijn. Een stille bug zorgt ervoor dat een programma zonder enige waarschuwing tot voltooiing wordt gebracht, terwijl het toch een foutief antwoord produceert. In een vakgebied waar een enkele onjuiste berekening jarenlang onderzoek kan misleiden of dure rekenbronnen kan verspillen, is het opsporen van deze verborgen fouten een cruciale uitdaging.

Jarenlang was de standaardmanier om deze bugs te vinden het vergelijken van de output van de ene quantumbibliotheek met een andere, of het controleren of een programma consistent reageert na een specifieke wiskundige transformatie. Deze aanpak werkt goed wanneer het verwachte resultaat bekend is of wanneer twee verschillende tools hetzelfde resultaat moeten produceren. Maar het faalt wanneer een bibliotheek een unieke taak uitvoert die geen enkel ander hulpmiddel kan doen, of wanneer de bug alleen optreedt onder zeer specifieke, complexe omstandigheden die moeilijk te raden zijn. In die gevallen draait de software perfect en levert het stilletjes een vals resultaat, waardoor de gebruiker zich er niet van bewust is dat hun werk gebrekkig is.

Om dit probleem aan te pakken, heeft een team van onderzoekers een nieuw geautomatiseerd systeem ontwikkeld genaamd QuSema. In plaats van te vertrouwen op het vergelijken van outputs of het raden welke condities een fout kunnen triggeren, fungeert QuSema als een intelligente auditor die de broncode van de bibliotheek zelf leest. Het gebruikt geavanceerde kunstmatige intelligentie om de beoogde werking van de code te begrijpen op basis van de eigen documentatie van de bibliotheek en de fundamentele regels van de quantumfysica. Het systeem werkt door de bibliotheek op te delen in kleine, beheersbare stukjes code en een eenvoudige vraag te stellen: doet dit stukje code wat het moet doen, gegeven de regels van de quantummechanica? Als de codelogica suggereert dat het een ongeldig resultaat zou kunnen produceren vanuit een geldige input, markeert het systeem dit als een potentieel defect.

Het proces is rigoureus. Zodra het systeem een verdachte logica identificeert, stopt het daar niet. Het probeert een echte testcase te bouwen die een menselijke gebruiker kan draaien om de fout te bevestigen. Het controleert of de bug getriggerd kan worden via de standaardtools die gebruikers daadwerkelijk gebruiken, om te garanderen dat de bevinding niet slechts een theoretische glitch in de interne machinerie is, maar een probleem in de echte wereld. Deze methode stelt het systeem in staat om fouten te vinden die eerdere methoden hebben gemist, specifiek die welke voorkomen in unieke functionaliteiten of die zeer specifieke, niet-voor de hand liggende condities vereisen om op te treden.

Toen de onderzoekers dit systeem testten op twee van de meest populaire quantumbibliotheken, Qiskit en PennyLane, waren de resultaten significant. Ze daagden het systeem eerst uit met een set van twintig bekende stille bugs die in het verleden waren gerapporteerd. Het systeem lokaliseerde succesvol de oorzaak van de overgrote meerderheid van deze bekende fouten, waarmee het andere geautomatiseerde programmeerassistenten die vertrouwen op algemene programmeerkennis in plaats van specifieke quantumexpertise, overtrof. Nog indrukwekkender was dat toen het systeem werd toegepast op de volledige, huidige codebases van deze bibliotheken zonder voorafgaande kennis van specifiekel bugs, het veertig voorheen onbekende problemen ontdekte. De ontwikkelaars van deze bibliotheken bevestigden alle veertig bevindingen. Onder deze nieuwe ontdekkingen waren dertig stille bugs die onjuiste resultaten teruggaven zonder te crashen, en vijf hiervan betroffen functies die volledig buiten het bereik van traditionele testmethoden lagen omdat er geen ander hulpmiddel bestond om ze mee te vergelijken.

Een specifiek voorbeeld van wat het systeem vond, betreft een functie die bosonische operatoren vermenigvuldigt in PennyLane. Het systeem merkte op dat de code gesorteerde dictionary-keys koppelde aan waarden die behouden bleven in de volgorde van invoeging, wat tijdens vermenigvuldiging de creatie- en annihilatie-operatoren zou kunnen uitwisselen, wat onjuiste resultaten oplevert voor equivalente operanden. Een andere bevinding betrof een tool in Qiskit die quantumcircuits optimaliseert; het systeem detecteerde dat de tool geneste controle-modifiers in de verkeerde volgorde combineerde, waardoor de controleconditie veranderde en de circuitsemantiek werd geschonden zonder een fout te melden. Deze fouten zouden onopgemerkt zijn gebleven door standaardtesten omdat de programma's succesvol draaiden en output produceerden die plausibel leek, ook al was de onderliggende logica gebrekkig.

Het succes van QuSema suggereert een nieuwe weg voorwaarts voor het waarborgen van de betrouwbaarheid van quantumsoftware. Door kunstmatige intelligentie te leren redeneren over de specifieke semantiek van de quantumfysica en die kennis te kruisverwijzen met de eigen documentatie van de bibliotheek, hebben de onderzoekers een hulpmiddel gecreëerd dat de "stille" storingen kan vinden die complexe systemen teisteren. Deze aanpak vereist niet de aanwezigheid van een tweede bibliotheek om mee te vergelijken of een vooraf gedefinieerde lijst met testcases. In plaats daarvan berust het op een diep begrip van wat de code bedoeld is te doen. De bevindingen wijzen erop dat zelfs in de meest geavanceerde software-infrastructuur subtiele fouten wachten om gevonden te worden, en dat het combineren van mensachtig redeneren met geautomatiseerde testen deze kan onthullen voordat ze leiden tot kostbare fouten in wetenschappelijke ontdekkingen.