QSpark: Towards Reliable Qiskit Code Generation

Het onderzoek presenteert QSpark, een gefinetuned Qwen2.5-Coder-32B-model dat met behulp van GRPO en ORPO aanzienlijk betere resultaten behaalt dan bestaande modellen bij het genereren van foutbestendige Qiskit-code, hoewel er nog uitdagingen blijven bij geavanceerde taken.

De kern

QSpark: Een slimme assistent voor kwantumcode

Stel je voor dat je een heel complexe machine wilt bouwen, zoals een tijdreismachine of een supercomputer die alles tegelijk kan berekenen. Dat is wat kwantumcomputers doen. Maar er is een groot probleem: ze zijn zo raar en onvoorspelbaar dat zelfs de slimste programmeurs er vaak de bal van missen. Ze moeten rekening houden met vreemde regels uit de natuurkunde (zoals dat je een deeltje niet kunt kopiëren zonder het te veranderen), en als je één klein foutje maakt, werkt de hele machine niet meer.

Vroeger moesten mensen deze code handmatig schrijven, wat als het bouwen van een kathedraal met een lepeltje voelt: langzaam en foutgevoelig. Nu komen er AI's (kunstmatige intelligentie) die kunnen helpen, maar de meeste AI's die we nu hebben, zijn getraind op "normale" computercode. Ze zijn alsof je een meesterkok vraagt om een quantumrecept te schrijven, terwijl hij alleen maar pizza's heeft gemaakt. Hij probeert het wel, maar de pizza met kwantum-kruiden smaakt vaak niet goed.

Wat is QSpark?
De auteurs van dit paper hebben een nieuwe AI-assistent bedacht, genaamd QSpark. Het is als een slimme leermeester die specifiek is getraind op het schrijven van code voor kwantumcomputers (met behulp van een tool genaamd Qiskit).

Hoe hebben ze dit gedaan? Ze hebben niet zomaar een AI opgeleid. Ze hebben twee speciale technieken gebruikt om de AI te "leren" wat goed en fout is:

1. De "Oordeel-techniek" (ORPO):
   Stel je voor dat je een schrijver hebt die een verhaal schrijft. Je geeft hem twee versies van hetzelfde verhaal: één is perfect, de andere zit vol fouten. Je zegt dan: "Deze versie is beter." De AI leert door te kijken naar het verschil tussen de goede en de slechte versie. Zo leert hij niet alleen wat er moet staan, maar ook hoe het eruit moet zien (netjes, leesbaar en volgens de regels). Dit is ORPO.

2. De "Wedstrijd-techniek" (GRPO):
   Nu stel je je voor dat je de AI laat schrijftien verschillende versies van hetzelfde verhaal tegelijk. Dan kijkt je AI-systeem: "Welke van deze tien is het beste?" De winnende versie krijgt een puntje, de slechte versies krijgen een tik op de vingers. De AI leert hierdoor om steeds betere versies te produceren door te vergelijken met zijn eigen andere pogingen. Dit is GRPO.

Wat is het resultaat?
De onderzoekers hebben deze AI getest met een soort "examen" voor kwantumcode (de Qiskit HumanEval).

• De oude AI's (die niet speciaal voor kwantum waren getraind) haalden vaak een onvoldoende.
• De nieuwe QSpark-AI's haalden veel hogere cijfers. De versie met de "Oordeel-techniek" (ORPO) haalde zelfs een 56% slaagkans, wat een enorme sprong is ten opzichte van de concurrentie.

Maar is het perfect?
Nee, en dat is eerlijk. Het examen had drie moeilijkheidsgraden:

• Basis: Simpele taken (zoals een lichtje aan- en uitzetten). Hier deed QSpark het fantastisch.
• Gemiddeld: Iets complexere taken. Ook hier was QSpark de beste.
• Zwaar: De allerlastigste taken (zoals het bouwen van een hele nieuwe quantum-machine). Hier faalden alle AI's, ook QSpark. Het was alsof ze probeerden een raket te bouwen terwijl ze nog niet eens wisten hoe je een fiets vasthoudt. Dit toont aan dat er nog veel werk te doen is.

Waarom is dit belangrijk?
Dit onderzoek laat zien dat we AI kunnen gebruiken om de drempel voor kwantumcomputers te verlagen. Het is alsof we een tolk hebben die de vreemde taal van de kwantumwereld vertaalt naar iets wat mensen begrijpen.

De grote les:
AI kan ons helpen om sneller en slimmer te werken, maar we moeten nog steeds de "meesters" blijven. De AI kan de basis leggen en de moeilijke puzzels oplossen, maar voor de allercomplexeste uitdagingen hebben we nog steeds menselijke genialiteit en geduld nodig. De onderzoekers roepen ook op tot betere "examens" en standaardregels, zodat iedereen in de wereld weet hoe goed een AI echt is, zodat we niet blijven gokken met kwantumcode.

Kortom: QSpark is een grote stap voorwaarts, een slimme assistent die ons dichter bij de toekomst brengt, maar die nog niet helemaal klaar is om de hele wereld te veroveren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "QSpark: Towards Reliable Qiskit Code Generation" in het Nederlands.

Probleemstelling

Quantumcomputing biedt potentieel voor het oplossen van complexe problemen, maar het programmeren van quantumcircuits blijft een uiterst gespecialiseerde en foutgevoelige taak. Hoewel frameworks zoals IBM's Qiskit de toegang vergemakkelijken, vereist het schrijven van correcte quantumcode diepgaande kennis van quantummechanica (zoals superpositie en verstrengeling) en strikte naleving van fysieke beperkingen.

Bestaande Large Language Models (LLMs), zoals Granite-20B-Code en StarCoder, genereren vaak defecte Qiskit-code wanneer ze worden toegepast op quantumtaken. De belangrijkste uitdagingen zijn:

• Schaarste aan trainingsdata: In vergelijking met klassieke code zijn er weinig openbare quantum-repositories.
• Domeinspecifieke regels: Quantumcode moet voldoen aan de wetten van de quantummechanica, wat algemene modellen vaak niet begrijpen zonder specifieke training.
• Foutgevoeligheid: Zelfs kleine fouten in quantumcircuits leiden tot onbruikbare resultaten. Er is een urgent behoefte aan AI-tools die specifiek zijn getraind op quantumsoftware-engineering principes.

Methodologie

De auteurs presenteren QSpark, een AI-assistent gebaseerd op het Qwen2.5-Coder-32B model, dat is fijngefineerd (fine-tuned) met geavanceerde Reinforcement Learning (RL) technieken.

1. Dataverzameling en Voorbereiding:

• Er is een hoogwaardig dataset samengesteld van 522 Qiskit-programmeringstaken.
• De dataset is gegenereerd via een geautomatiseerde pipeline die code uit openbare repositories haalt, functies extraheert, en deze koppelt aan natuurlijke taalprompts.
• De taken zijn gecategoriseerd in drie moeilijkheidsgraden: Basis (259 taken), Middel (223 taken) en Geavanceerd (40 taken).
• Elke taak bevat een gevalideerde implementatie, een unit-test suite en een moeilijkheidscore.
• Om de dataset te diversifiëren en redundantie te verminderen, zijn syntactische en semantische duplicaten verwijderd.

2. Reinforcement Learning met Preferenties:
In plaats van traditionele supervised fine-tuning, gebruiken de auteurs twee RL-methoden om het model te optimaliseren:

• ORPO (Odds-Ratio Preference Optimization):
  • Doel: Het model afstemmen op menselijke coderingsvoorkeuren (leesbaarheid, onderhoudbaarheid, best practices).
  • Methode: Gebruik van paarsgewijze vergelijkingen ("chosen" vs. "rejected" outputs). De "chosen" output is correct en volgt Qiskit-standaarden; de "rejected" output is synthetisch verstoord of van lagere kwaliteit.
  • De loss-functie straft afwijkingen van het oorspronkelijke pre-trained beleid af terwijl het de kans op de voorkeursoutput maximaliseert.
• GRPO (Group Relative Policy Optimization):
  • Doel: Het verbeteren van de uitvoeringsnauwkeurigheid (execution fidelity) en resource-efficiëntie.
  • Methode: Voor elke prompt worden meerdere kandidaat-completies gegenereerd. Deze worden gesimuleerd met Qiskit Aer en gescoord op basis van:
    1. Pass-rate van unit-tests (correctheid).
    2. Strafpunten voor circuitdiepte (efficiëntie).
    3. Strafpunten voor het aantal gebruikte qubits.
  • De beloning wordt genormaliseerd binnen de groep (relative advantage), waardoor het model leert om de beste optie binnen een set te kiezen, zelfs als alle opties imperfect zijn.

Belangrijkste Bijdragen

1. QSpark Framework: Een geïntegreerde AI-assistent specifiek ontworpen voor Qiskit die code genereert, optimaliseert en fouten detecteert binnen de ontwikkelaarsworkflow.
2. Gecurateerde Dataset: Een robuuste dataset van 522 gevalideerde Qiskit-taken met een curriculum-gebaseerde schaal van moeilijkheidsgraden, inclusief automatische validatie via simulatie.
3. Toepassing van RL-methoden: Het succesvol toepassen van GRPO en ORPO op quantumcodegeneratie, wat een nieuwe richting aangeeft voor het verbeteren van domeinspecifieke LLMs zonder toegang tot de originele fine-tuning scripts van bestaande benchmarks.
4. Reproduceerbaarheid: De auteurs hebben een aangepaste evaluatiescript geschreven omdat de officiële scripts van de Qiskit HumanEval-benchmark niet openbaar waren, wat zorgt voor een consistente en reproduceerbare evaluatie.

Resultaten

De modellen werden geëvalueerd op de Qiskit HumanEval (QHE) benchmark en de originele HumanEval benchmark.

• Prestaties op Qiskit HumanEval (QHE):

  • ORPO behaalde de hoogste score met 56,29% Pass@1, wat een verbetering is van ongeveer 10 procentpunten ten opzichte van de gespecialiseerde baseline Granite-8B-QK (46,53%).
  • GRPO behaalde 49,00% Pass@1, wat alle algemene open-source LLMs (zoals CodeLLaMA-34B, DeepSeek-33B) verslaat.
  • Beide modellen presteerden aanzienlijk beter dan algemene modellen, wat aantoont dat domeinspecifieke preferentie-optimalisatie effectief is.

• Prestaties per Moeilijkheidsgraad:

  • Basis: ORPO behaalde 44/78 correcte antwoorden; GRPO behaalde 42/78.
  • Middel: ORPO excelleerde met 41/68 correcte antwoorden, gevolgd door GRPO met 32/68.
  • Geavanceerd: Geen enkel model (inclusief de baselines) slaagde erin om de 5 geavanceerde taken op te lossen (0/5). Dit benadrukt de huidige beperkingen van AI in complexe quantumredenering.

• Generalisatie:

  • Op de originele HumanEval benchmark (klassieke code) presteerden de modellen ook sterk (ORPO: 65,90%, GRPO: 63,00%), wat suggereert dat preferentie-optimalisatie ook de algemene codegeneratievaardigheden verbetert.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat Reinforcement Learning met Preferenties een krachtige methode is om Large Language Models te aligneren met de specifieke eisen van quantumsoftware-engineering. QSpark bewijst dat het mogelijk is om AI-assistenten te bouwen die niet alleen code genereren, maar ook rekening houden met quantumfysica en best practices.

Kritische inzichten en beperkingen:

• De resultaten benadrukken dat hoewel AI goed is in basis- en middelniveau-taken, geavanceerde quantumredenering nog een grote uitdaging blijft.
• Er is een dringende behoefte aan gestandaardiseerde, versie-gestuurde benchmarks en evaluatie-tools in de quantumcommunity om reproduceerbaarheid te waarborgen.
• Toekomstig werk richt zich op het integreren van GRPO en ORPO in een unified reward framework, het uitbreiden van de dataset naar hybride quantum-klassieke algoritmen, en het ontwikkelen van robuuste, geautomatiseerde evaluatiepijplijnen.

Kortom, QSpark zet een belangrijke stap in het toegankelijker maken van quantumprogrammering, maar benadrukt ook dat er nog veel werk aan de winkel is voordat AI volledig betrouwbare complexe quantumoplossingen kan genereren.