QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

Het artikel introduceert QASM-Eval, de eerste uitgebreide dataset en benchmark die is ontworpen om grote taalmodellen te trainen en te evalueren op de geavanceerde hardware-gerichte functies van OpenQASM-3, zoals klassieke feedback en pulscontrole, waarmee wordt aangetoond dat gerichte fijnafstemming de prestaties van modellen aanzienlijk verbetert bij deze cruciale NISQ-tijdperal programmeertaken.

De kern

Stel je voor dat je een briljante maar onervaren leerling probeert te onderwijzen in het bouwen van een zeer delicate, hoogtechnologische machine. Deze machine is een quantumcomputer.

Een lange tijd waren de instructies die we aan deze leerling gaven als een simpel recept: "Meng deze ingrediënten, bak gedurende 10 minuten." Dit werkte voor basisopdrachten, maar de machine gaat nu een ruisende, moeilijke fase in (de zogenaamde NISQ-era). Om dit betrouwbaar te laten werken, moeten de instructies veel specifieker worden. De leerling moet nu precies weten wanneer de temperatuur gecontroleerd moet worden, hoe de oven deur halverwege het bakken aangepast moet worden, en zelfs hoe de vorm van de hittegolven zelf aangepast moet worden.

De taal die wordt gebruikt voor deze uiterst precieze instructies heet OpenQASM 3. Dit is de "hardwarehandleiding" voor quantumcomputers.

Het Probleem: De Leerling is Verward

Hoewel Kunstmatige Intelligentie (AI) erg goed is geworden in het schrijven van code, was er een groot probleem: Niemand had een specifieke oefentoets gebouwd voor deze nieuwe, complexe taal.

Bestaande tests waren als het vragen aan de leerling om "een taart te bakken" (hoge-niveau logica) of "een kapotte broodrooster te reparen" (basiscircuits). Maar ze testten niet of de leerling de volgende vaardigheden bezat:

1. Pauzeren en nadenken: Het bakproces stoppen, een sensor controleren, en beslissen of er meer suiker toegevoegd moet worden op basis van die meting (Klassieke Logica).
2. Perfect timen: Precies 0,0000001 seconden wachten voordat de deur wordt geopend, of twee ovens perfect synchroniseren (Timing Scheduling).
3. De golven aanpassen: Handmatig de vorm van de hittegolven die het voedsel raken aanpassen om aanbranden te voorkomen (Pulse Control).

Zonder een oefentoets voor deze specifieke vaardigheden, waren de AI-modellen aan het gokken, en dat ging slecht.

De Oplossing: QASM-Eval (De Ultieme Proeftoets)

De auteurs van dit paper hebben QASM-Eval gecreëerd. Zie dit als een enorme, gespecialiseerde trainingsgym en een eindexamen voor AI, ontworpen specifiek voor OpenQASM 3.

• De Trainingsset: Ze genereerden 4.000 oefenproblemen. Dit zijn niet zomaar willekeurige vragen; het zijn zorgvuldig samengestelde scenario's waarbij een AI de ontbrekende code moet invullen om de quantummachine correct te laten werken.
• Het Examen: Ze creëerden een strikte test van 100 vragen.
• Het Beoordelingssysteem: Ze bouwden een speciale "robotleraar" (een automatische verifieerder). Deze robot controleert niet alleen of de code er goed uitziet; de robot simuleert daadwerkelijk de quantummachine om te zien of de code het juiste resultaat produceert, de timingregels volgt en het systeem niet laat crashen.

Wat Ze Ontdekten

De onderzoekers lieten verschillende top-AI-modellen (zoals Llama en GPT) dit nieuwe examen maken. Dit is wat er gebeurde:

1. De "Zero-Shot" Strijd: Wanneer ze de AI vroegen het examen te maken zonder hulp (gewoon "hier is de vraag, los het op"), waren de resultaten verschrikkelijk. De AI's waren als studenten die algemene natuurkunde hadden gestudeerd maar nog nooit de specifieke blauwdruk van deze machine hadden gezien. Ze kregen de syntaxis niet goed, laat staan de timing.
2. De "Few-Shot" Boost: Wanneer de onderzoekers de AI eerst een paar voorbeelden gaven van hoe soortgelijke problemen opgelost moesten worden (zoals het tonen van een voorbeeld van een antwoordmodel), gingen de scores omhoog. Het was alsof je de student een spiekbriefje gaf met één voorbeeld.
3. De "Fine-Tuning" Doorbraak: Dit was de grote overwinning. De onderzoekers namen de AI-modellen en "trainen" ze specifiek op hun 4.000 oefenproblemen.
   • Het Resultaat: Een middelgroot AI-model (Llama-8B) presteerde na deze specifieke training bijna net zo goed als het krachtigste, duurste AI-model (GPT-5.2) dat geen training had gehad.
   • De Kampioen: Een groter AI-model (Llama-70B) werd na training een meester. Het scoorde 85% op het examen, waarmee het zelfs de krachtigste AI versloeg wanneer die laatste enkele voorbeelden kreeg aangeboden.

De Kernboodschap

Het paper concludeert dat de flessenhals niet is dat AI "dom" is in quantumfysica. De flessenhals is dat AI de specifieke grammatica en regels van OpenQASM 3 niet kent.

Door een toegewijde dataset (QASM-Eval) te creëren en de AI erop te trainen, bewezen ze dat je een algemene AI kunt transformeren tot een zeer betrouwbare quantumprogrammeur. Het is alsoals een slim persoon die weet hoe hij een auto moet besturen, een specifieke handleiding en een trainingscircuit voor een Formule 1-auto geven; plotseling kan hij de racewagen perfect besturen.

Deze dataset staat nu open voor iedereen om te gebruiken, wat helpt bij het bouwen van betere AI-assistenten die mensen kunnen helpen bij het programmeren van de volgende generatie quantumcomputers.

Technische samenvatting

Technische Samenvatting: QASM-Eval

Probleemstelling

Quantum computing opereert momenteel in het Noisy Intermediate-Scale Quantum (NISQ) tijdperk, waarin prestaties zwaar worden beperkt door ruis. Het mitigeren van deze fouten vereist hardware-gerichte capaciteiten die verder gaan dan standaard gate-sequentie circuitspecificaties. Deze capaciteiten omvatten mid-circuit metingen en klassieke feedback voor Quantum Error Correction (QEC), precieze timingcontrole voor Dynamical Decoupling (DD), en toegang tot pulse-niveau waveforms voor kalibratie.

OpenQASM 3 werd geïntroduceerd om deze hardware-niveau functies bloot te leggen, waardoor een programmeerinterface ontstaat die algoritmen koppelt aan de fysica. Echter, ondanks de snelle vooruitgang in Large Language Models (LLMs) voor codegeneratie, is er een kritiek gebrek aan datasets die ontworpen zijn om LLM's te trainen en te evalueren op OpenQASM 3 programma's die gebruikmaken van deze geavanceerde, hardware-georiënteerde functies. Bestaande bronnen richten zich ofwel op hoog-niveau algoritmeontwerp (bijv. Qiskit-gebaseerde datasets) of zijn beperkt tot statische gate-sequentie circuits, waarbij ze falen om de dynamische, door beperkingen gedreven aard van OpenQASM 3 te dekken. Gevolgelijk worstelen huidige LLM's met het genereren van geldige code die voldoet aan de strikte syntactische en semantische beperkingen van OpenQASM 3 met betrekking tot klassieke logica, timing en pulse-controle.

Methodologie

Dataset Constructie (QASM-Eval)

De auteurs introduceren QASM-Eval, de eerste uitgebreide dataset die specifiek is ontworpen voor het trainen en evalueren van LLM's op OpenQASM 3. De dataset wordt geconstrueerd via een hybride pipeline bestaande uit menselijke quantum-programmeerexperts en AI, wat zowel diversiteit als correctheid waarborgt terwijl datalekken worden voorkomen.

1. Template Preparatie: Experts ontwerpen "achtergrondtemplates" (het randomiseren van qubit-configuraties, frequenties en initiële staten) en "core-task templates" (gericht op specifieke thema's zoals if/else flows of pulse-operaties).
2. Instantie Generatie: Een coder-LLM (Qwen3-Coder-480B), verrijkt met OpenQASM 3 documentatie, genereert stilistische en structurele varianten van core-taken. Deze worden gecombineerd met gerandomiseerde achtergronden om volledige OpenQASM 3 programma's te creëren.
3. Prompt Generatie: De core-task code wordt vervangen door een natuurlijke taal "TODO" commentaar dat de vereiste functionaliteit beschrijft, waardoor een specificatie-oplossing paar ontstaat.
4. Dataset Compositie:
   • Test Set: 100 door experts geverifieerde taken.
   • Training Set: 4.000 taken.
   • Categorieën: De dataset beslaat vier categorieën:
     • Klassieke Logica: Control flow, mid-circuit meting, aritmetica en type casting.
     • Timing Scheduling: Delay insertie, duur-typen, rekbare intervallen en alignment.
     • Pulse Control: Waveform manipulatie, frame synchronisatie en kalibratie.
     • Complexe Taken: Real-world workflows die bovenstaande integreren, zoals QEC, DD en crosstalk kalibratie.

Evaluatie Framework

Om gegenereerde programma's te valideren, hebben de auteurs een uitgebreide automatische verifier ontwikkeld die controleert op:

• Syntaxis: Parsing via de officiële OpenQASM 3 parser om te garanderen dat de Abstract Syntax Trees (AST) welgevormd zijn.
• Quantum State: Gebruik van statevector simulatie (Qiskit) en pulse-niveau simulatie (Qutip) om de uiteindelijke quantum state distributie te verifiëren tegen referentiegedragingen.
• Schedule: Het genereren van een virtuele tijdlijn om te verifiëren dat timing-beperkingen (bijv. alignment, delays) worden nageleefd.

De slaag-criterium vereist succesvolle syntaxis parsing en, afhankelijk van het type taak, het passeren van ofwel de state check, de schedule check, of beide.

Belangrijkste Bijdragen

1. Eerste OpenQASM 3 Hardware-Gerichte Dataset: QASM-Eval is de eerste bron die systematisch de geavanceerde functies van OpenQASM 3 dekt (klassieke logica, timing en pulse-controle) specifiek voor LLM training en evaluatie.
2. Geautomatiseerd Verificatie Pipeline: De auteurs hebben bestaande toolchains uitgebreid om automatische verificatie van de unieke functies van OpenQASM 3 te ondersteunen, inclus_ief dynamische timing en pulse-niveau semantiek, waarbij een overeenstemming van 92% met menselijke experts werd bereikt.
3. Benchmarking en Fine-Tuning Resultaten: Het paper biedt een rigoureuze benchmark die aantoont dat state-of-the-art modellen moeite hebben met OpenQASM 3 taken, maar aanzienlijke verbeteringen kunnen boeken door gerichte fine-tuning.

Experimentele Resultaten

De auteurs evalueerden verschillende modellen, waaronder ChatGPT-5.2-Thinking, DeepSeek-V3, en Llama-3 varianten (8B en 70B), met behulp van de QASM-Eval test set.

• Baseline Prestaties: State-of-the-art modellen vertonen beperkte prestaties. ChatGPT-5.2-Thinking behaalde een algemene pass@1 van 0.54, terwijl open-source baselines (Llama-70B, Llama-8B) significant lager scoorden (respectievelijk 0.27 en 0.24). De prestaties waren bijzonder slecht op "Complexe" taken (0.00–0.08).
• Few-Shot Prompting: Het verstrekken van drie in-context voorbeelden verbeterde de prestaties, waarbij ChatGPT-5.2-Thinking een algemene score van 0.78 bereikte. Dit benaderen leunt echter op het vermogen van het model om patronen uit voorbeelden af te leiden in plaats van geïnternaliseerde kennis.
• Impact van Fine-Tuning: Fine-tuning op de QASM-Eval training set leverde de meest substantiële winst op:
  • Llama-3-70B: Behaalde een algemene pass@1 van 0.85, waarmee het de few-shot-geaugmenteerde ChatGPT-5.2-Thinking (0.78) overtrof.
  • Llama-3-8B: Verbeterde van 0.24 naar 0.52, waarmee het de zero-shot prestatie van ChatGPT-5.2-Thinking benaderde.
  • Fine-tuning op eerdere datasets (QCircuitBench, Agent-Q) leverde slechts marginale verbeteringen op, wat de noodzaak van data specifiek voor de hardware-functies van OpenQASM 3 onderstreept.
• Foutanalyse: Fine-tuning reduceerde primair syntaxisfouten (bijv. incorrecte meting toewijzing of ongeldige switch syntaxis), wat de dominante faalmodus was voor basemodellen. Hoewel de syntactische validiteit significant verbeterde, bleven semantische fouten (timing en distributie mismatches) een uitdaging, met name voor kleinere modellen.

Betekenis en Claims

Het paper positioneert QASM-Eval als een cruciale benchmark en trainingsfundament voor het NISQ-tijdperk. De auteurs stellen dat:

• Huidige LLM's de specifieke syntactische en semantische kennis missen die vereist is voor hardware-gerichte quantumprogrammering.
• Gerichte fine-tuning op QASM-Eval aanzienlijke capaciteiten ontsluit, waardoor mid-scale modellen (zoals Llama-3-70B) de prestaties van few-shot-geassisteerde grotere modellen kunnen evenaren.
• De dataset en het verificatie framework een noodzakelijke stap vormen naar de ontwikkeling van betrouwbare LLM-assistenten die de kloof kunnen overbruggen tussen algoritmische intentie en fysieke quantum uitvoering, bewegend van abstract circuit ontwerp naar de praktische realiteiten van ruis-mitigatie en kalibratie.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de huidige taken zich richten op constraint-gedreven code translatie in plaats van open-ended algoritmisch redeneren, en dat de synthetische aard van de data mogelijk niet de ongestructureerde complexiteit van real-world quantum codebases volledig kan vangen. Zij stellen echter dat QASM-Eval een vitale baseline vormt voor toekomstig onderzoek in quantum software engineering.