QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

Das Papier stellt QASM-Eval vor, den ersten umfassenden Datensatz und Benchmark, der darauf ausgelegt ist, große Sprachmodelle auf die fortgeschrittenen hardwarenahen Funktionen von OpenQASM-3, wie etwa klassisches Feedback und Pulssteuerung, zu trainieren und zu evaluieren, wobei demonstriert wird, dass gezieltes Fine-Tuning die Modellleistung bei diesen kritischen NISQ-Ära-Programmieraufgaben signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unerfahrenen Lehrling beizubringen, eine sehr empfindliche, hochtechnologische Maschine zu bauen. Diese Maschine ist ein Quantencomputer.

Lange Zeit waren die Anweisungen, die wir dem Lehrling gaben, wie ein einfaches Rezept: „Mische diese Zutaten, backe für 10 Minuten.“ Das funktionierte für grundlegende Aufgaben, aber die Maschine tritt nun in eine verrauschte, schwierige Phase ein (die sogenannte NISQ-Ära). Um sie zuverlässig zum Laufen zu bringen, müssen die Anweisungen viel spezifischer werden. Der Lehrling muss nun genau wissen, wann er die Temperatur prüfen muss, wie er die Ofentür während des Backens anpasst und sogar, wie er die Form der Hitzewellen selbst verändert.

Die Sprache, die für diese ultrapräzisen Anweisungen verwendet wird, heißt OpenQASM 3. Sie ist das „Hardware-Handbuch“ für Quantencomputer.

Das Problem: Der Lehrling ist verwirrt

Obwohl Künstliche Intelligenz (KI) bereits sehr gut darin geworden ist, Code zu schreiben, gab es ein großes Problem: Niemand hatte einen speziellen Übungstest für diese neue, komplexe Sprache erstellt.

Bestehende Tests waren wie die Frage an den Lehrling, einen „Kuchen zu backen“ (hochgradige Logik) oder einen „kaputten Toaster zu reparieren“ (basale Schaltkreise). Aber sie testeten nicht, ob der Lehrling folgende Fähigkeiten besitzt:

1. Pause machen und nachdenken: Den Backvorgang stoppen, einen Sensor prüfen und entscheiden, ob basierend auf diesem Messwert mehr Zucker hinzugefügt werden muss (Klassische Logik).
2. Das Timing perfektionieren: Genau 0,0000001 Sekunden warten, bevor die Tür geöffnet wird, oder zwei Öfen perfekt synchronisieren (Zeitplan-Steuerung/Timing Scheduling).
3. Die Wellen anpassen: Die Form der Hitzewellen, die auf das Essen treffen, manuell anpassen, um ein Verbrennen zu verhindern (Pulssteuerung).

Ohne einen Übungstest für diese spezifischen Fähigkeiten haben die KI-Modelle nur geraten, und sie sind kläglich gescheitert.

Die Lösung: QASM-Eval (Die ultimative Abschlussprüfung)

Die Autoren dieser Arbeit haben QASM-Eval entwickelt. Betrachten Sie dies als ein massives, spezialisiertes Trainingsgym und eine Abschlussprüfung für die KI, die speziell auf OpenQASM 3 zugeschnitten ist.

• Der Trainingsdatensatz: Sie haben 4.000 Übungsaufgaben generiert. Dies sind nicht einfach nur zufällige Fragen; es sind sorgfältig ausgearbeitete Szenarien, in denen eine KI die fehlenden Codezeilen ergänzen muss, um die Quantenmaschine korrekt zu betreiben.
• Die Prüfung: Sie haben einen strengen 100-Fragen-Test erstellt.
• Das Bewertungssystem: Sie haben einen speziellen „Roboter-Lehrer“ gebaut (einen automatisierten Verifizierer). Dieser Roboter prüft nicht nur, ob der Code richtig aussieht; er simuliert tatsächlich die Quantenmaschine, um zu sehen, ob der Code das korrekte Ergebnis liefert, die Zeitvorgaben einhält und das System nicht zum Absturz bringt.

Was sie herausfanden

Die Forscher ließen mehrere erstklassige KI-Modelle (wie Llama und GPT) diese neue Prüfung ablegen. Und so lief es ab:

1. Der „Zero-Shot“-Kampf: Als sie die KI baten, die Prüfung ohne Hilfe abzulegen (nur „hier ist die Frage, löse sie“), waren die Ergebnisse katastrophal. Die KIs waren wie Studenten, die zwar allgemeine Physik studiert, aber noch nie den spezifischen Bauplan für diese Maschine gesehen hatten. Sie bekamen weder die Syntax korrekt noch das Timing hin.
2. Der „Few-Shot“-Boost: Als die Forscher der KI einige Beispiele zeigten, wie man ähnliche Probleme löst (wie das Zeigen eines Muster-Lösungsschlüssels), stiegen die Punktzahlen. Es war, als würde man dem Studenten ein Spickzettel mit einem Beispiel geben.
3. Der „Fine-Tuning“-Durchbruch: Dies war der große Gewinn. Die Forscher nahmen die KI-Modelle und „trainierten“ sie gezielt auf ihre 4.000 Übungsaufgaben.
   • Das Ergebnis: Ein mittelgroßes KI-Modell (Llama-8B) performte nach diesem spezifischen Training fast so gut wie die leistungsstärkste, teuerste KI (GPT-5.2), die jedoch kein Training erhalten hatte.
   • Der Champion: Ein größeres KI-Modell (Llama-70B) wurde nach dem Training zum Meister. Es erreichte 85 % in der Prüfung und schlug damit selbst die leistungsfähigsten KIs, wenn diese mit einigen Beispielen gefüttert wurden.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass der Engpass nicht darin besteht, dass die KI bei Quantenphysik „dumm“ ist. Der Engpass ist, dass die KI die spezifische Grammatik und die Regeln von OpenQASM 3 nicht kennt.

Durch die Erstellung eines dedizierten Datensatzes (QASM-Eval) und das Training der KI auf diesen haben sie bewiesen, dass man eine allgemeine KI in einen hochzuverlässigen Quantenprogrammierer verwandeln kann. Es ist, als würde man einem klugen Menschen, der Autofahren kann, das spezifische Handbuch und eine Teststrecke für einen Formel-1-Wagen geben; plötzlich kann er das Rennauto perfekt steuern.

Dieser Datensatz steht nun allen zur Verfügung, um bessere KI-Assistenten zu bauen, die Menschen dabei helfen können, die nächste Generation von Quantencomputern zu programmieren.

Technische Zusammenfassung

Technisches Resümee: QASM-Eval

Problemstellung

Das Quantencomputing operiert derzeit in der Ära der rauschbehafteten, mittelgroßen Quantencomputer (Noisy Intermediate-Scale Quantum, NISQ), in der die Leistung stark durch Rauschen begrenzt wird. Die Milderung dieser Fehler erfordert hardwareorientierte Fähigkeiten, die über die Standard-Gate-Sequenz-Schaltkreise hinausgehen. Zu diesen Fähigkeiten gehören die Messung während des Schaltkreisbetriebs (mid-circuit measurement) und klassisches Feedback für die Quantenfehlerkorrektur (QEC), präzise Zeitsteuerung für das dynamische Entkoppeln (Dynamical Decoupling, DD) sowie der Zugriff auf Puls-Level-Wellenformen zur Kalibrierung.

OpenQASM 3 wurde eingeführt, um diese hardwarenahen Funktionen offenzulegen und eine Programmierschnittstelle bereitzustellen, die Algorithmen mit der Physik verknüpft. Trotz des rasanten Fortschritts bei Large Language Models (LLMs) in der Codegenerierung gibt es jedoch einen kritischen Mangel an Datensätzen, die darauf ausgelegt sind, LLMs auf OpenQASM 3-Programme zu trainieren und zu evaluieren, welche diese fortgeschrittenen, hardwareorientierten Funktionen nutzen. Bestehende Ressourcen konzentrieren sich entweder auf das High-Level-Algorithmen-Design (z. B. Qiskit-basierte Datensätze) oder sind auf statische Gate-Sequenz-Schaltkreise beschränkt, wodurch die dynamische, einschränkungsreiche Natur von OpenQASM 3 nicht abgedeckt wird. Infolgedessen haben aktuelle LLMs Schwierigkeiten, validen Code zu generieren, der die strengen syntaktischen und semantischen Beschränkungen von OpenQASM 3 hinsichtlich klassischer Logik, Timing und Pulssteuerung einhält.

Methodik

Datensatzkonstruktion (QASM-Eval)

Die Autoren führen QASM-Eval ein, den ersten umfassenden Datensatz, der speziell für das Training und die Evaluierung von LLMs auf OpenQASM 3 entwickelt wurde. Der Datensatz wird unter Verwendung einer hybriden Pipeline erstellt, die aus menschlichen Quantenprogrammier-Experten und KI besteht, um sowohl Diversität als auch Korrektheit zu gewährleisten und Data Leakage zu verhindern.

1. Template-Vorbereitung: Experten entwerfen „Hintergrund-Templates“ (Randomisierung von Qubit-Konfigurationen, Frequenzen und Anfangszuständen) und „Kernaufgaben-Templates“ (gezielt auf Themen wie if/else-Abläufe oder Pulsoperationen ausgerichtet).
2. Instanzgenerierung: Ein Coder-LLM (Qwen3-Coder-480B), das durch die OpenQASM 3-Dokumentation ergänzt wurde, generiert stilistische und strukturelle Varianten der Kernaufgaben. Diese werden mit randomisierten Hintergründen kombiniert, um vollständige OpenQASM 3-Programme zu erstellen.
3. Prompt-Generierung: Der Code der Kernaufgabe wird durch einen natürlichen Sprach-„TODO“-Kommentar ersetzt, der die erforderliche Funktionalität beschreibt, wodurch ein Spezifikations-Lösungs-Paar entsteht.
4. Datensatz-Zusammensetzung:
   • Test-Set: 100 von Experten verifizierte Aufgaben.
   • Trainings-Set: 4.000 Aufgaben.
   • Kategorien: Der Datensatz deckt vier Kategorien ab:
     • Klassische Logik: Kontrollfluss, Messung während des Schaltkreisbetriebs, Arithmetik und Typumwandlung.
     • Timing-Scheduling: Einfügen von Verzögerungen (Delays), Dauertypen, dehnbare Intervalle und Ausrichtung (Alignment).
     • Pulssteuerung: Wellenformmanipulation, Frame-Synchronisation und Kalibrierung.
     • Komplexe Aufgaben: Reale Arbeitsabläufe, die die oben genannten Punkte integrieren, wie z. B. QEC, DD und Crosstalk-Kalibrierung.

Evaluationsframework

Um die generierten Programme zu validieren, haben die Autoren einen erweiterten automatischen Verifizierer entwickelt, der Folgendes prüft:

• Syntax: Parsing via des offiziellen OpenQASM 3-Parsers, um gut geformte abstrakte Syntaxbäume (AST) sicherzustellen.
• Quantenzustand: Verwendung von Statevector-Simulation (Qiskit) und Puls-Level-Simulation (Qutip), um die endgültige Quantenzustandsverteilung gegen Referenzverhalten zu verifizieren.
• Zeitplan (Schedule): Erstellung einer virtuellen Timeline, um zu verifizieren, dass Zeitbeschränkungen (z. B. Alignment, Delays) eingehalten werden.

Das Erfolgskriterium erfordert ein erfolgreiches Syntax-Parsing und – je nach Aufgabentyp – das Bestehen entweder des State-Checks, des Schedule-Checks oder beider.

Zentrale Beiträge

1. Erster hardwarefokussierter OpenQASM 3 Datensatz: QASM-Eval ist die erste Ressource, die die fortgeschrittenen Funktionen von OpenQASM 3 (klassische Logik, Timing und Pulssteuerung) systematisch für das LLM-Training und die Evaluierung abdeckt.
2. Automatisierte Verifizierungspipeline: Die Autoren haben bestehende Toolchains erweitert, um die automatische Verifizierung der einzigartigen Merkmale von OpenQASM 3 zu unterstützen, einschließlich dynamischer Timing- und Puls-Semantik, wobei eine Übereinstimmungsrate von 92 % mit menschlichen Experten erreicht wurde.
3. Benchmarking und Fine-Tuning Ergebnisse: Die Arbeit liefert ein rigoroses Benchmarking, das zeigt, dass State-of-the-Art-Modelle Schwierigkeiten mit OpenQASM 3-Aufgaben haben, aber durch gezieltes Fine-Tuning signifikante Verbesserungen erzielen können.

Experimentelle Ergebnisse

Die Autoren evaluierten mehrere Modelle, darunter ChatGPT-5.2-Thinking, DeepSeek-V3 und Llama-3-Varianten (8B und 70B), unter Verwendung des QASM-Eval Test-Sets.

• Baseline-Performance: State-of-the-Art-Modelle zeigen eine begrenzte Leistung. ChatGPT-5.2-Thinking erreichte ein Gesamt-pass@1 von 0,54, während Open-Source-Baselines (Llama-70B, Llama-8B) signifikant niedriger abschnitten (jeweils 0,27 und 0,24). Die Leistung war besonders schwach bei „komplexen“ Aufgaben (0,00–0,08).
• Few-Shot Prompting: Die Bereitstellung von drei In-Context-Beispielen verbesserte die Leistung, wobei ChatGPT-5.2-Thinking insgesamt 0,78 erreichte. Dieser Ansatz stützt sich jedoch auf die Fähigkeit des Modells, Muster aus Beispielen abzuleiten, statt auf internalisiertem Wissen.
• Auswirkung des Fine-Tunings: Das Fine-Tuning auf dem QASM-Eval Trainings-Set lieferte die substanziellsten Gewinne:
  • Llama-3-70B: Erreichte ein Gesamt-pass@1 von 0,85 und übertraf damit das durch Few-Shot augmentierte ChatGPT-5.2-Thinking (0,78).
  • Llama-3-8B: Verbesserte sich von 0,24 auf 0,52 und näherte sich der Zero-Shot-Performance von ChatGPT-5.2-Thinking an.
  • Fine-Tuning auf vorherigen Datensätzen (QCircuitBench, Agent-Q) lieferte nur marginale Verbesserungen, was die Notwendigkeit von auf OpenQASM 3-Hardwarefeatures spezialisierten Daten unterstreicht.
• Fehleranalyse: Das Fine-Tuning reduzierte primär Syntaxfehler (z. B. fehlerhafte Messungszuweisung oder ungültige switch-Syntax), die der dominante Fehlermodus für Basismodelle waren. Während die Syntaxvalidität signifikant verbessert wurde, blieben semantische Fehler (Timing- und Verteilungs-Mismatches) eine Herausforderung, insbesondere für kleinere Modelle.

Bedeutung und Behauptungen

Die Arbeit positioniert QASM-Eval als entscheidendes Benchmark und Fundament für die NISQ-Ära. Die Autoren behaupten, dass:

• Aktuelle LLMs nicht über das spezifische syntaktische und semantische Wissen verfügen, das für die hardwarenahe Quantenprogrammierung erforderlich ist.
• Gezieltes Fine-Tuning auf QASM-Eval erhebliche Fähigkeiten freisetzt und es mittelgroßen Modellen (wie Llama-3-70B) ermöglicht, die Performance von Few-Shot-unterstützten größeren Modellen zu übertreffen.
• Der Datensatz und das Verifizierungsframework einen notwendigen Schritt darstellen, um zuverlässige LLM-Assistenten zu entwickeln, die die Lücke zwischen algorithmischer Intention und physischer Quantenausführung schließen können – weg vom abstrakten Schaltkreisdesign hin zur praktischen Realität der Rauschminderung und Kalibrierung.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass sich die aktuellen Aufgaben auf die einschränkungsgetriebene Code-Translation konzentrieren und nicht auf freies algorithmisches Reasoning, und dass die synthetische Natur der Daten die unstrukturierte Komplexität realer Quanten-Codebasen möglicherweise nicht vollständig erfassen kann. Sie behaupten jedoch, dass QASM-Eval eine lebenswichtige Baseline für die zukünftige Forschung im Bereich Quantum Software Engineering etabliert.