Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation

Dieser Beitrag stellt eine auf Qiskit basierende Anpassung von Microsofts QuantumKatas als umfassenden Benchmark zur Evaluierung von LLMs bei Quantencomputing-Aufgaben vor und zeigt, dass Modelle zwar bei der Implementierung bekannter Algorithmen hervorragend sind, jedoch Schwierigkeiten bei der Problemkodierung haben und dass Chain-of-Thought-Prompting bei verschiedenen Modellarchitekturen zu uneinheitlichen Ergebnissen führt.

Das Wesentliche

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit 350 Rätseln, die entwickelt wurden, um jemandem beizubringen, wie man „Quantum" spricht, eine seltsame neue Sprache zur Programmierung von Quantencomputern. Jahrelang wurden diese Rätsel in einer Sprache namens Q# (Microsofts Dialekt) verfasst.

Dieser Artikel handelt von zwei Hauptpunkten:

1. Die Übersetzung der Bibliothek: Die Autoren haben diese 350 Rätsel genommen und sie in Qiskit übersetzt, den heute am weitesten verbreiteten „Dialekt" (Framework), den Quantenprogrammierer verwenden.
2. Das Testen der Schüler: Sie nutzten diese übersetzte Bibliothek als riesige Prüfung, um 16 verschiedene Künstliche Intelligenz (KI)-Modelle zu testen und zu sehen, wie gut sie darin sind, diese Quantenrätsel zu lösen.

Hier ist eine Aufschlüsselung ihrer Erkenntnisse, unter Verwendung einfacher Analogien:

1. Die Prüfung: „QuantumKatas"

Stellen Sie sich die QuantumKatas wie ein Videospiel mit 26 verschiedenen Levels vor, die von „Tutorial" (sehr einfach) bis „Bosskampf" (sehr schwer) reichen.

• Die Levels: Manche Levels fordern die KI auf, einfache Tricks auszuführen, wie das Umkehren einer Münze (ein grundlegendes Gatter). Andere fordern die KI auf, komplexe Rätsel zu lösen, wie das Finden einer versteckten Nadel im Heuhaufen unter Verwendung eines spezifischen Algorithmus (Grovers Suche) oder das Reparieren einer defekten Maschine (Fehlerkorrektur).
• Die Übersetzung: Die Autoren haben keine neuen Rätsel erfunden; sie haben lediglich die bestehenden von Microsofts Q#-Sprache in IBMs Qiskit-Sprache übersetzt. Dies stellt sicher, dass die Schwierigkeit fair ist und die Konzepte identisch bleiben.
• Die Benotung: Sie forderten die KI nicht nur auf, Code zu schreiben; sie führten den Code in einem Simulator (einem virtuellen Quantencomputer) aus, um zu sehen, ob er tatsächlich funktionierte. Wenn die Mathematik nicht stimmte, bestand die KI die Prüfung nicht.

2. Die Schüler: 16 KI-Modelle

Sie testeten 16 verschiedene KI-„Schüler".

• Die „Elite"-Schüler (Frontier-Modelle): Dies sind die großen, teuren, proprietären Modelle (wie GPT-5.5, Claude Opus, Gemini 3.1).
• Die „Offenen" Schüler (Open-Source-Modelle): Dies sind kostenlose Modelle, die jeder herunterladen kann (wie Llama, Mistral, Gemma).

Die Ergebnisse:

• Die Lücke: Die Elite-Schüler erzielten deutlich höhere Punktzahlen als die offenen Schüler. Im Durchschnitt bekamen die Elite-Schüler etwa 75 % der Rätsel richtig, während die offenen Schüler nur etwa 49 % richtig hatten. Es ist wie der Unterschied zwischen einem Schüler mit Auszeichnung und einem bestandenen Schüler.
• Größe gewinnt nicht immer: Interessanterweise garantierte ein „größeres Gehirn" (mehr Parameter) nicht unbedingt eine bessere Punktzahl. Einige kleinere, besser abgestimmte Modelle schnitten besser ab als riesige. Es geht nicht nur darum, wie groß das Gehirn ist, sondern wie es trainiert wurde.

3. Die Lernhinweise (Prompting-Strategien)

Die Forscher versuchten verschiedene Arten, die Fragen zu stellen, um zu sehen, ob dies der KI half, besser zu performen.

• Die „Zeig es mir"-Methode (Few-Shot): Sie gaben der KI ein paar Beispiele gelöster Rätsel, bevor sie sie aufforderten, ein neues zu lösen. Dies war die zuverlässigste Methode für fast alle. Es ist wie einem Schüler ein gelöstes Matheproblem zu zeigen, bevor man ihm eine Prüfung gibt.
• Die „Denk laut"-Methode (Chain-of-Thought): Sie forderten die KI auf, ihre Argumentation schrittweise zu erklären, bevor sie den Code schrieb.
  • Die Wendung: Dies funktionierte hervorragend für die „Reasoning-Tuned"-Modelle (diejenigen, die speziell darauf trainiert wurden, intensiv nachzudenken) und steigerte ihre Punktzahlen.
  • Der Nachteil: Für die meisten anderen Modelle machte das laute Nachdenken sie tatsächlich schlechter. Es ist wie einen Schüler zu bitten, jeden Schritt eines Rätsels laut durchzusprechen, und er wird durch das Sprechen so abgelenkt, dass er die Lösung vergisst.
• Die „Mach es einfach"-Methode (Zero-Shot): Einfach die Frage ohne Beispiele zu stellen. Dies funktionierte am besten für die absolut intelligentesten Modelle (wie GPT-5.5), die keine Hilfe benötigten.

4. Wo hatten sie Schwierigkeiten?

Die KI-Schüler waren in einigen Dingen gut und in anderen schrecklich:

• Die Stärke: Sie waren großartig im Aufzählen bekannter Algorithmen. Wenn das Rätsel lautete: „Schreibe den Code für Simons Algorithmus", bekamen sie es in 82 % der Fälle richtig. Es ist wie das Auswendiglernen eines Rezepts und das perfekte Kochen davon.
• Die Schwachstelle: Sie hatten Schwierigkeiten mit der Problemkodierung. Wenn das Rätsel sagte: „Nimm dieses unordentliche reale Problem (wie ein Logikrätsel) und verwandle es in ein Quantenrezept", versagten sie oft (nur 34 % Erfolg). Es ist wie darin, einem Rezept perfekt zu folgen, aber darin, ein neues Gericht von Grund auf neu zu erfinden, schlecht zu sein.
• Die „Messungs"-Falle: Sie hatten auch Schwierigkeiten mit Aufgaben, die eine „Messung" beinhalteten (das Überprüfen des Ergebnisses eines Quantenzustands). Dies scheint eine spezifische Blindstelle für aktuelle KI zu sein.

5. Das Urteil

• KI wird gut, aber nicht perfekt: Die beste KI kann etwa 83 % dieser Quantenrätsel lösen. Das ist beeindruckend für ein so schwieriges Fach, aber es ist noch nicht perfekt.
• Das „Übersetzungs"-Problem: Die KI ist besser darin, bekannte Muster zu kopieren, als ein neues, unordentliches Problem in Quantencode zu übersetzen.
• Ein Ansatz passt nicht für alle: Sie sollten nicht denselben „Lernhinweis" (Prompt) für jede KI verwenden. Manche brauchen Beispiele, manche müssen laut nachdenken, und manche müssen einfach in Ruhe gelassen werden.

Kurz gesagt: Die Autoren haben einen standardisierten „Quanten-Führerschein-Test" in der beliebtesten Sprache erstellt. Sie stellten fest, dass KI zwar sehr gut darin wird, auf bekannten Straßen zu fahren (Standardalgorithmen), aber immer noch Schwierigkeiten hat, sich zu orientieren, wenn die Karte fehlt (neue Probleme lösen). Die „Elite"-KI-Modelle sind derzeit die besten Fahrer, aber die Lücke zwischen ihnen und den „offenen" Modellen ist signifikant.

Technische Zusammenfassung

Technischer Überblick: Qiskit QuantumKatas zur Evaluierung von LLMs

Problemstellung

Während Large Language Models (LLMs) starke Fähigkeiten zur Codegenerierung im allgemeinen Programmieren und in der Datenwissenschaft gezeigt haben, bleibt ihre Kompetenz im spezialisierten wissenschaftlichen Rechnen – insbesondere im Quantencomputing – noch unerforscht. Quantencomputing stellt aufgrund seines nicht-klassischen Rechenparadigmas eine einzigartige Herausforderung dar, das ein Verständnis von Superposition, Verschränkung und Messung erfordert. Bestehende Benchmarks für Quantenaufgaben sind oft in ihrem Umfang begrenzt, fehlen eine pädagogische Struktur oder konzentrieren sich auf Multiple-Choice-Wissen statt auf Codegenerierung. Es besteht Bedarf an einem groß angelegten, strukturierten Benchmark, der eine feinkörnige Analyse der Fähigkeit von LLMs ermöglicht, funktionierenden Quantencode im am weitesten verbreiteten Framework, Qiskit, zu generieren.

Methodik

Die Autoren stellen Qiskit QuantumKatas vor, einen Benchmark, der das etablierte QuantumKatas-Lehrbuch von Microsoft (ursprünglich in Q#) in Qiskit überträgt. Die Methodik umfasst:

1. Datensatz-Erstellung:

   • Übersetzung: 350 verschiedene Programmieraufgaben wurden von Q# zu Qiskit übersetzt, wobei die ursprüngliche pädagogische Progression von grundlegenden Gattern bis hin zu fortgeschrittenen Algorithmen erhalten blieb.
   • Verifizierung: Eine deterministische Evaluierungspipeline wurde unter Verwendung der klassischen Schaltungssimulation (Qiskits AerSimulator und Statevector) aufgebaut. Jede Aufgabe enthält einen Prompt in natürlicher Sprache, eine kanonische Lösung und eine Testfunktion, die die Korrektheit durch Statevector-Vergleich oder Analyse des Messergebnisses verifiziert.
   • Kategorisierung: Die Aufgaben sind in 26 Kategorien (z. B. BasicGates, Grovers Algorithmus, Quantenfehlerkorrektur) und drei pädagogischen Stufen organisiert: Introductory (95 Aufgaben), Intermediate (132 Aufgaben) und Advanced (123 Aufgaben).

2. Evaluierungsrahmen:

   • Modelle: 16 LLMs wurden evaluiert, bestehend aus 6 Frontier-Modellen (proprietär) (z. B. GPT-5.5, Claude Opus 4.7) und 10 Open-Source-Modellen (mit Parametern von 8B bis 675B).
   • Prompting-Konfigurationen: Jedes Modell wurde mit 7 Prompting-Strategien getestet: drei Zero-Shot-Varianten (Standard, minimal, detailliert), drei Few-Shot-Varianten (1-Shot, 3-Shot, 5-Shot unter Verwendung von Beispielen aus den Introductory-Kategorien) und eine Chain-of-Thought (CoT)-Konfiguration.
   • Ausführung: Die Studie umfasste 39.200 Modellläufe. Lösungen wurden geparst, auf Syntax geprüft und in isolierten Subprozessen mit einem Timeout von 30 Sekunden ausgeführt. Pass@1-Ergebnisse (Einzelversuch) wurden bei Temperatur 0 berichtet, um Reproduzierbarkeit sicherzustellen.

Hauptbeiträge

• Benchmark-Anpassung: Eine vollständige Übersetzung des 350-Aufgaben umfassenden QuantumKatas-Lehrplans von Q# nach Qiskit, die eine bewährte pädagogische Ressource für die Evaluierung des dominanten Quantenframeworks zugänglich macht.
• Evaluierungsinfrastruktur: Eine robuste, deterministische Evaluierungspipeline mit klassischer Simulation zur Verifizierung, Unterstützung mehrerer Anbieter und konfigurierbaren Prompting-Strategien.
• Empirische Analyse: Die bisher größte systematische Evaluierung von LLMs bei der Quantencodegenerierung, die Basisergebnisse, Fehlertaxonomien und eine feinkörnige Leistungsprofilierung über 26 Kategorien liefert.
• Offene Veröffentlichung: Der Datensatz, das Evaluierungsframework und die Basisergebnisse werden veröffentlicht, um reproduzierbare Forschung zu unterstützen.

Ergebnisse

Die Evaluierung lieferte mehrere kritische Erkenntnisse bezüglich der Fähigkeiten von LLMs im Quantencomputing:

1. Leistungsunterschiede zwischen Modellen:

   • Die Passquoten in der besten Konfiguration reichten von 32,3 % (Granite 4.1 8B) bis 83,1 % (GPT-5.5).
   • Eine anhaltende Lücke von 26,1 Prozentpunkten besteht zwischen Frontier-Modellen (durchschnittlich 75,3 %) und Open-Source-Modellen (durchschnittlich 49,3 %).
   • Die Modellgröße ist kein perfekter Prädiktor für die Leistung; so schnitt beispielsweise das 675B-Parameter große Mistral Large 3 (48,6 %) schlechter ab als das 31B-Parameter große Gemma 4 (68,0 %).

2. Effekte der Prompting-Strategie:

   • Few-Shot-Prompting (insbesondere 5-Shot) war im Durchschnitt die zuverlässigste Strategie (57,8 % Mittelwert) und übertraf Zero-Shot und Chain-of-Thought.
   • Chain-of-Thought (CoT) zeigte einen bimodalen Effekt: Es war die beste Strategie für drei Modelle (zwei explizit auf Schlussfolgern abgestimmt: GPT-5.3-Codex und Gemini 3.1 Pro), verschlechterte jedoch die Leistung der Mehrheit der anderen Modelle (z. B. ein Rückgang von 11,1 Prozentpunkten bei Claude Sonnet 4.6). Dies deutet darauf hin, dass CoT nicht universell vorteilhaft für die Quantencodegenerierung ist.

3. Aufgabenschwierigkeit und Fähigkeiten:

   • Algorithmenimplementierung vs. Problemkodierung: Modelle schneiden bei der Implementierung bekannter Algorithmen gut ab (z. B. Simons Algorithmus: 82,1 %, BasicGates: 81,6 %), haben jedoch erhebliche Schwierigkeiten, klassische Probleme in Quantenprimitive zu kodieren (z. B. SolveSATWithGrover: 34,4 %, DistinguishUnitaries: 40,0 %).
   • Fehleranalyse: Der dominierende Fehlermodus sind Logikfehler (43,0 %, hauptsächlich AssertionError), bei denen der Code ausgeführt wird, aber falsche Quantenzustände erzeugt. Dies zeigt, dass Quantenreasoning, nicht Syntax oder API-Nutzung, die primäre Engstelle ist.
   • Reasoning zu Messergebnissen: Kategorien, die Messergebnisse und Basisauswahl betreffen (z. B. Measurements, Teleportation), wiesen durchgängig niedrigere Passquoten auf und unterstreichen eine spezifische Schwäche beim Reasoning über Schnittstellen zwischen klassischem und quantenmechanischem System.

Bedeutung

Die Autoren behaupten, dass der Benchmark Qiskit QuantumKatas ein rigoroses, pädagogisch strukturiertes Werkzeug zur Bewertung von LLMs in einem spezialisierten wissenschaftlichen Bereich bietet. Seine Bedeutung liegt in:

• Differenzierung: Der Benchmark differenziert die Modellfähigkeiten effektiv über ein breites Leistungsspektrum hinweg und vermeidet Decken- oder Bodeneffekte.
• Granularität: Die Struktur mit 26 Kategorien ermöglicht eine feinkörnige Analyse und zeigt, dass LLMs dokumentierte algorithmische Strukturen leichter in Code übersetzen können als neue Quantenlösungen für klassische Probleme formulieren.
• Pädagogischer und entwicklungsbezogener Nutzen: Die Ergebnisse deuten darauf hin, dass Frontier-Modelle zwar für automatisiertes Tutoring und Code-Vervollständigung in einführenden Quantenthemen zunehmend brauchbar werden, aber noch nicht für die Formulierung fortgeschrittener Probleme oder komplexe Arithmetik vertrauenswürdig sind.
• Zukünftige Richtung: Die Studie hebt hervor, dass Skalierung allein die Lücke in spezialisierten Domänen möglicherweise nicht schließen wird; gezieltes Training und verbesserte Reasoning-Fähigkeiten sind wahrscheinlich notwendig, um die spezifischen Herausforderungen der Problemkodierung und des Reasoning zu Messergebnissen zu bewältigen.

Die Autoren betonen, dass der Benchmark als Grundlage für zukünftige Forschung dient, einschließlich rauschbewusster Aufgaben, Algorithmen auf Forschungsniveau und der Entwicklung domänenspezifischer Trainingsdaten, um die Leistungslücke zwischen Frontier- und Open-Source-Modellen zu schließen.