💻 computer science

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ ist ein skalierbares, HPC-gesteuertes Framework, das rubrikgestützte Group Relative Policy Optimization (GRPO) nutzt, um die Synthese von Quantenschaltkreisen zu automatisieren, welche gleichzeitig algorithmische Korrektheit, die Minimierung der Surface-Code-Kosten und Hardwarebeschränkungen der aktuellen Ära erfüllen.

Ursprüngliche Autoren: Ziqing Guo, Ziwen Pan

Veröffentlicht 2026-08-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziqing Guo, Ziwen Pan

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Maschine zu bauen, die Probleme lösen kann, die für jeden Computer, den wir heute besitzen, unmöglich sind. Diese Maschine ist ein Quantencomputer, ein Gerät, das die seltsamen Regeln winziger Teilchen nutzt, um mit Lichtgeschwindigkeit zu rechnen. Aber hier ist der Haken: Diese Maschinen sind unglaublich zerbrechlich. Um sie zum Laufen zu bringen, müssen wir unsere großen, komplexen Ideen in eine sehr spezifische, niedrigschwellige Sprache von „Gates“ (wie Schaltern) übersetzen, die die Maschine versteht.

Das Problem ist, dass diese Übersetzung ein Albtraum ist. Wenn man nur einen Standardcomputer bittet, dies zu tun, wird die Mathematik so gewaltig, dass er abstürzt. Wenn man versucht, die Maschine mit der heutigen Technologie zu bauen, ist sie zu verrauscht und fehleranfällig. Die Wissenschaftler stecken also in einem Zwischenzustand fest: Sie müssen Schaltkreise entwerfen, die gut genug für die Supermaschinen der Zukunft sind, aber gleichzeitig einfach genug, um auf den heutigen, wackeligen Prototypen tatsächlich laufen zu können. Es ist, als versuche man, ein Rezept für ein Fünf-Sterne-Bankett zu schreiben, das ein Kleinkind tatsächlich kochen kann, ohne die Küche abzufackeln.

Hier kommt RubriQ ins Spiel, ein neues Werkzeug, das wie ein superintelligenter, unermüdlicher Editor für diese Quantenrezepte fungiert. Anstatt nur zu raten und zu prüfen, nutzt RubriQ eine riesige KI, die lernt, indem sie tausende Variationen gleichzeitig ausprobiert, geleitet von einer strengen „Rubrik“ (einem Bewertungsbogen), die ihr genau sagt, wie sie sich verbessern kann. Es sucht nicht bloß nach „gut genug“; es jagt nach der perfekten Balance zwischen mathematischer Makellosigkeit und der praktischen Anwendbarkeit auf echter Hardware im Hier und Jetzt.

Die RubriQ-Geschichte: Einer KI beibringen, eine Quanten-Architektin zu sein

Den Entwurf eines Quantenschaltkreises wie das Schreiben einer Geschichte durch einen Schüler zu betrachten, ist sehr passend. In der Vergangenheit, wenn man einen Computer bat, ein Quantenprogramm zu schreiben, war es so, als würde man einem Schüler ein vages Prompt geben wie „Schreib etwas Cooles“ und darauf hoffen, dass er keinen Unsinn schreibt. Wenn er einen Fehler machte, sagte man nur: „Nö, versuch es nochmal“, ohne zu wissen, warum er falsch lag. Das war die Methode älterer Verfahren: Sie gaben eine „spärliche Belohnung“ (sparse reward) vor, was bedeutete, dass die KI nur dann einen Punkt erhielt, wenn die Antwort zu 100 % perfekt war, und ansonsten null Punkte bekam. Dies machte das Lernen unglaublich langsam und frustrierend, als würde man versuchen, im Dunkeln Fahrrad zu fahren.

RubriQ ändert das Spiel, indem es wie ein strenger, aber hilfreicher Lehrer mit einem detaillierten Bewertungsmaßstab agiert. Anstatt nur „Bestanden“ oder „Nicht bestanden“ zu sagen, unterteilt es die Note in fünf spezifische Kategorien:

Hat es funktioniert? (Die Geschichte ergibt Sinn).
Ist es effizient? (Wurden zu viele Wörter verwendet? Im Quantenkontext geht es darum, „T-Gates“ zu minimieren, welche die teuren, ressourcenhungrigen Teile des Codes sind).
Ist es Clifford-lastig? (Gibt es zu viele ausgefallene, schwer herzustellende Bewegungen oder hauptsächlich einfache?).
Wird es auf heutigen Maschinen laufen? (Passt es auf die spezifische Form der Hardware, wie etwa ein quadratischer Steckplatz in eine runde Öffnung?).
Ist es schnell? (Wie viele Schritte werden benötigt?).

Das Paper führt eine Methode namens Group Relative Policy Optimization (GRPO) ein. Stellen Sie sich vor, die KI ist ein Koch, der versucht, ein neues Gericht zu erfinden. Anstatt ein Gericht zu kochen und dann auf eine Rezension zu warten, bittet RubriQ den Koch, acht verschiedene Versionen des Gerichts gleichzeitig zu kochen. Dann vergleicht es diese untereinander. Wenn eine Version etwas besser ist als die anderen, lernt die KI, mehr davon zu produzieren. Wenn eine Version ein Desaster ist, lerelt sie, diesen Pfad zu vermeiden. Dieser „Gruppenvergleich“ ist viel schneller und stabiler, als auf eine einzige perfekte Antwort zu warten.

Wie sie die Maschine gebaut haben

Um dies umzusetzen, mussten die Forscher eine massive Engine bauen. Sie konnten dies nicht einfach auf einem Laptop ausführen; es benötigte die Kraft von NERSC Perlmutter, einem Supercomputer-Cluster am Lawrence Berkeley National Laboratory. Sie nutzten 8 NVIDIA A100 GPUs (die leistungsstarken Grafikkarten, die in der KI verwendet werden), um die Simulation auszuführen.

Der clevere Teil ist: Die KI rät nicht einfach. Sie nutzt eine programmatische Rubrik. Das bedeutet, dass der „Lehrer“ kein Black-Box-Neuronales Netz ist, das verwirrt werden könnte, sondern ein Satz fest codierter Regeln, die die Mathematik, die Kosten und die Hardware-Limits sofort überprüfen. Wenn die KI einen Schaltkreis generiert, der zwar cool aussieht, aber die Mathematik nicht erfüllt, gibt die Rubrik sofort eine Null. Wenn sie einen Schaltkreis generiert, der funktioniert, aber zu viele teure „T-Gates“ verwendet, gibt die Rubrik eine niedrigere Punktzahl und drängt sie dazu, effizienter zu werden.

Sie lösten auch einen großen Engpass: die Simulationsgeschwindigkeit. Die Überprüfung, ob ein Quantenschaltkreis funktioniert, erfordert normalerweise die Simulation des gesamten Prozesses, was exponentiell schwieriger wird, je mehr Qubits (Quantenbits) man hinzufügt. RubriQ integriert CUDA-Q, ein Werkzeug, das es ihnen ermöglicht, diese Simulationen direkt auf den GPUs auszuführen, was den Prozess tausendfach schneller macht als die Ausführung auf einer Standard-CPU.

Was sie herausgefunden haben

Die Ergebnisse sind vielversprechend, obwohl die Autoren vorsichtig darauf hinweisen, dass dies ein bedeutender Schritt nach vorne ist und kein Allheilmittel.

Es funktioniert besser als die alten Wege: Bei Tests an 1.500 verschiedenen Quantenaufgaben erreichte RubriQ eine Erfolgsquote von 96 % hinsichtlich der Korrektheit. Das bedeutet, dass es fast jedes Mal, wenn es versuchte, einen Schaltkreis erzeugte, der die Mathematik korrekt ausführte.
Es ist viel effizienter: Die wichtigste Metrik für Quantencomputer ist der „T-Count“ (die Anzahl der teuren Gates). RubriQ gelang es, die Anzahl dieser Gates im Vergleich zu Schaltkreisen, die lediglich „korrekt“, aber nicht optimiert waren, im Durchschnitt um das 3,31-fache zu komprimieren. Das ist eine große Sache, denn weniger T-Gates bedeuten, dass der Computer weniger Ressourcen und weniger Zeit benötigt.
Es lernt schneller: Da es diese detaillierten Rubriken verwendet, anstatt auf eine perfekte Punktzahl zu warten, konvergierte RubriQ (lernte die Aufgabe) 2- bis 3-mal schneller als andere Reinforcement-Learning-Methoden, die auf spärlichen Belohnungen basieren.
Es ist bereit für echte Hardware: Das Team blieb nicht bei Simulationen stehen. Sie nahmen die besten von RubriQ generierten Schaltkreise und ließen sie auf echten Quantencomputern von IBM und IonQ laufen. Sie fanden heraus, dass die Schaltkreise mit diesen Maschinen kompatibel waren, mit weniger als 1 % Verletzung der Hardware-Constraints.

Was das bedeutet

Das Paper legt nahe, dass wir die Synthese von Quantenschaltkreisen als eine Code-Generierungsaufgabe behandeln können, die durch eine strikte, mehrdimensionale Rubrik geleitet wird, um hochwertige Quantenprogramme zu automatisieren. Es argumentiert gegen die Idee, dass wir komplexe, gelernte „Critic“-Netzwerke benötigen, um die Arbeit der KI zu beurteilen; statieen ein klares, regelbasiertes Bewertungssystem besser und kostengünstiger.

Obwohl das Paper nicht behauptet, alle Probleme des Quantencomputings gelöst zu haben, zeigt es einen gangbaren Weg auf. Durch die Kombination der kreativen Kraft von Large Language Models (LLMs) mit der rigorosen Disziplin einer programmatischen Rubrik bietet RubriQ eine Möglichkeit, Schaltkreise zu entwerfen, die nicht nur mathematisch fundiert, sondern auch praktisch genug sind, um auf den verrauschten, unperfekten Maschinen von heute zu laufen, während sie gleichzeitig die fehlertoleranten Giganten der Zukunft vorbereiten. Es ist eine Brücke zwischen der chaotischen Realität der heutigen Hardware und der makellosen Welt des zukünftigen Quantencomputings.

Technisches Resümee: RubriQ – Rubrik-gestützte Group Relative Policy Optimization für constraints-bewusste Quantenschaltkreis-Synthese

1. Problemstellung

Der Übergang zu skalierbarem Quantencomputing wird durch das klassische Kompilierungsproblem gebremst: die Übersetzung von High-Level-Algorithmen in Low-Level-Gate-Sequenzen, die sowohl den Ressourcenbeschränkungen der fehlertoleranten Quantenberechnung (FTQC) als auch der Ausführbarkeit auf aktueller Hardware entsprechen.

FTQC-Beschränkungen: In Surface-Code-Architekturen erfordern nicht-Clifford-Operationen (speziell $T$ -Gates) teure Magic-State-Distillation, was um Größenordnungen mehr physikalische Ressourcen verbraucht als Clifford-Gates. Die Minimierung des $T$ -Counts und der $T$ -Tiefe ist entscheidend, um das klassische Rechenbudget und die Scheduling-Komplexität zu reduzieren.
Near-Term-Beschränkungen: Aktuelle Noisy Intermediate-Scale Quantum (NISQ)-Geräte (z. B. IBMs Heavy-Hex-Topologie, IonQs All-to-All-Konnektivität) setzen strikte Grenzen für native Gate-Sets, Qubit-Konnektivität und Schaltungstiefe.
Limitierungen bestehender Methoden: Gängige Compiler (Qiskit, TKET) verlassen sich auf statische heuristische Regeln und verfügen nicht über generative Fähigkeiten, um neuartige algebraische Vereinfachungen zu entdecken. Vorangegangene Reinforcement Learning (RL)-Ansätze leiden oft unter spärlichen (sparse) Terminal-Belohnungen, hochvarianten Gradienten und engen Aktionsräumen (Gate-Einfügung/-Löschung), die die Entdeckung strukturell neuartiger Schaltkreise verhindern. Zudem ist das Training von RL-Agenten für die Quantensynthese im großen Maßstab aufgrund der $O(4^{n_q})$ -Komplexität der Fidelity-Simulation rechenintensiv.

2. Methodik: Das RubriQ-Framework

RubriQ definiert die Quantenschaltkreis-Synthese als eine LLM-Code-Generierungsaufgabe um, die mittels Group Relative Policy Optimization ohne einen gelernten Value-Function-Critic optimiert wird.

2.1 LLM-als-Synthesizer

Das System behandelt die Synthese von OpenQASM oder Qiskit-Python-Code als eine bedingte Generierungsaufgabe.

Basismodell: Ein mit 7 Milliarden Parametern instruktionsfinetunetes Code-Generierungs-LLM (Qwen2.5-Coder-7B) dient als Policy $\pi_\theta$ .
Parametereffizienz: Das Modell wird mittels Low-Rank Adaptation (LoRA) mit einem Rang von 64 feinjustiert, wobei die trainierbaren Parameter bei etwa 0,4 % der Gesamtzahl liegen, was den Einsatz auf 4–8 NVIDIA A100 GPUs ermöglicht.
Generierung: Für jeden Prompt (natürliche Sprachspezifikation eines Algorithmus) sampelt das Modell $N=8$ Kandidaten-Schaltkreise autoregressiv.

2.2 Rubrik-gesteuerte Belohnungs-Engine

Anstatt einer spärlichen binären Belohnung oder eines neuronalen Critics verwendet RubriQ eine programmatische, multidimensionale Rubrik, um dichte, deterministische Belohnungen zu generieren. Die Belohnungsfunktion $R(y)$ ist eine gewichtete Summe von fünf beschränkten Komponenten-Scores ( $S_d \in [0, 1]$ ), die durch eine harte Korrektheitsbedingung gesteuert werden:
$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$
Wobei $g(c)$ ein harter Gate ist, der die Belohnung auf Null setzt, falls die durchschnittliche Gate-Fidelity $F_{avg} < 0,99$ ist.

Die fünf Dimensionen sind:

Funktionale Fidelity ( $S_F$ ): Gemessen über das Hilbert-Schmidt-Innere Produkt gegen die Ziel-Unitary.
Clifford-Anteil ( $S_C$ ): Das Verhältnis von Clifford-Gates zu den gesamten Operationen, was Clifford-lastige Schaltkreise fördert.
$T$ -Count-Reduktion ( $S_T$ ): Ein Score mit exponentiellem Zerfall basierend auf dem totalen äquivalenten $T$ -Gate-Count (unter Berücksichtigung der Dekompositionen von Toffoli und beliebigen Rotationen).
Near-Term-Hardware-Validierung ( $S_H$ ): Ein Score, der die Kompatibilität mit spezifischen Backends bewertet (IBM Eagle/Heron, IonQ Forte/Aria) und nicht-native Gates sowie SWAP-Routing-Overhead bestraft.
Schaltkreiseffizienz ( $S_E$ ): Eine tiefen-normierte Kompaktheitsmetrik.

2.3 GRPO-Trainingsschleife

Das Framework nutzt Group Relative Policy Optimization (GRPO), was die Notwendigkeit eines separaten Critic-Netzwerks eliminiert.

Advantage-Schätzung: Für eine Gruppe von $N$ Vervollständigungen, die aus demselben Prompt gesampelt wurden, werden die Advantages $\hat{A}_i$ berechnet, indem die Belohnungen innerhalb der Gruppe normalisiert werden: $\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$ .
Skalierbarkeit: Dieser Ansatz reduziert die Varianz der Gradientenschätzungen im Vergleich zu spärlichen Belohnungen und vermeidet die Speicher- und Kommunikationsengpässe, die durch die Aufrechterhaltung eines Multi-Milliarden-Parameter-Critics über verteilte GPUs hinweg entstehen würden.
HPC-Integration: Die Trainingsschleife integriert GPU-beschleunigte CUDA-Q-Simulation direkt in den RL-Loop für einen Hochdurchsatz bei der Fidelity-Evaluierung. Das System wird auf NERSC Perlmutter unter Verwendung von DeepSpeed ZeRO-2 für die verteilte Gradienten- und Optimizer-State-Partitionierung eingesetzt.

3. Zentrale Beiträge

LLM-as-Synthesizer-Formulierung: Die erste Anwendung von Milliarden-Skala instruktionsfinetuneter LLMs auf die Gate-Level-Quantensynthese mittels RL-basierter Post-Training-Verfahren, womit über kleine Transformer-Modelle oder statische Heuristiken hinausgegangen wird.
Multiobjektive Rubrik-Belohnungs-Engine: Ein domänengebundenes Scoring-System, das FTQC-Kostenmetriken (Clifford+T) von der Near-Term-Hardware-Validierung entkoppelt und so neuronale Critics durch interpretierbare, deterministische Rubriken ersetzt.
Skalierbare HPC-Systemarchitektur: Eine vollständige Trainings-Pipeline, implementiert auf NERSC Perlmutter mit einer Strong-Scaling-Effizienz von >85 % über 8 A100 GPUs, unter Nutzung von DeepSpeed ZeRO-2 und CUDA-Q zur Bewältigung der Rechenkosten von $O(4^{n_q})$ -Simulationen.
Near-Term-Hardware-Validierung: Eine automatisierte Pipeline, die synthetisierte Schaltkreise auf physischen IBM Heron-3 und IonQ Forte Prozessoren validiert und so die Ausführbarkeit jenseits der Simulation demonstriert.
Empirische Leistung: Nachgewiesene signifikante Verbesserungen in der Synthesequalität und Konvergenzgeschwindigkeit im Vergleich zu Sparse-Reward-Baselines und traditionellen Compilern.

4. Experimentelle Ergebnisse

Evaluierung auf 1.500 Benchmark-Schaltkreisen (QFT, QPE, Hamiltonian Simulation, Data Encoding) über 2–8 Qubits:

Korrektheit: Erzielte eine Korrektheits-Pass-Rate pro Datensatz von mindestens 96 %.
$T$ -Gate-Kompression: Erreichte eine mittlere $T$ -Gate-Kompression von 3,31 $\times$ gegenüber nur korrekten Schaltkreisen, womit Sparse-Reward-RL-Baselines (2,05 $\times$ ) und traditionelle Tools (TKET, Qiskit) deutlich übertroffen wurden.
Konvergenz: Der rubrik-gesteuerte Ansatz konvergierte 2–3 $\times$ schneller als Sparse-Reward-Baselines, was die Anzahl der benötigten Trainingsepochen reduzierte.
Constraint-Verletzungen: Hielt die Verletzungen von Near-Term-Hardware-Constraints unter 1 %.
Hardware-Validierung: Erfolgreiche Bereitstellung der Top-k-Schaltkreise auf IBM Heron-3 und IonQ Forte, was die Fähigkeit der Pipeline bestätigt, hardware-bewussten Code zu generieren.
Recheneffizienz: Die dichte Rubrik-Formung reduzierte die Gesamtzahl der Simulationsaufrufe um den Faktor 2–3 $\times$ im Vergleich zu Sparse-Reward-Methoden, was signifikante Einsparungen bei den GPU-Stunden bedeutete (z. B. 9,2 vs. 24,2 GPU-Stunden für 8-Qubit-Aufgaben).

5. Bedeutung und Ansprüche

Das Paper postuliert, dass RubriQ ein neues Paradigma für die automatisierte Quantenschaltkreis-Synthese etabliert, indem es die generativen Fähigkeiten von LLMs mit rigorosen, domänenspezifischen Constraints vereint.

Trennung der Zuständigkeiten: Durch die explizite Trennung von FTQC-Kostenmetriken und der Near-Term-Hardware-Validierung adressiert RubriQ die gegensätzlichen Anforderungen zukünftiger fehlertoleranter Systeme und aktueller NISQ-Geräte.
Eliminierung des Critics: Die Arbeit zeigt, dass für deterministische, programmatisch berechenbare Aufgaben wie die Quantensynthese ein gelernter Value-Function-Critic nicht notwendig ist; dichte, programmatische Rubrik-Belohnungen kombiniert mit GRPO liefern ein ausreichendes Signal für eine effektive Policy-Optimierung.
HPC-gestriebene Pipeline: Die Forschung unterstreicht die Notwendigkeit von High-Performance-Computing-Ressourcen für das Training KI-gestützter Quanten-Tools und liefert einen Bauplan für die Skalierung der RL-basierten Synthese auf größere Qubit-Zahlen, bei denen klassische Simulationen unpraktikabel werden.
Robustheit: Das Framework erweist sich als robust über verschiedene Algorithmenfamilien und Qubit-Zahlen hinweg und vermeidet Overfitting auf spezifische Schaltkreis-Templates.

Die Autoren kommen zu dem Schluss, dass RubriQ eine automatisierte, Hochleistungs-Pipeline für die Generierung von Surface-Code-kostenbewussten Schaltkreisen bereitstellt und damit die Lücke zwischen theoretischem Algorithmusdesign und praktischer Hardware-Ausführung schließt.