⚛️ quantum physics

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ ist ein skalierbares, HPC-gesteuertes Framework, das rubrikengesteuerte Group Relative Policy Optimization (GRPO) mit GPU-beschleunigter Simulation nutzt, um automatisch fehlertolerante Quantenschaltkreise zu synthetisieren, die eine signifikante T-Gate-Kompression unter strikter Einhaltung von Hardwarebeschränkungen und bei Aufrechterhaltung hoher Fidelität erreichen.

Ursprüngliche Autoren: Ziqing Guo, Ziwen Pan

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziqing Guo, Ziwen Pan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Maschine aus einem sehr spezifischen, teuren und zerbrechlichen Set von Lego-Steinen zu bauen. Sie haben einen Master-Bauplan (den Algorithmus, den Sie ausführen möchten), aber die Anweisungen, die Sie haben, sind in einer vagen, hochsprachlichen Sprache verfasst wie „Baue ein fliegendes Auto“.

Das Problem ist, dass die Fabrikhalle (der Quantencomputer) strenge Regeln hat:

Die Steine sind selten: Eine ganz bestimmte Art von Stein (das „T-Gate“) ist unglaublich teuer herzustellen. Sie wollen so wenige davon wie möglich verwenden.
Das Layout ist eigenwillig: Einige Maschinen (wie die von IBM) lassen es nur zu, dass man Steine verbindet, die direkt nebeneinander liegen. Andere (wie die von IonQ) erlauben es, jeden Stein mit jedem anderen zu verbinden.
Das Ziel: Sie müssen diese vage Idee eines „fliegenden Autos“ in eine präzise, schrittweise Bedienungsanleitung verwandeln, die so wenig der teuren Steine wie möglich verwendet und dabei die Layout-Regeln der Fabrik befolgt.

RubriQ ist ein neues System, das entwickelt wurde, um dieses Rätsel automatisch zu lösen. So funktioniert es, unterteilt in einfache Konzepte:

1. Der „Schlaue Schreiber“ (Das LLM)

Anstatt ein starres Computerprogramm zu verwenden, das einer festen Liste von Regeln folgt, verwendet RubriQ ein Large Language Model (LLM). Betrachten Sie dies als einen sehr klugen, kreativen Schreiber, der Millionen von Bedienungsanleitungen gelesen hat.

Sie geben dem Schreiber einen Prompt: „Schreibe einen Quantenschaltkreis für eine 4-Qubit-Fourier-Transformation.“
Der Schreiber versucht, den Code zu generieren. Manchmal schreibt er perfekten Code; manchmal schreibt er Unsinn oder lässt Schritte aus.

2. Der „Strenge Lehrer“ (Die Rubrik)

In der Vergangenheit, als KIs trainiert wurden, um dies zu tun, sagte der Computer lediglich „Gut gemacht“ oder „Schlecht gemacht“, wenn alles fertig war. Das ist so, als würde ein Lehrer bis zur Abschlussprüfung warten, um einem Schüler zu sagen, dass er durchgefallen ist, ohne zu erklären, warum. Das macht das Lernen langsam und frustrierend.

RubriQ führt eine Rubrik ein, die einem detaillierten Bewertungsbogen ähnste, den ein Lehrer verwendet. Anstatt eines einfachen „Bestanden/Nicht bestanden“ prüft das System den generierten Code auf fünf spezifischen Dimensionen:

Clifford-Score: Haben Sie die billigen, häufigen Steine verwendet?
T-Count-Score: Haben Sie die teuren, seltenen Steine minimiert?
Hardware-Score: Passt dieser Code tatsächlich auf die spezifische Maschine (IBM oder IonQ), die Sie anvisieren?
Fidelity-Score: Tut die Maschine tatsächlich das, was Sie von ihr verlangt haben?
Effizienz-Score: Ist die Bedienungsanleitung kurz und ordentlich?

Das System gibt der KI einen Wert für jeden dieser Bereiche. Dies liefert ein „dichtes“ Signal – viel Feedback – sodass die KI genau weiß, welchen Teil ihres Codes sie korrigieren muss, anstatt zu raten.

3. Der „Gruppenwettbewerb“ (GRPO)

Um die KI zu lehren, verwendet RubriQ eine Methode namens Group Relative Policy Optimization (GRPO).

Stellen Sie sich vor, Sie bitten die KI, das Problem 8 Mal hintereinander zu lösen.
Sie benötigen keinen separaten „Richter“-KI, um Ihnen zu sagen, welche Lösung die beste ist. Stattdessen vergleichen Sie einfach die 8 Antworten untereinander.
Diejenige mit der höchsten Rubrik-Bewertung erhält ein „Daumen hoch“, und diejenigen mit niedrigeren Bewertungen erhalten ein „Daum runter“.
Die KI lernt, indem sie die Gewinner und Verlierer innerhalb ihrer eigenen Gruppe betrachtet und ihren Schreibstil anpasst, um beim nächsten Mal mehr „Gewinner“ zu produzieren.

4. Die „Super-Fabrik“ (HPC)

Das Training dieser KI ist eine enorme Schwerstarbeit. Das Simulieren von Quantenschaltkreisen ist wie der Versuch, das Wetter für jede mögliche Zukunft gleichzeitig zu berechnen; es erfordert massive Rechenleistung.

Die Forscher ließen dies auf dem NERSC Perlmutter laufen, einem Supercomputer mit Hunderten von leistungsstarken Grafikkarten (GPUs).
Sie bauten eine Pipeline, in der die KI Code generiert, ein Parser prüft, ob dieser lesbar ist, und ein Simulator ihn auf dem „virtuellen Fabrikboden“ ausführt, um die Scores zu prüfen.
Weil sie die „Rubrik“-Methode verwendeten, lernte die KI 2- bis 3-mal schneller als bisherige Methoden, die auf vage „Bestanden/Nicht bestanden“-Signale angewiesen waren.

Die Ergebnisse

Als sie RubriQ testeten:

Es sparte Ressourcen: Es gelang ihm, die Anzahl der teuren „T-Gates“ im Vergleich zu Standardwerkzeugen um durchschnittlich 3,3 Mal zu reduzieren.
Es war präzise: Die Schaltkreise, die es schrieb, funktionierten bei Tests auf echten Quantencomputern von IBM und IonQ tatsächlich.
Es war effizient: Es erreichte seine Ziele in weniger Trainingsschritten, was massiv Strom und Computerzeit sparte.

Kurz gesagt: RubriQ ist ein System, das einer kreativen KI-Schreiberin beibringt, wie man Quantenschaltkreise baut, indem es ihr eine detaillierte Checkliste (die Rubrik) gibt und sie lernen lässt, indem sie ihre eigenen Versuche miteinander vergleicht – und das alles auf einem massiven Supercomputer, um sicherzustellen, dass die Ergebnisse für reale Quantenmaschinen bereit sind.

Technisches Resümee: RubriQ – Rubrik-gestützte Group Relative Policy Optimization für constraints-bewusste Quantenschaltkreis-Synthese

1. Problemstellung

Die Synthese fehlertoleranter Quantenschaltkreise (FTQC), die sowohl algorithmisch korrekt als auch hardwarekompatibel sind, stellt einen kritischen Flaschenhals für das skalierbare Quantencomputing dar. Die primären Herausforderungen umfassen:

Ressourcen-Overhead: In der FTQC erfordern Nicht-Clifford-Operationen (speziell T-Gates) die Destillation von Magie-Zuständen, was um Größenordnungen mehr physikalische Ressourcen verbraucht als Clifford-Gates. Die Minimierung des T-Counts ist essenziell, um den Destillations-Overhead und die Scheduling-Komplexität zu reduzieren.
Hardware-Constraints: Hardware-Systeme der nächsten Generation legen strikte topologische und native Gate-Beschränkungen fest (z. B. IBMs Heavy-Hex-Konnektivität vs. IonQs All-to-All-Konnektivität), was eine effiziente Transpilierung der Schaltkreise erfordert, um übermäßigen SWAP-Overhead zu vermeiden.
Limitierungen bestehender Methoden:
- Heuristische Compiler (z. B. Qiskit, TKET) verlassen sich auf statische Rewrite-Regeln und verfügen nicht über die generative Kapazität, um neuartige algebraische Vereinfachungen zu entdecken.
- Standard Reinforcement Learning (RL) Ansätze leiden oft unter spärlichen (sparse) Terminal-Belohnungen, was zu hochvarianten Gradienten und schlechter Exploration führt. Sie operieren typischerweise auf engen Aktionsräumen (Gate-Einfügung/-Löschung) statt Schaltkreise von Grund auf neu zu generieren.
- Neurale Kritiker: Das Training von Multi-Milliarden-Parameter-Kritikern führt zu schweren Speicher- und Kommunikationsengpässen in High-Performance-Computing (HPC)-Umgebungen.

2. Methodik: Das RubriQ-Framework

RubriQ definiert die Synthese von Quantenschaltkreisen als strukturierte Code-Generierungsaufgabe für Large Language Models (LLMs), optimiert mittels Group Relative Policy Optimization (GRPO) ohne einen gelernten Value-Function-Kritiker.

A. LLM-als-Synthesizer

Das System behandelt die Generierung von OpenQASM oder Qiskit-Python-Code als bedingte Code-Generierungsaufgabe.

Input: Natürliche Sprach-Prompts, die Zielalgorithmen (z. B. QFT, Hamilton-Simulation) und Constraints spezifizieren.
Modell: Ein 7B-Parameter-Instruktions-getuntes Code-LLM (Qwen2.5-Coder-7B), feinabgestimmt mittels Low-Rank Adaptation (LoRA).
Generierung: Die Policy sampelt $N=8$ Kandidaten-Schaltkreise pro Prompt mittels autoregressiver Sampling-Verfahren.
Parsing: Ein Multi-Strategie-Parser extrahiert ausführbare Schaltkreis-Objekte aus dem Rohtext-Output des LLMs. Nicht parsbare Outputs werden sofort mit einer Belohnung von Null bewertet.

B. Rubrik-gesteuerter Reward-Engine

Anstelle eines neuralen Kritikers verwendet RubriQ eine deterministische, programmatische Scoring-Engine, die Schaltkreise über fünf orthogonale Dimensionen evaluiert. Die Gesamtbelohnung $R(y)$ ist eine gewichtete Summe:
$R(y) = w_C S_C + w_T S_T + w_H S_H + w_F S_F + w_E S_E$

Clifford-Anteil ( $S_C$ ): Der Anteil der Gates, die Clifford-Operationen sind (effizient zu simulieren).
T-Count Reduktion ( $S_T$ ): Eine exponentielle Zerfallsfunktion, die hohe T-Gate-Anzahlen bestraft und die Eliminierung der ersten paar T-Gates aufgrund der Batch-Natur der Destillation priorisiert.
Hardware-Kompatibilität ( $S_H$ ): Evaluiert die Konformität mit spezifischen Backend-Topologien (z. B. IBM Heavy-Hex, IonQ All-to-All) und bestraft SWAP-Routing-Overhead sowie nicht-native Gates.
Funktionale Fidelität ( $S_F$ ): Berechnet die Prozess-Fidelität mittels des Hilbert-Schmidt-Inneren Produkts zwischen der generierten Unitären Matrix und dem Zielalgorithmus, um algorithmische Korrektheit sicherzustellen.
Schaltkreis-Effizienz ( $S_E$ ): Belohnt Kompaktheit und geringere Schaltkreistiefe (Depth).

C. GRPO-Trainingsschleife

RubriQ nutzt Group Relative Policy Optimization (GRPO) zur Aktualisierung der Policy:

Gruppen-Normalisierung: Für einen gegebenen Prompt werden die Belohnungen der $N$ gesampelten Completions normalisiert, indem der Gruppenmittelwert subtrahiert und durch die Standardabweichung der Gruppe geteilt wird.
Kritiker-frei: Dieser Ansatz eliminiert die Notwendigkeit einer gelernten Value-Function und vertraut stattdessen auf die dichten, deterministischen Signale der Rubrik.
Advantage-Schätzung: Die normalisierte Advantage $\hat{A}_i$ treibt die Policy-Gradient-Updates voran, wodurch das Modell lernt, aus abgestuften Feedback-Signalen statt aus spärlichen binären Erfolg/Misserfolg-Signalen zu lernen.

D. HPC-Systemarchitektur

Um die Rechenkosten der Fidelitäts-Simulation (Skalierung als $O(4^{n_q})$ ) zu bewältigen, wird RubriQ auf dem NERSC Perlmutter Supercomputer eingesetzt:

Hardware: NVIDIA A100 (80 GB) Cluster, verbunden über Slingshot-11.
Optimierung: Verwendet DeepSpeed ZeRO-2 zur verteilten Partitionierung von Gradienten- und Optimizer-States.
Simulation: Integriert GPU-beschleunigte CUDA-Q Simulation direkt in die RL-Schleife für hochperformante Fidelitäts-Evaluierung.
Effizienz: Erreicht eine starke Skalierungseffizienz von >85 % über 8 GPUs.

3. Kernbeiträge

LLM-as-Synthesizer Formulierung: Die erste Anwendung von Milliarden-Skala, instruktions-getunten LLMs auf Gate-Level Quanten-Synthese mit RL-basiertem Post-Training, was über kleine Transformer-Modelle oder heuristische Regeln hinausgeht.
Multi-Objective Rubric Reward Engine: Ein neuartiger Ersatz für neurale Kritiker durch ein domänengebundenes, interpretierbares Scoring-System, das dichte, begrenzte Belohnungen über Clifford, T-Count, Hardware, Fidelität und Effizienz hinweg bereitstellt.
Skalierbare HPC-Architektur: Eine vollständige Trainings-Pipeline-Implementierung auf NERSC Perlmutter, die starke Skalierung demonstriert und die Gesamtzahl der Simulationsaufrufe im Vergleich zu Sparse-Reward-Baselines um 2–3× reduziert.
Hardware-validierte Evaluierung: Erfolgreiche Implementierung synthetisierter Schaltkreise auf physischen IBM Heron-3 und IonQ Forte Prozessoren via einer automatisierten Transpilierungs-Pipeline.
Experimentelle Performance: Überlegene Leistung bei 1.500 Benchmark-Schaltkreisen, mit signifikanter T-Gate-Kompression und schnellerer Konvergenz gegenüber bestehenden Baselines.

4. Ergebnisse

T-Gate Kompression: RubriQ erreicht eine mittlere T-Gate-Kompression von 3,31× über Benchmark-Datensätze hinweg und übertrifft damit Sparse-Reward RL-Baselines (2,05×) sowie regelbasierte Compiler (Qiskit O3: ~1,4×, TKET O2: ~1,7×) deutlich.
Konvergenzgeschwindigkeit: Das Framework konvergiert 2–3× schneller als Sparse-Reward RL-Methoden und benötigt weniger Trainings-Epochen, um Ziel-Kompressionraten zu erreichen.
Ressourceneffizienz: Aufgrund der schnelleren Konvergenz reduziert RubriQ die gesamten GPU-Stunden um etwa das 2,6-Fache im Vergleich zu Sparse-PPO und Sparse-GRPO Baselines.
Constraint-Adhärenz: Das System hält weniger als 1 % Hardware-Constraint-Verletzungen ein und erreicht eine hohe funktionale Fidelität (>99 % in vielen Fällen).
Hardware-Validierung: Die am besten bewerteten Schaltkreise wurden erfolgreich auf IBM- und IonQ-Hardware ausgeführt, was die praktische Anwendbarkeit über die Simulation hinaus bestätigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass RubriQ einen neuen Paradigmenwechsel für die automatisierte wissenschaftliche Entdeckung im Quantencomputing etabliert, indem es LLM-gestützte Code-Generierung mit verifizierbarem, rubrik-basiertem Reinforcement Learning vereint. Die Bedeutung liegt in:

Skalierbarkeit: Der Beweis, dass LLM-basierte Synthese auf HPC-Umgebungen skaliert werden kann, um die exponentielle Komplexität der Quantenschaltkreis-Optimierung zu lösen.
Constraint-Bewusstsein: Die erfolgreiche Adressierung der dualen Anforderungen von FTQC-Bereitschaft (T-Count Minimierung) und Near-Term-Hardware-Kompatibilität (Topologie-Constraints) innerhalb eines einzigen Optimierungsrahmens.
Effizienz: Der Nachweis, dass dichte, programmatische Reward-Shaping-Verfahren computational überlegen zu Sparse Rewards und neuralen Kritikern sind, was das Training großer Modelle auf realistischen Quanten-Workloads ermöglicht.
Praktikabilität: Die Validierung, dass KI-generierte Schaltkreise nicht nur theoretisch optimal, sondern auch auf aktueller Quantenhardware ausführbar sind.

Die Autoren positionieren RubriQ als einen entscheidenden Schritt hin zu automatisierten, Hochleistungsrechnen-gesteuerten Pipelines für die Generierung fehlertoleranter, hardwarebereiter Quantenschaltkreise im großen Maßstab.