Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing

Dieses Paper präsentiert einen kalibrierungssensitiven Graph-Reinforcement-Learning-Ansatz für das Routing von Quantenschaltkreisen, der durch die Nutzung von Echtzeit-Hardware-Kalibrierungsdaten und Proximal Policy Optimization eine signifikant höhere simulierte Fidelität als Standard-SABRE-basierte Methoden bei kleinen bis mittleren Schaltkreisen erreicht, obwohl er höhere Zwei-Qubit-Gate-Anzahlen verursacht.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein Team von Lieferfahrern (die Quantendaten) durch eine riesige, chaotische Stadt (den Quantencomputer) zu leiten, um Pakete auszuliefern (Berechnungen durchzuführen).

In der Vergangenheit kümmerten sich die Navigations-Apps für diese Quantenstädte nur um eine einzige Sache: die Distanz. Sie sagten den Fahrern: „Nimm die kürzeste Route, auch wenn das bedeutet, über eine Schlaglochbrücke oder durch eine Baustelle zu fahren.“ Die Logik war simpel: Weniger gefahrene Meilen bedeuten weniger Verschleiß.

Dieses Paper argumentiert jedoch, dass in der realen Welt von Quantencomputern Distanz nicht alles ist. Manchmal ist eine etwas längere Route, die eine kaputte Brücke umgeht, tatsächlich viel besser, weil das Paket seinen Bestimmungsort in einem besseren Zustand erreicht.

Hier ist eine Aufschlüsselung dessen, was die Forscher getan haben, unter Verwendung einfacher Analogien:

Das Problem: Die „perfekte“ Route vs. die „reale“ Route

Quantencomputer sind wie Städte, in denen die Straßen (Verbindungen zwischen den Teilen des Computers) ständig ihre Qualität ändern. Einige Straßen sind glatt und schnell; andere sind holprig und anfällig für Ausfälle. Diese Qualität wird als „Kalibrierung“ bezeichnet.

Alte Navigationssysteme (wie der im Paper erwähnte Standard-SABRE-Algorithmus) sind wie GPS-Apps, die nur auf eine Karte schauen. Sie sagen: „Fahr hier entlang, weil es 5 Meilen sind.“ Sie wissen nicht, dass die 5-Meilen-Straße gerade überflutet ist, während die 6-Meilen-Route trocken ist.

Die Lösung: Ein „kalibrierungsbewusstes“ GPS

Die Autoren entwickelten ein neues, intelligenteres Navigationssystem mittels Graph Reinforcement Learning. Denken Sie an ein GPS, das nicht nur auf die Karte schaut, sondern vor einer Entscheidung auch den Live-Verkehrsbericht und die Wettervorhersage für jede einzelne Straße prüft.

• Das „Gehirn“: Sie trainierten eine KI (unter Verwendung einer Methode namens Proximal Policy Optimization), die als Navigator fungiert.
• Der Input: Bevor die KI den Fahrern sagt, wohin sie fahren sollen, betrachtet sie:
  1. Die verbleibende Lieferliste (den Schaltkreis/Circuit).
  2. Wo die Fahrer derzeit parken (das Placement).
  3. Den Live-Gesundheitsbericht jeder Straße (die Kalibrierungsdaten des IBM Heron r2 Chips).
• Die Strategie: Die KI ist bereit, eine etwas längere Route zu nehmen (mehr „SWAP“-Operationen hinzufügt, was wie Umwege ist), wenn dies bedeutet, eine Straße zu umgehen, von der bekannt ist, dass sie defekt oder verrauscht ist.

Das Experiment: Ein Rennen gegen die alte Art

Die Forscher testeten ihren neuen KI-Navigator gegen zwei etablierte „Old School“-GPS-Systeme:

1. SABRE-best20: Der Standard-Navigator, der auf Distanz fokussiert ist.
2. Target-aware SABRE: Eine etwas intelligentere Version, die die Karte kennt, aber Live-Verkehrsdaten nicht so effektiv nutzt.

Sie testeten die Systeme auf neun verschiedenen „Lieferrouten“ (Quantenschaltkreisen) unterschiedlicher Größe (5, 8 und 10 Stopps) unter Verwendung von Echtzeitdaten der IBM-Quantenhardware.

Die Ergebnisse: Qualität vor Quantität

Die Ergebnisse waren ein klarer Sieg für die neue KI, aber mit einer Wendung:

• Der große Sieg: Auf kleineren und mittleren Routen (5 und 8 Stopps) waren die Routen der KI viel erfolgreicher. Die „Pakete“ kamen in einem wesentlich besseren Zustand an.
  • Die Punktzahl: Die KI erreichte eine „Fidelity“ (Erfolgsrate) von 0,727, während die alten Methoden Werte um 0,440 und 0,481 erreichten. Das ist ein gewaltiger Sprung in der Qualität.
• Der Kompromiss: Um diese hohe Qualität zu erreichen, legte die KI mehr Schritte zurück. Sie fügte etwa 8 zusätzliche Umwege (Zwei-Qubit-Gates) hinzu und machte die Route etwas tiefer.
  • Die Lektion: Ein paar zusätzliche Schritte einzulegen, um eine kaputte Brücke zu umgehen, ist es wert, wenn man dadurch die Fracht rettet.
• Die Einschränkung: Bei den größten Routen (10 Stopps) schnitt die KI nicht so gut ab. Warum? Weil die „Stadtkarte“, die sie erhalten hatten, eine starre Baumstruktur mit sehr wenigen Alternativwegen war. Wenn keine guten Umwege verfügbar sind, kann die KI das alte, distanzfokussierte GPS nicht überlisten.

Das Fazum

Dieses Paper beweist, dass für Quantencomputer das Wissen über den aktuellen Gesundheitszustand der Hardware wichtiger ist als bloß das Zählen von Schritten.

Indem man eine KI darauf trainiert, auf den „Live-Verkehr“ (Kalibrierungsdaten) zu achten und Routen zu wählen, die „kaputte Brücken“ (verrauschte Koppler) umgehen – selbst wenn diese Routen etwas länger sind –, können wir viel bessere Ergebnisse erzielen. Es ist ein Wechsel von der Frage „Was ist der kürzeste Weg?“ hin zu der Frage „Was ist der sicherste Weg?“.

Technische Zusammenfassung

Technisches Resümee: Graph-Reinforcement-Learning für kalibrationsbewusstes Quantenschaltkreis-Routing

Problemstellung
Das Routing von Quantenschaltkreisen ist ein kritischer Kompilierungsschritt für Noisy Intermediate-Scale Quantum (NISQ)-Geräte, bei denen logische Schaltkreise auf eine physische Hardware mit spärlicher Konnektivität abgebildet werden müssen. Traditionelle Routing-Strategien optimieren häufig auf Standard-Overhead-Metriken, wie etwa die Minimierung der Anzahl von SWAP-Operationen oder der Schaltungstiefe. Die Autoren argumentieren jedoch, dass diese Metriken auf kalibrierten Hardware-Systemen unzureichend sind. Zwei Routen mit ähnlichem Overhead können physische Koppler mit drastisch unterschiedlichen Fehlerraten durchlaufen, was zu signifikanten Unterschieden in der finalen Zustandsfidelität führt. Eine Route mit mehr Gattern kann den idealen Zustand tatsächlich besser bewahren, wenn sie unkalibrierte Koppler vermeidet. Die zentrale Herausforderung besteht darin, eine Routing-Policy zu entwickeln, die am selben Tag erhobene Kalibrationsdaten nutzt, um die exakte simulierte Zustandsfidelität zu maximieren, selbst wenn dies das Einfügen zusätzlicher Zwei-Qubit-Gatter erfordert.

Methodik
Die Autoren schlagen ein kalibrationsbewusstes Graph-Reinforcement-Learning (RL) Router-Verfahren vor, das mittels Proximal Policy Optimization (PPO) trainiert wird. Der Ansatz modelliert das Routing als sequenziellen Entscheidungsprozess auf einem kalibrierten Backend-Graphen $G_B = (P, E, \kappa)$, wobei $P$ physische Qubits, $E$ ausführbare Koppler und $\kappa$ Snapshot-Kalibrationsdaten (einschließlich Readout-Fehlern, Ein- und Zwei-Qubit-Fehlern sowie Kohärenzzeiten) darstellt.

• Zustandsrepräsentation: Der Beobachtungszustand $s_t$ umfasst den verbleibenden logischen Schaltkreis, die aktuelle Nicht-Identitäts-Platzierung der logischen Qubits und den Kalibrations-Snapshot. Dies wird als Graph kodiert, dessen Knotenmerkmale Readout-Fehler, Kohärenz, einfallende Zwei-Qubit-Fehler und Lookahead-Anforderungsdistanz erfassen. Die Kantenattribute enthalten kalibrierte Zwei-Qubit-Fehlerwahrscheinlichkeiten und eine Legal-Action-Maske.
• Policy-Architektur: Die Policy verwendet ein Graph Neural Network (GNN) mit zwei Message-Passing-Layern, um Knoten-Embeddings zu generieren. Ein Multi-Layer Perceptron (MLP) bewertet legale SWAP-Kanten basierend auf diesen Embeddings und Kantenattributen und gibt eine Wahrscheinlichkeitsverteilung über gültige SWAPs via Masked Softmax aus.
• Trainingsprotokoll: Der Agent wird auf IBM Heron r2 Kalibrations-Snapshots (Fez, Kingston, Marrakesh) unter Verwendung von neun MQT Bench Schaltkreisen (5q, 8q und 10q Familien) trainiert.
  • Belohnungsfunktion: Um die hohen Kosten einer exakten Dichtematrix-Simulation während des Trainings zu vermeiden, verwenden die Autoren eine kostengünstige Proxy-Belohnung basierend auf der geschätzten Erfolgswahrscheinlichkeit (Estimated Success Probability, ESP). Die Belohnungsfunktion enthält Terme zur Reduzierung der kürzesten Pfaddistanz, des Routing-Fortschritts, der Gatteranzahl sowie Strafen für ungültige Aktionen oder Timeouts. Eine terminale Belohnung vergleicht die Proxy-Fidelität des Agenten gegen eine Baseline (SABRE-best20) und bestraft übermäßigen Aufwand.
  • Evaluierung: Die finale Evaluierung nutzt die exakte Dichtematrix-Simulation mit einem verrauschten Modell (einschließlich Depolarisierungsfehlern und thermischer Relaxation), um die wahre Zustandsfidelität $F = \langle \psi | \rho | \psi \rangle$ zu berechnen.
• Baselines: Die vorgeschlagene Methode wird gegen zwei reproduzierbare Baselines verglichen:
  1. SABRE-best20: Eine Standard-Heuristik, die eine Kostenfunktion aus Zwei-Qubit-Anzahl und Tiefe minimiert.
  2. Target-aware SABRE: Eine kalibrationsbewusste Heuristik, die die Target-Informationen von Qiskit und ESP zur Auswahl nutzt.

Kernergebnisse
Die Evaluierung wurde über drei Kalibrations-Snapshots und neun Schaltkreis-Familien durchgeführt, was insgesamt 1.500 Episoden entspricht.

• Fidelitätsgewinne: Die gelernte Policy erreichte eine gepoolte mittlere exakte Fidelität von 0,727, was SABRE-best20 (0,440) und target-aware SABRE (0,481) signifikant übertrifft. Die Verbesserung war statistisch signifikant ($p < 1,5 \times 10^{-6}$).
• Overhead-Trade-off: Die Fidelitätsgewinne gingen mit einem erhöhten Overhead einher. Die gelernten Routen fügten im Vergleich zu SABRE-best20 durchschnittlich +8,63 Zwei-Qubit-Gatter und +4,61 Tiefe hinzu.
• Abhängigkeit von der Schaltkreisgröße: Die Leistungssteigerungen hingen stark von der Schaltkreisgröße und der Flexibilität des Action-Graphen ab:
  • 5q- und 8q-Familien: Der Router nutzte zusätzliche Gatter erfolgreich, um den Schaltkreis von unzuverlässigen Kopplern wegzusteuern, was zu erheblichen Verbesserungen der Fidelität führte.
  • 10q-Familien: Auf dem in dieser Studie verwendeten fixen Baum-Action-Graphen zeigten die 10q-Familien keinen Fidelitätsgewinn; tatsächlich performte SABRE-best20 besser. Die Autoren führen dies darauf zurück, dass die feste Baumtopologie zu wenige alternative Pfade bietet, die der RL-Agent effektiv nutzen könnte, um Kalibrationsdaten auszuschöpfen.

Bedeutung und Behauptungen
Das Paper behauptet, dass kalibrationsbewusstes gelerntes Routing die exakte Zustandsfidelität über das hinaus verbessern kann, was durch gatteranzahlgetriebene Kompilierung erreichbar ist, sofern der Hardware-Graph über ausreichend alternative Pfade verfügt. Die Studie zeigt auf:

1. Kalibrationsdaten sind entscheidend: Am selben Tag erhobene Kalibrationsdaten ermöglichen es einer gelernten Policy, Routing-Entscheidungen zu treffen, die die Fidelität gegenüber minimalen Gatteranzahlen priorisieren.
2. Beschränkungen des Aktionsraums sind wichtig: Der Nutzen eines kalibrationsbewussten Routings ist davon abhängig, dass der Action-Graph nützliche Alternativen bietet. In eingeschränkten Topologien (wie dem für 10q-Schaltkreise verwendeten fixen Baum) ist die Fähigkeit, bessere Koppler zu wählen, begrenzt, und traditionelle Heuristiken können überlegen bleiben.
3. Limitierungen von Metriken: Gatteranzahl und Tiefe sind unvollständige Proxies für die Fidelität auf kalibrierter Hardware; Routen mit höherem Overhead können eine höhere Fidelität erzielen.

Die Autoren kommen zu dem Schluss, dass während ihre spezifische Implementierung vielversprechend ist, zukünftige Arbeiten zyklische Subgraphen, gehaltene (held-out) Schaltkreise und gematchte Learned-Router-Baselines evaluieren müssen, um den Ansatz vollständig zu validieren. Sie betonen, dass Routing-Vergleiche die Fidelität und den Kalibrationskontext neben den traditionellen Overhead-Metriken angeben sollten.