Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing

Dit artikel presenteert een kalibratiebewuste grafen-reinforcement learning-aanpak voor quantumcircuit-routing die, door gebruik te maken van realtime hardware-kalibratiedata en proximal policy optimization, een aanzienlijk hogere gesimuleerde fidelity bereikt dan standaard SABRE-gebaseerde methoden op kleine tot middelgrote circuits, ondanks het feit dat het hogere aantallen twee-qubit-poorten met zich meebrengt.

De kern

Stel je voor dat je een team van bezorgers (de quantumdata) probeert te begeleiden door een enorme, chaotische stad (de quantumcomputer) om pakketjes af te leveren (berekeningen uit te voeren).

In het verleden gaven navigatie-apps voor deze quantumsteden alleen om één ding: afstand. Ze zeiden tegen de bezorgers: "Neem de kortste route, zelfs als dat betekent dat je over een brug met gaten rijdt of door een bouwzone gaat." De logica was simpel: minder kilometers rijden betekent minder slijtage.

Dit artikel betoogt echter dat in de echte wereld van quantumcomputers afstand niet alles is. Soms is een iets langere route die kapotte bruggen vermijdt, veel beter, omdat het pakketje in een veel betere staat op de bestemming aankomt.

Hier is een overzicht van wat de onderzoekers hebben gedaan, met behulp van eenvoudige analogieën:

Het Probleem: De "Perfecte" Route versus de "Echte" Route

Quantumcomputers zijn als steden waar de kwaliteit van de wegen (verbindingen tussen onderdelen van de computer) constant verandert. Sommige wegen zijn glad en snel; andere zijn hobbelig en gevoelig voor defecten. Deze kwaliteit wordt "kalibratie" genoemd.

Oude navigatiesystemen (zoals het genoemde standaard SABRE-algoritme) zijn als GPS-apps die alleen naar een kaart kijken. Ze zeggen: "Ga deze kant op, want het is 5 mijl." Ze weten niet dat de weg van 5 mijl momenteel overstroomd is, terwijl de weg van 6 mijl droog is.

De Oplossing: Een "Kalibratie-bewuste" GPS

De auteurs hebben een nieuw, slimmer navigatiesysteem gemaakt met behruik van Graph Reinforcement Learning. Denk aan dit als een GPS die niet alleen naar de kaart kijkt, maar ook het live verkeersbericht en de weersverwachting voor elke weg controleert voordat er een beslissing wordt genomen.

• Het "Brein": Ze hebben een AI getraind (met een methode genaamd Proximal Policy Optimization) om de navigator te zijn.
• De Input: Voordat de AI de bezorgers vertelt waar ze heen moeten, kijkt de AI naar:
  1. De resterende afleverlijst (het circuit).
  2. Waar de bezorgers momenteel geparkeerd staan (de plaatsing).
  3. Het live gezondheidsrapport van elke weg (de kalibratiedata van de IBM Heron r2 chip).
• De Strategie: De AI is bereid om een iets langere route te nemen (extra "SWAP"-operaties toevoegen, wat vergelijkbaar is met omwegen) als dat betekent dat een weg die bekend staat als defect of luidruchtig wordt vermeden.

Het Experiment: Een Race tegen de Oude Methode

De onderzoekers testten hun nieuwe AI-navigator tegen twee gevestigde "ouderwetse" GPS-systemen:

1. SABRE-best20: De standaard, op afstand gerichte navigator.
2. Target-aware SABRE: Een iets slimmere versie die de kaart kent, maar live verkeersgegevens niet zo effectief gebruikt.

Ze testten de routes op negen verschillende "afleverroutes" (quantumcircuits) van variërende grootte (5, 8 en 10 stops) met behulp van realtime data van IBM's quantumhardware.

De Resultaten: Kwaliteit boven Kwantiteit

De resultaten waren een duidelijke overwinning voor de nieuwe AI, maar met een nuance:

• De Grote Winst: Op kleinere en middelgrote routes (5 en 8 stops) waren de routes van de AI veel succesvoller. De "pakketjes" arriveerden in een veel betere staat.
  • De Score: De AI behaalde een "fidelity" (succespercentage) van 0,727, terwijl de oude methoden rond de 0,440 en 0,481 scoorden. Dat is een enorme sprong in kwaliteit.
• De Afweging: Om deze hoge kwaliteit te krijgen, nam de AI ook meer stappen. Het voegde ongeveer 8 extra omwegen (two-qubit gates) toe en maakte de route iets dieper.
  • De Les: Een paar extra stappen zetten om een kapotte brug te vermijden, is het waard als het de lading redt.
• De Beperking: Op de grootste routes (10 stops) deed de AI het minder goed. Waarom? Omdat de "stadsplattegrond" die ze kregen een rigide boomstructuur had met zeer weinig alternatieve paden. Wanneer er geen goede omwegen beschikbaar zijn, kon de AI de ouderwetse afstandgerichte GPS niet te slim af zijn.

De Kern van het Verhaal

Dit artikel bewijst dat voor quantumcomputers weten wat de huidige staat van de hardware is, belangrijker is dan alleen het tellen van het aantal stappen.

Door een AI te leren om naar het "live verkeer" (kalibratiedata) te kijken en routes te kiezen die "kapotte bruggen" (luidruchtige koppelstukken) vermijden, zelfs als die routes iets langer zijn, kunnen we veel betere resultaten behalen. Het is een verschuiving van de vraag "Wat is de kortste route?" naar de vraag "Wat is de veiligste route?".

Technische samenvatting

Technische Samenvatting: Grafiek-gebaseerd Reinforcement Learning voor Kalibratie-bewuste Quantum Circuit Routing

Probleemstelling
Quantum circuit routing is een cruciale compilatiestap voor Noisy Intermediate-Scale Quantum (NISQ) apparaten, waarbij logische circuits gemapt moeten worden naar fysieke hardware met een ijle connectiviteit. Traditionele routingstrategieën optimaliseren vaak voor standaard overhead-metrieken, zoals het minimaliseren van het aantal SWAP-operaties of de circuitdiepte. De auteurs stellen echter dat deze metrieken op gekalibreerde hardware onvoldoende zijn. Twee routes met vergelijkbare overheads kunnen fysieke koppelers met zeer verschillende foutenpercentages passeren, wat leidt tot significante verschillen in de uiteindelijke staat-fidelity. Een route met meer gates kan de ideale staat eigenlijk beter behouden als deze onbetrouwbare koppelers vermijdt. De kernuitdaging is het ontwikkelen van een routingbeleid dat dezelfde-dag kalibratiedata gebruikt om de exacte gesimuleerde staat-fidelity te maximaliseren, zelfs als dit vereist dat er extra twee-qubit gates worden ingevoegd.

Methodologie
De auteurs stellen een kalibratie-bewuste grafiek-gebaseerde reinforcement learning (RL) router voor, getraind met Proximal Policy Optimization (PPO). De aanpak modelleert routing als een sequentieel besluitvormingsproces op een gekalibreerde backend-grafiek $G_B = (P, E, \kappa)$, waarbij $P$ de fysieke qubits representeert, $E$ de uitvoerbare koppelers, en $\kappa$ de snapshot kalibratiedata (inclusief readout-, één- en twee-qubit fouten, en coherentietijden).

• State Representatie: De observatie-toestand $s_t$ bevat het resterende logische circuit, de huidige niet-identiteitsplaatsing van logische qubits, en de kalibratie-snapshot. Dit wordt gecodeerd als een grafiek waarbij node-features de readout-fout, coherentie, incidentele twee-qubit fout en lookahead demand distance vastleggen. Edge-attributen bevatten gekalibreerde twee-qubit foutkansen en een legale-actie maskering.
• Policy Architectuur: Het beleid maakt gebruik van een Graph Neural Network (GNN) met twee message-passing lagen om node-embeddings te genereren. Een Multi-Layer Perceptron (MLP) scoort legale SWAP-edges op basis van deze embeddings en edge-attributen, en geeft een waarschijnlijkheidsverdeling over geldige SWAPs via een gemaskeerde softmax.
• Trainingsprotocol: De agent wordt getraind op IBM Heron r2 kalibratie-snapshots (Fez, Kingston, Marrakesh) met negen MQT Bench circuits (5q, 8q, en 10q families).
  • Beloningsfunctie: Om de hoge kosten van exacte dichtheidsmatrix-simulatie tijdens de training te vermijden, gebruiken de auteurs een goedkope proxy-beloning gebaseerd op de Estimated Success Probability (ESP). De beloningsfunctie bevat termen voor het reduceren van de kortste-pad afstand, routing progressie, gate-aantallen, en straffen voor ongeldige acties of timeouts. Een terminale beloning vergelijkt de proxy-fidelity van de agent tegenover een baseline (SABRE-best20) en straft excessieve kosten af.
  • Evaluatie: De definitieve evaluatie gebruikt exacte dichtheidsmatrix-simulatie met een ruisend model (inclusief depolariserende fouten en thermische relaxatie) om de ware staat-fidelity $F = \langle \psi | \rho | \psi \rangle$ te berekenen.
• Baselines: De voorgestelde methode wordt vergeleken met twee reproduceerbare baselines:
  1. SABRE-best20: Een standaard heuristiek die een kostenfunctie minimaliseert van twee-qubit count en diepte.
  2. Target-aware SABRE: Een kalibratie-bewuste heuristiek die gebruikmaakt van Qiskit's target-informatie en ESP voor selectie.

Belangrijkste Resultaten
De evaluatie werd uitgevoerd over drie kalibratie-snapshots en negen circuitfamilies, wat neerkomt op 1.500 gepaarde episodes.

• Fidelity Winsten: Het geleerde beleid bereikte een gepoolde gemiddelde exacte fidelity van 0,727, wat aanzienlijk beter is dan SABRE-best20 (0,440) en target-aware SABRE (0,481). De verbetering was statistisch significant ($p < 1,5 \times 10^{-6}$).
• Overhead Trade-off: De fidelity winsten gingen gepaard met een hogere overhead. De geleerde routes voegden gemiddeld +8,63 twee-qubit gates en +4,61 diepte toe vergeleken met SABRE-best20.
• Afhankelijkheid van Circuitgrootte: De prestatiewinsten waren sterk afhankelijk van de circuitgrootte en de flexibiliteit van de actie-grafiek:
  • 5q en 8q Families: De router slaagde erin extra gates te gebruiken om het circuit weg te sturen van onbetrouwbare koppelers, wat resulteerde in substantiële verbeteringen in fidelity.
  • 10q Families: Op de vaste boom-actiegrafiek die in de studie werd gebruikt, vertoonden de 10q families geen fidelity winst; sterker nog, SABRE-best20 presteerde beter. De auteurs schrijven dit toe aan het feit dat de vaste boomtopologie te weinig alternatieve paden biedt voor de RL-agent om kalibratiedata effectief te exploiteren.

Betekenis en Claims
Het artikel claimt dat kalibratie-bewuste geleerde routing de exacte staat-fidelity kan verbeteren boven wat haalbaar is met gate-count-gedreven compilatie, mits de hardware-grafiek voldoende alternatieve paden biedt. De studie demonstreert dat:

1. Kalibratiedata Cruciaal is: Dezelfde-dag kalibratiedata stelt een geleerd beleid in staat om routingbeslissingen te nemen die prioriteit geven aan fidelity boven minimale gate-aantallen.
2. Constraints in de Actieruimte Ertoe Doen: De bruikbaarheid van kalibratie-bewuste routing is afhankelijk van de vraag of de actie-grafiek nuttige alternatieven biedt. In beperkte topologieën (zoals de vaste boom gebruikt voor 10q circuits) is de mogelijkheid om betere koppelers te kiezen beperkt, en kunnen traditionele heuristieken superieur blijven.
3. Beperkingen van Metrieken: Gate count en diepte zijn onvolledige proxies voor fidelity op gekalibreerde hardware; routes met hogere overhead kunnen een hogere fidelity opleveren.

De auteurs concluderen dat hoewel hun specifieke implementatie veelbelovend is, toekomstig werk vereist dat cyclische subgrafen, uitgesloten circuits en gematchte geleerde-router baselines worden geëvalueerd. Ze benadrukken dat routingvergelijkingen fidelity en kalibratiecontext moeten rapporteren naast traditionele overhead-metrieken.