Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes

Technische Samenvatting: Reinforcement Learning voor Adaptieve Compositie van Quantum Circuit Optimisatie-passes

Probleemstelling
Quantum Software Development Kits (QSDK's) bieden suites van hoogst geoptimaliseerde circuit-passes (bijv. Clifford subcircuit optimalisatie, ZX-calculus herschrijven, Pauli-gadget optimalisatie). De volgorde waarin deze passes worden toegepast, wordt echter meestal aan de gebruiker overgelaten of gedefinieerd door algemene standaardsequenties. Dit brengt twee primaire uitdagingen met zich mee:

1. Expertisebarrière: Het herkennen wanneer een specifieke pass voordelig is, vereist vaak uitzonderlijke expertise in circuitconstructie en optimalisatie.
2. Fase-ordeningprobleem (Phase Ordering Problem): De kwaliteit van het resulterende circuit is zeer gevoelig voor de volgorde van toepassing. Algemene standaardsequenties missen vaak optimalisatiemogelijkheden die specifiek zijn voor individuele circuits, terwijl het handmatig ontwerpen van op maat gemaakte sequenties tijdrovend en foutgevoelig is.

Bestaande machine learning-benaderingen vertrouwen vaak op vaste observatieruimtes (wat de input beperkt tot specifieke kenmerken) of gebruiken klassieke simulatie op vereenvoudigde circuitrepresentaties, wat de voorspellingsnauwkeurigheid kan verminderen. Bovendien lijden zoekgebaseerde benaderingen voor het genereren van op maat gemaakte sequenties vaak aan een slechte schaalbaarheid naarmate de actieruimte en de circuitgrootte toenemen.

Methodologie
De auteurs stellen een Reinforcement Learning (RL) raamwerk voor met behulp van Proximal Policy Optimisation (PPO) om een agent te trainen die iteratief een sequentie van optimalisatie-passes selecteert en toepast die op maat is gemaakt voor een specifiek quantum circuit.

• Graafrepresentatie: Het quantum circuit wordt gecodeerd als een graaf waarbij knopen gates, inputs en outputs vertegenwoordigen, en randen qubit-bedrading vertegenwoordigen. Deze representatie ondersteunt willekeurige connectiviteit en willekeurige circuitgroottes, in tegenstelling tot 3D-tensorrepresentaties. Kenmerken van knopen zijn gate-typen (ZZPhase, Rz, PhasedX), parameters, Clifford-flags en de index van de laatst toegepaste pass om idempotente repetitie te voorkomen.
• Actieruimte: De agent selecteert uit een set globale optimalisatie-passes die beschikbaar zijn in PyTKET (versie 2.9.3), waaronder:
  • KAKDecomposition (twee-qubit subcircuit hersynthese)
  • CliffordResynthesis en CliffordSimp
  • ZXGraphlikeOptimisation
  • GreedyPauliSimp
  • ThreeQubitSquash
  • DoNothing (beëindigt de sequentie)
    Na elke pass wordt het circuit geherbaseerd naar de Quantinuum native gateset.
• Architectuur: De agent maakt gebruik van een Graph Neural Network (GNN) met Graph Convolutional lagen (met behulp van aangepaste GINConv-operatoren) om de circuitgraaf te verwerken. Het netwerk geeft actie-logits uit (via een actor) en staatwaarden (via een critic). Het model gebruikt mean pooling om variabele circuitgroottes te verwerken.
• Beloningsfunctie: De beloning voor een enkele actie wordt gedefinieerd als het fractie van de verwijderde twee-qubit gates ten opzichte van het initiële aantal ($r_t = (n_{t-1} - n_t) / n_0$). Er wordt een kleine straf toegepast op acties die niet DoNothing zijn om efficiëntie te stimuleren.
• Training: Het model wordt getraind op een synthetische dataset van meer dan 400.000 circuits (inclusief Random-SU4/SU8, IQP, QAOA en Clifford-gemengde klassen) met qubit-aantallen variërend van 3 tot 7. Training maakt gebruik van PPO met hyperparameters die zijn geoptimaliseerd via een Tree-structured Parzen Estimator.

Belangrijkste Resultaten
De getrainde agent werd geëvalueerd op een diverse testset van 40.412 circuits (in-distributie) en vergeleken met verschillende PyTKET standaardsequenties (FullPeepholeOptimise, QuantinuumDefaultTwo, QuantinuumDefaultThree) en individuele hoog-presterende passes.

• Prestaties: De RL-agent bereikte een gemiddelde cumulatieve beloning (fractie van verwijderde twee-qubit gates) van 57,7% en een mediaan van 56,7%. Dit presteerde beter dan de op één na beste standaardsequentie (QuantinuumDefaultTwo), die een gemiddelde van 41,8% en een mediaan van 50,0% behaalde.
• Aanpassingsvermogen: De agent genereerde succesvol op maat gemaakte sequenties voor verschillende circuitklassen. Bijvoorbeeld, in Ordered-Clifford-SU4 circuits identificeerde de agent correct een sequentie bestaande uit CliffordSimp gevolgd door KAKDecomposition in 99,2% van de gevallen, wat aantoont dat het in staat is om directe beloningen uit te stellen om betere daaropvolgende optimalisaties mogelijk te maken.
• Generaliseerbaarheid: Het model generaliseerde naar "out-of-distribution" circuits groter dan die in de training waren gezien (tot 12 qubits en 450 twee-qubit gates), waarbij de prestaties vergelijkbaar bleven met de in-distributie resultaten. Het toonde ook effectiviteit bij zeer grote circuits (100 qubits).
• Efficiëntie vs. Zoektocht: Wanneer het werd vergeleken met beam-search-gebaseerde optimisatoren (die op maat gemaakte sequenties genereren via exhaustieve of gulzig zoekproces), produceerde het RL-model vergelijkbare of superieure reductie van twee-qubit gates, maar met een aanzienlijk kortere uitvoeringstijd. Terwijl zoekgebaseerde methoden slecht schalen met de grootte van de actieruimte en de zoekdiepte, schaalt de RL-modelleffectieve inferentietijd alleen met de sequentiediepte, wat het veel schaalbaarder maakt.

Betekenis en Claims
Het artikel beweert dat deze aanpak de moeilijkheid van het handmatig orkestreren van optimalisatie-passes oplost door de selectie van op maat gemaakte sequenties te automatiseren. De significantie van het werk ligt in:

1. Superieur aan Defaults: Het aantonen dat een geleerd, circuit-specifiek beleid aanzienlijk beter presteert dan algemene standaardsequenties in het reduceren van twee-qubit gate-aantallen (een proxy voor ruis).
2. Schaalbaarheid: Het aantonen dat RL-gebaseerde selectie computationeel efficiënter is dan zoekgebaseerde methoden voor het genereren van op maat gemaakte pass-sequenties, vooral naarmate de circuitcomplexiteit toeneemt.
3. Verminderde Expertisevereiste: Het verlagen van de drempel voor effectieve circuitoptimalisatie, aangezien de agent geen menselijke experts nodig heeft om de optimale volgorde van passes te bepalen.
4. Uitbreidbaarheid: De methodologie is niet beperkt tot de specifieke passes die worden gebruikt; de actieruimte kan worden uitgebreid met passes uit andere bibliotheken zonder de kernaanpak te wijzigen.

De auteurs merken op dat hoewel de aanpak verbeteringen oplevert ten opzichte van globale herschrijvingen, het nog steeds onderhevig is aan het Fase-ordeningprobleem dat inherent is aan globale transformaties. Zij suggereren dat toekomstig werk zou kunnen bestaan uit agents die specifieke circuitregio's selecteren voor herschrijving (het combineren van globale en lokale optimalisatie) en het uitbreiden van trainingssets om echte gebruikerscircuits te bevatten.