Architecture-Aware Reinforcement Learning for Communication-Efficient Distributed Quantum Circuit Compilation

Technische Samenvatting: Architectuurbewust Reinforcement Learning voor Communicatie-efficiënte Gedistribueerde Quantum Circuit Compilatie

Probleemstelling
Gedistribueerde quantumcomputing biedt een pad naar schaalvergroting voorbij de fysieke limieten van enkelvoudige quantum processing units (QPU's) door meerdere apparaten aan elkaar te koppelen. Echter, deze architectuur introduceert een complexe compilatie-uitdaging: quantumoperaties moeten niet alleen worden gepland volgens de lokale hardware-connectiviteit, maar ook tegen de beperkingen van dure inter-QPU communicatieressourcen. In tegenstelling tot monolithische compilatie, die zich richt op gate-synthese en lokale routing, moet gedistribueerde compilatie ook de plaatsing van logische qubits, de timing van inter-QPU communicatie en de planning van beperkte communicatiekanalen bepalen.

De kern van de moeilijkheid ligt in de afweging tussen communicatievolume (gemeten in het verbruik van EPR-paren) en communicatielatentie (gemeten in de communicatie-makespan). Overmatige communicatie verhoogt de executietijd en vergroot de impact van ruis en imperfecte verstrengelingsgeneratie. Bestaande benaderingen, inclusen heuristische mapping-algoritmen en partitioneringsframeworks, pakken vaak qubit-toewijzing of routing in isolatie aan. Ze hebben moeite met het gezamenlijk optimaliseren van communicatiebeslissingen over dynamische topologieën, circuitafhankelijkheden en hardwarecapaciteitsbeperkingen, met name wanneer rekening wordt gehouden met stochastische verstrengelingsdynamiek en resource-contention.

Methodologie
De auteurs stellen een architectuurbewust reinforcement learning (RL) framework voor dat gedistribueerde quantumcompilatie formuleert als een beperkt Markov Beslissingsproces (MDP). Het systeem modelleert de compiler als een agent die sequentieel "compiler-niveau communicatieacties" selecteert om de beschikbaarheid van logische qubits over QPU's te beheren.

1. Communicatie Primitieven: Het framework maakt gebruik van twee primaire acties:

   • Split: Verbruikt een EPR-paar om een logische qubit beschikbaar te maken bij een extra QPU, wat gedistribueerde controlled-unitary operaties mogelijk maakt.
   • Merge: Verwijdert redundante gedistribueerde plaatsing wanneer deze niet langer nuttig is, waardoor resources vrijkomen.
     Deze acties abstraheren fysieke mechanismen zoals teleportatie en entanglement swapping zonder te impliceren dat er klonen van onbekende quantumtoestanden worden gemaakt.

2. Systeemmodel en Beperkingen: Het compilatieproces werkt onder strikte hardwarebeperkingen:

   • Resource Limieten: Elke QPU heeft een eindige qubit-capaciteit en een eindig aantal communicatiekanalen.
   • Temporeel Model: Een round-gebaseerd communicatiemodel houdt logische klokken en kanaalbudgetten bij. Als een QPU geen beschikbaar kanaal heeft, loopt de klok vooruit, wat latentie introduceert.
   • Haalbaarheid: Acties zijn alleen geldig als de QPU's verbonden zijn, kanalen beschikbaar zijn en gate-afhankelijkheden zijn voldaan. Two-qubit gates kunnen alleen worden uitgevoerd als beide operanden beschikbaar zijn op een gemeenschappelijke QPU.

3. RL Framework Ontwerp:

   • State Representatie: De status van de compiler wordt gecodeerd als een heterogene graaf ($G_{obs}$). Deze graaf bevat knopen voor QPU's, logische qubits en gates, verbonden door randen die topologie, plaatsing, afhankelijkheden en beschikbaarheid van resources representeren. Deze structuur stelt de policy in staat om te redeneren over complexe interacties tussen hardware en circuitlogica.
   • Policy Netwerk: De agent gebruikt een Relational Graph Attention Network (R-GAT) om de graaf-observatie te verwerken en haalbare split- of merge-acties te selecteren.
   • Reward Shaping: Om de schaarste van feedback in lange compilatie-trajecten aan te pakken, is de beloningsfunctie (reward function) gedecomposeerd in vijf termen:
     • Latentie Beloning: Bestraft de toename van de communicatie-makespan.
     • Split Straf: Bestraft direct het verbruik van EPR-paren.
     • Progressie Beloning: Moedigt de uitvoering van gates aan.
     • Lookahead Beloning: Beloont acties die het aantal onmiddellijk uitvoerbare gates in de toekomst vergroten.
     • Voltooiings Beloning: Een terminale bonus voor succesvolle compilatie, gestraft door de uiteindelijke latentie.
   • Training: De policy wordt geoptimaliseerd met behulp van Proximal Policy Optimization (PPO).

Belangrijkste Bijdragen
Het artikel presenteert vier primaire bijdragen:

1. MDP Formulering: Een nieuw framework dat communicatieplanning en dynamische qubit-plaatsing modelleert als een beperkt MDP, waarbij de sequentiële aard van gedistribueerde compilatie expliciet wordt afgehandeld.
2. Dynamische Beperkingen: De introductie van expliciete dynamische beperkingen op actieve EPR-operaties, waarbij de fysieke capaciteitslimieten op gelijktijdige communicatieprimitieven (kanaalcontention) worden afgedwongen.
3. Heterogene Graaf State: De constructie van een graaf-gebaseerde state-representatie die gelijktijdig circuitafhankelijkheden, qubit-plaatsing en QPU-topologie codeert, waardoor de RL-agent structurele relaties kan vastleggen.
4. Competitieve Prestaties: Demonstratie van een policy die een compilatieprestatie bereikt die vergelijkbaar is met state-of-the-art heuristieken over diverse benchmark-circuits.

Resultaten en Evaluatie
Het framework werd geëvalueerd over benchmark-circuits met variërende structuren. De resultaten wijzen uit dat:

• Gestructureerde Workloads: De RL-policy de prestaties evenaart van state-of-the-art heuristische algoritmen op gestructureerde workloads.
• Ongestructureerde Circuits: Op ongestructureerde circuits levert de inclusie van lookahead reward shaping bescheiden verbeteringen op ten opzichte van baseline heuristieken.
• Schaalbaarheid: Hoewel de aanpak flexibiliteit vertoont, merken de auteurs op dat schaalbaarheid een aanzienlijke bottleneck blijft voor praktische, grootschalige implementatie.

Significantie en Claims
Het artikel positioneert reinforcement learning als een flexibel alternatief voor handmatige heuristieken voor gedistribueerde quantumcompilatie. Het betoogt dat door het probleem te modelleren als een beperkt MDP met een heterogene graafrepresentatie, het systeem effectief de afwegingen tussen communicatie-overhead en executietijd kan navigeren. Het werk benadrukt dat hoewel huidige RL-methoden bestaande heuristieken kunnen evenaren, het veld nog steeds schaalbaarheidsuitdagingen moet overwinnen om een levensvatbare oplossing te worden voor praktische, grootschalige gedistribueerde quantum-systemen. De auteurs beweren niet het schaalbaarheidsvraagstuk te hebben opgelost, maar demonstreren de levensvatbaarheid van de RL-benadering als fundament voor toekomstige optimalisatie.