Rethinking How to Act: Action-Space Engineering for Reinforcement Learning-Based Circuit Routing in Distributed Quantum Systems

Dit artikel introduceert een reinforcement learning-agent met een nieuwe formulering van de actieruimte en maskeringstrategieën die de compilatie-efficiëntie van circuits in gedistribueerde quantum-systemen aanzienlijk verbetert, met een reductie in de gemodelleerde uitvoeringstijd van tot 35% ten opzichte van eerdere benaderingen.

De kern

Stel je voor dat je probeert een enorme, hoog-risico dansfeest te organiseren, maar de locatie is opgesplitst in twee aparte zalen die verbonden zijn door een smalle, trage gang.

Het Probleem: De Quantum Dansvloer
In de wereld van quantumcomputing willen we complexe berekeningen uitvoeren (de dans). Het bouwen van één grote zaal met duizenden dansers (qubits) wordt echter te rommelig en duur. Wetenschappers bouwen daarom "Distributed Quantum Computing" (DQC) systemen: twee kleinere, hanteerbare zalen (modules) die verbonden zijn door een gang.

Het nadeel?

• Binnen de zalen: Dansers kunnen zich direct verplaatsen en interageren.
• Tussen de zalen: Het verplaatsen van een danser door de gang is traag, onbetrouwbaar en kost veel tijd om voor te bereiden (zoals wachten op een specifieke bus die moet arriveren).

Het doel is om alle danspassen (quantum gates) zo snel mogelijk uit te voeren. De uitdaging is beslissen: Moet ik nu een danser naar de gang verplaatsen? Moet ik wachten? Welke danser moet ik verplaatsen?

De Oude Manier: De Aarzelende Planner
Vroeger gebruikten onderzoekers een "stap-voor-stap" planner (Versterkend Leren). Stel je een nerveuze manager voor die slechts één kleine beweging per keer kan maken: "Verplaats danser A één stap naar links," of "Wacht één seconde."

• Het Probleem: Omdat de manager slechts kleine stapjes kan zetten, raakt hij overweldigd. Hij besteedt veel tijd aan het nadenken over elke individuele kleine beweging en komt vaak vast te zitten in file omdat hij het grote plaatje niet zag. Het kost veel tijd om deze manager te trainen, en zelfs dan is hij niet erg snel.

Het Nieuwe Idee: De Strategische Commandant
De auteurs van dit artikel introduceerden een nieuw type manager (een AI-agent) met een slimmere denkwijze. In plaats van kleine stapjes te zetten, denkt deze agent in strategische zetten.

1. Grote Zetten, Geen Kleine Stapjes: In plaats van te zeggen "Verplaats één stap naar links", zegt de agent: "Verplaats danser A helemaal naar de gang via het kortste pad." Hij plant de hele keten van bewegingen in één keer.
2. Het "Niet Storen" Bordje (Actie Maskering): Om te voorkomen dat de agent in de war raakt, hebben de onderzoekers "Actie Maskers" geplaatst. Dit zijn als portiers die de agent vertellen: "Je kunt die danser nu niet verplaatsen omdat ze nog niet nodig zijn." Dit voorkomt dat de agent tijd verspillen aan het proberen van onmogelijke of nutteloze dingen.
3. Slimmer Brein: De agent gebruikt een vereenvoudigd "brein" (neuraal netwerk) dat niet probeert elke mogelijke kleine beweging te onthouden. In plaats daarvan leert het de waarde van het verplaatsen van een specifieke plek naar een specifieke plek, wat het veel sneller leert.

De Resultaten: Snellere Feesten, Minder Training
De onderzoekers testten deze nieuwe "Strategische Commandant" tegen de oude "Aarzelende Planner" met behulp van gesimuleerde quantum circuits (dansroutines).

• Snelheid: De nieuwe agent voltooide de routines 35% sneller dan de oude. Hij vond betere paden en vermijdt files effectiever.
• Trainingstijd: Het kostte de nieuwe agent 64% minder tijd om te leren hoe hij het werk moest doen. Het was alsof de nieuwe manager de hele locatie in één middag leerde kennen, terwijl de oude manager een week aan trial-and-error nodig had.
• Schaalbaarheid: De nieuwe agent werd zelfs beter wanneer getraind op grotere, complexere routines, terwijl de oude moeite had om te verbeteren.

De Conclusie
Dit artikel toont aan dat we door te veranderen hoe de AI beslissingen mag nemen (door haar grotere, slimmere zetten te geven en slechte eruit te filteren), we distributed quantum computers veel efficiënter kunnen laten werken. Het gaat niet om het bouwen van betere hardware, maar om het bouwen van een betere "verkeersregelaar" om de stroom van informatie tussen de verschillende onderdelen van de computer te beheren.

Opmerking: Het artikel richt zich strikt op de efficiëntie van het compileren van deze quantum circuits. Het beweert niet dat deze resultaten direct zullen leiden tot nieuwe medische geneesmiddelen of medicijnontdekkingen, maar eerder dat de onderliggende "verkeersregeling" voor quantumcomputers nu aanzienlijk efficiënter is.

Technische samenvatting

Technische Samenvatting: Het Herdenken van Handelen: Actieruimte-Engineering voor Versterkt Leren op Basis van Circuitrouting in Gedistribueerde Quantumsystemen

Probleemstelling

Aangezien monolithische schaling van quantumprocessors beperkingen ondervindt door controlecomplexiteit, kruisspraak en gecorreleerde fouten, is Gedistribueerd Quantum Computing (DQC) naar voren gekomen als een haalbaar alternatief. DQC verbindt meerdere kleinere quantumprocessormodules via quantum- en klassieke kanalen. Het compileren van quantumcircuits voor DQC introduceert echter een specifiek uitdaging: de compiler moet niet alleen voldoen aan lokale connectiviteitsbeperkingen binnen modules, maar ook het genereren en routeren van verre verstrengelde toestanden (EPR-paren) beheren om niet-lokale bewerkingen mogelijk te maken.

Het genereren van EPR-paren is aanzienlijk trager (bijvoorbeeld 10–40 Hz) in vergelijking met lokale poortbewerkingen (MHz tot kHz), wat een knelpunt creëert. Traditionele compilatiebenaderingen vertrouwen vaak op statische qubit-plaatsing of heuristieken die netwerkdynamiek reduceren tot scalare kosten, waardoor ze het stochastische karakter en de latentie van het genereren van verre verstrengeling niet vastleggen. Hoewel Versterkt Leren (RL) veelbelovend is gebleken voor niet-gedistribueerde routing, staan bestaande DQC-specifieke RL-frameworks (bijvoorbeeld Promponas et al., 2024) voor uitdagingen op het gebied van trainings-efficiëntie, schaalbaarheid en inferentieprestaties vanwege hun formulering van de actieruimte.

Methodologie

De auteurs stellen een nieuw RL-agent voor dat is ontworpen om de uitvoeringstijd van circuits in DQC-architecturen te optimaliseren. De aanpak bouwt voort op het framework van Promponas et al. (2024), maar introduceert aanzienlijke engineeringwijzigingen in de actieruimte, maskeringstrategieën en waardebenadering.

1. Systeem- en Circuitmodel

• Circuitrepresentatie: Quantumcircuits worden gemodelleerd als gerichte acyclische grafen (DAG's), waarbij knopen poorten voorstellen en randen voorrangbeperkingen.
• Hardwaremodel: Het systeem bestaat uit meerdere modules (QPUs) die verbonden zijn via quantumkanalen. Lokale bewerkingen vinden plaats binnen modules, terwijl verre bewerkingen afhankelijk zijn van EPR-paren.
• Verre Primitieven: Het framework ondersteunt tele-poorten (niet-lokale CNOT) en tele-qubits (toestands-teleportatie), die EPR-paren verbruiken. Verstrengelingsgeneratie wordt gemodelleerd als een deterministisch proces met vaste latentie $t_{gen}$, wat de gemiddelde wachttijd van een repeat-until-success-protocol benadert.

2. Versterkt Leren Framework

Het probleem wordt geformuleerd als een Markov Beslissingsproces (MDP) met behulp van Double Deep Q-Networks (DDQN).

• Toestandsruimte ($S$): Identiek aan de baseline, waarbij de huidige qubit-mapping (fysiek naar virtueel) en de DAG-structuur (poortafhankelijkheden en laagindeling) worden gecodeerd.
• Beloningsstructuur:
  • Positieve beloningen voor het voltooien van poorten ($R_{score}$) en het afronden van het circuit ($R_{success}$).
  • Boetes voor het niet voltooien van het circuit binnen een tijdslimiet ($R_{fail}$) en voor het gebruik van de STOP-actie.
  • Wijziging: De auteurs wijzigen de bewegingsbeloning ($R_{move}$). In tegenstelling tot de baseline, die een toename in afstand bestraft, ontvangt de nieuwe agent nul beloning als de afstandsmaat niet afneemt, waardoor negatieve feedback wordt vermeden voor bewegingen die geen vooruitgang boeken maar niet strikt verboden zijn. De STOP-beloning wordt geschaald naar het aantal overgeslagen tijdstappen ($\Delta t_{skip}$).

3. Belangrijkste Innovaties: Actieruimte-Engineering

De kernbijdrage ligt in het herdefiniëren van de actieruimte ($\tilde{A}$) van de agent en hoe deze wordt gemaskeerd en benaderd.

• Uitgebreide Actieruimte: In plaats van acties te koppelen aan individuele randen (SWAP's op enkele links), koppelt de nieuwe agent acties aan paren van fysieke qubits $(i, j)$. Een actie ROUT(i, j) voert een keten van SWAP- en tele-qubit-bewerkingen uit langs een vooraf berekende kortste pad tussen $i$ en $j$. Dit stelt de agent in staat om meerstaps routeringsbeslissingen in één stap te nemen.
• Restrictieve Actie-Masking: Om te voorkomen dat de vergrote actieruimte de agent overweldigt, wordt een strikte maskeringstrategie toegepast. Een routeringsactie ROUT(i, j) is alleen toelaatbaar als deze:
  1. Een "frontier-qubit" (betrokken bij de volgende poort) naar zijn partner beweegt.
  2. Een niet-geïnitialiseerde qubit naar een communicatielink beweegt om voor te bereiden op EPR-generatie.
  3. Een EPR-qubit en een frontier-qubit naar elkaar toe beweegt.
• Gestructureerde Q-Waarde Benadering: Om de kwadratische schaling van de actieruimte ($O(|V|^2)$) aan te pakken, introduceren de auteurs een gestructureerde benadering. Het neurale netwerk voert een scalare waarde $Q_i$ uit voor elke fysieke qubit $i$ (plus waarden voor STOP- en generate-acties). De waarde voor een specifieke routeringsactie van $i$ naar $j$ wordt afgeleid via een lineaire combinatie:
  $$Q_{ij} = (1 - \alpha)Q_i + \alpha Q_j$$
  waarbij $0 < \alpha < 0.5$. Dit reduceert het aantal trainbare uitgangen van $O(|V|^2)$ naar $O(|V|)$, wat de rekenkosten aanzienlijk verlaagt terwijl de richtingsafhankelijkheid behouden blijft.

Belangrijkste Resultaten

De voorgestelde agent werd geëvalueerd tegen de baseline DDQN-agent (Promponas et al., 2024) over twee hardware-topologieën: een 4x4-rooster en een verbonden paar IBM Q Guadalupe-architecturen (totaal 32 qubits). Experimenten gebruikten willekeurig gegenereerde circuits met 30, 40 en 50 CNOT-poorten.

1. Inferentieprestaties

• Vermindering van Uitvoeringstijd: Op de Guadalupe-topologie met 30-poort circuits bereikte de voorgestelde agent een relatieve vermindering van de gemodelleerde uitvoeringstijd van ~35% in vergelijking met de baseline.
  • Gemiddelde baseline: ~1.227 tijdstappen.
  • Gemiddelde voorgestelde agent: ~799 tijdstappen.
• Schaalbaarheid: Op de meer beperkende Guadalupe-topologie had de baseline-agent moeite om effectieve beleidslijnen te leren voor circuits met 40 en 50 poorten (uitvoeringstijden bleven dicht bij niveaus van willekeurige selectie). Daarentegen toonde de voorgestelde agent aanzienlijke verbeteringen in uitvoeringstijd voor deze grotere circuits, wat wijst op betere schaalbaarheid.
• Roostertopologie: Op het sterk verbonden 4x4-rooster trainde de voorgestelde agent aanvankelijk langzamer vanwege de complexiteit van het selecteren van optimale paden onder vele alternatieven. Uiteindelijk bereikte het echter een concurrerende eindprestatie en presteerde het lichtjes beter dan de baseline.

2. Trainings-efficiëntie

• Muurkloktijd: Het voorgestelde model vereiste aanzienlijk minder trainingstijd. Voor circuits met 30 poorten werd de trainingstijd met 64% gereduceerd (van ~66 uur naar ~23,5 uur).
• Convergentie: De voorgestelde agent vertoonde een lagere variantie in cumulatieve beloning en uitvoeringstijd tijdens de laatste fasen van de training, wat wijst op een stabieler en consistenter beleid.

3. Vooruitkijkende Analyse

De auteurs onderzochten of training op kleinere circuits (beperkte vooruitkijk) generaliseert naar grotere circuits. Training op grotere circuits (C50) leverde consequent betere inferentieprestaties op 50-poort testsets op dan training op kleinere circuits (C30 of C40), wat suggereert dat de volledige circuitcontext noodzakelijk is voor optimale routeringsbeslissingen in deze opstelling.

Betekenis en Claims

Het paper stelt dat Actieruimte-Engineering een kritieke hefboom is voor het verbeteren van RL-gebaseerde quantumcircuitcompilatie. Door de actieruimte te herstructureren om samengestelde routeringsacties mogelijk te maken en een gestructureerde Q-waarde-benadering toe te passen, bereikten de auteurs:

1. Verbeterde Prestaties: Een aanzienlijke vermindering van de circuituitvoeringstijd (tot 35-38%) op beperkte hardware-topologieën.
2. Reken-efficiëntie: Een drastische reductie van de trainingstijd (64%) en een meer schaalbare parameterisatie van het Q-netwerk.
3. Generalisatie: Het vermogen om effectieve beleidslijnen te leren voor grotere circuits waar baseline-heuristiek-gebaseerde of rand-niveau RL-benaderingen faalden.

De auteurs merken bescheiden op dat schaalbaarheid nog steeds beperkt wordt door de polynomiale groei van de toestandsruimte met het aantal poorten (momenteel beoordeeld tot 50 poorten en 18 qubits). Zij identificeren de afweging tussen de restrictieve maskeringstrategie (die de leersnelheid ten goede komt) en het potentieel verlies van globaal optimale routeringsstrategieën als een beperking. Voor toekomstig werk wordt voorgesteld zich te richten op meer compacte toestandsrepresentaties om generalisatie verder te verbeteren.