Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

Probleemstelling

Combinatorische optimalisatieproblemen (CO), zoals het Handelsreizigersprobleem (TSP), staan centraal in logistiek en netwerkontwerp, maar zijn NP-hard, waardoor exacte oplossingen voor grote inputs onhandelbaar zijn. Hoewel Reinforcement Learning (RL) en Quantum Reinforcement Learning (QRL) heuristische strategieën bieden, blijft een belangrijke schaalbaarheidsbottleneck bestaan: de meeste QRL-methoden vereisen hertraining vanaf nul voor elke nieuwe probleeminstantie of grootte.

Dit artikel onderzoekt of Equivariante Quantumcircuits (EQC's)—die permutatiesymmetrie coderen om ervoor te zorgen dat het aantal parameters onafhankelijk blijft van de probleemgrootte—zero-shot cross-size transfer kunnen faciliteren. Specifiek vragen de auteurs zich af of parameters $\theta_n$, getraind op kleine $n$-stad TSP-instanties, direct kunnen worden overgedragen naar grotere $m$-stad instanties ($m > n$) zonder hertraining, en of deze transfer standhoudt bij realistische uitvoering op quantumhardware.

Methodologie

De auteurs hanteren een vijftraps, protocol-gematchte evaluatiepipeline om de effecten van simulatiebenaderingen, ruis en finite-shot sampling te isoleren van werkelijk transfergedrag. De studie gebruikt de Skolik et al. [11] EQC-architectuur (diepte $L=1$, twee trainbare scalairen $\beta, \gamma$) toegepast op Euclidische TSP-instanties.

De pipeline verloopt via:

1. Base Stage: Selectie van een stabiel trainingsrecept (bevroren observatie-rescaling, best-checkpoint rapportering) op een 12-node validatielane.
2. N1 (Source Policies): Training vanaf nul op $n \in \{5, 10, 15, 20\}$ steden met gebruik van exacte statevector-simulatie.
3. N2 (Exact Transfer): Evaluatie van zero-shot transfer en fine-tuning over verschillende groottes (bijv. $5 \to 10$, $10 \to 15$) met behulp van exacte statevector-simulatie.
4. N3 (Scaling Frontier): Uitbreiding naar grotere groottes ($n$ tot 100) met behulp van Matrix Product State (MPS) simulatie, ruizige MPS (IBM ruismodel), en high-bond-dimension sweeps om de simulatiegetrouwheidslimieten te karakteriseren.
5. N4 (Hardware Execution): Uitvoering van dezelfde overgedragen policies op Quantinuum trapped-ion hardware (H2-2, Helios-1) en emulators, gevolgd door een cross-platform campagne over vijf apparaten (Quantinuum, IBM, Rigetti, IQM) die twee qubit-technologieën en vier leveranciers beslaan.

Theoretisch Kader

Het artikel leidt een conditionele diagnostische transferbound af voor de verwachte prestatie $P_m(\theta^*_n)$ op een doelgrootte $m$, gegeven training op bronformaat $n$. De bound ontleedt de prestatiedaling in:

• Source Generalization: Een term $G^{roll}_n(\delta)$ die het gat tussen empirische en ware bronprestatie controleert.
• Transfer Penalty ($D_{n \to m}$): Een som van:
  • Parametrische Mismatch: Schaalt lineair met de parameter $\ell_1$-norm en de relatieve grootte-sprong $(m-n)/m$.
  • Structurele Gladheid: Een term $\Psi(n, m)$ (gemodelleerd als $\sqrt{m} - \sqrt{n}$ op basis van Beardwood–Halton–Hammersley schaling) die de gladheid van de policy over grafiekgroottes representeert.

De auteurs merken expliciet op dat deze bound diagnostisch en worst-case is, bedoeld om schaalstructuren te identificeren in plaats van numerieke gaten met hoge precisie te voorspellen. Ze verduidelijken ook dat de specifieke EQC-architectuur die wordt bestudeerd (Model B) klassiek simuleerbaar is via Lie-algebraïsche methoden (Model A), en zij gebruiken deze simuleerbaarheid als een "meetinstrument" (ground truth) in plaats van te claimen dat er sprake is van quantumvoordeel.

Belangrijkste Resultaten

1. Gevalideerde In-Regime Transfer

Binnen een gevalideerd regime (kleine sprongen in grootte, bijv. $5 \to 10$), verslaat zero-shot transfer de target-size training in alle zes voltooide evaluaties. De $5 \to 10$ transfer bereikte een gemiddelde optimaliteitsgap van 5,07%, waarmee de vanaf nul getrainde baseline werd overtroffen. Dit suggereert dat EQC's structurele inzichten coderen die generaliseren over schalen wanneer de sprong in grootte gematigd is.

2. Drie Onafhankelijke Barrières voor Schaalbaarheid

Voorbij het gevalideerde regime blokkeren drie verschillende barrières de dichte, all-to-all EQC-architectuur bij het schalen:

• Barrière B1: Backend-geïnduceerd Signaalverlies (Simulatie/Truncatie)

  • Observatie: In MPS-simulatie veroorzaakt een bond-dimensie van $\chi=64$ (standaard voor veel studies) een catastrofaal falen voor $n=20$ (gemiddelde gap 85,22%), zelfs bij transfer van gelijke grootte.
  • Oorzaak: De all-to-all entanglement structuur genereert entanglement-groei die low-bond-dimension benaderingen ongeldig maakt. De truncatiefout overstijgt de signaalmagnitude ($\langle Z_i Z_j \rangle$), waardoor de greedy actie-ranking wordt gecorrumpeerd.
  • Drempelwaarde: Betrouwbare policy-niveau accuratesse vereist $\chi \ge 256$, wat computationeel onhaalbaar is voor grote $n$.

• Barrière B2: Cross-Size Transfer Degradatie (Grote Sprongen)

  • Observatie: Prestaties degraderen vloeiend maar substantieel naarmate de sprong in grootte $|m-n|$ toeneemt (bijv. de $5 \to 20$ gap stijgt naar ~12–18%).
  • Oorzaak: Dit komt overeen met de theoretische transferbound, gedreven door parametrische mismatch en structurele verschuivingen. Hoewel fine-tuning enige prestaties kan herstellen (bijv. de $15 \to 20$ gap daalt van 13,9% naar 10,6% met fine-tuning), is zero-shot transfer alleen onvoldoende voor grote sprongen.

• Barrière B3: Finite-Shot Execution Penalty (Hardware)

  • Observatie: Op hardware zwelt de gap aan van ~5% (statevector) naar 31,3% (ruisloze emulator met 4096 shots) en 45,3% (werkelijke hardware).
  • Oorzaak: De actie-marges (verschillen tussen kandidaat Q-waarden) liggen onder de shot-noise floor ($1/\sqrt{N_s}$). Bij 4096 shots is de ruisvloer ~0,016, terwijl de gemiddelde actie-marge ~0,006 is. Bijgevolg worden greedy beslissingen statistisch niet meer opgelost (37 van de 40 beslissingen hadden $z < 2$).
  • Cross-Platform Bevestiging: Een campagne over vijf apparaten (Quantinuum, IBM, Rigetti, IQM) bevestigde dat de penalty wordt bepaald door het natieve twee-qubit gate-aantal en error mitigation, en niet door het shot-budget.
    • Trapped-ion (all-to-all, 45 gates): 45,3% gap.
    • Superconducting (gerouteerd, 153–172 gates, ongemitigeerd): 108–125% gap (effectief willekeurige tours).
    • Superconducting (gemitigeerd, 172 gates): 67,8% gap.
  • Conclusie: Het simpelweg verhogen van het aantal shots lost het probleem niet op, omdat de signaal-ruisverhouding fundamenteel wordt beperkt door de gate-geïnduceerde bias en de lage per-edge contrast van de dichte observable familie.

Betekenis en Claims

De auteurs claimen expliciet geen computationeel quantumvoordeel. De bestudeerde EQC-architectuur is klassiek simuleerbaar. De betekenis van het artikel ligt in plaats daarvan in:

1. Het Vaststellen van een Diagnostische Standaard: Het bieden van een reproduceerbare, protocol-gematchte methodologie voor het evalueren van cross-size transfer in QRL, waarbij transfergedrag wordt onderscheiden van simulator- of hardware-artefacten.
2. Het Identificeren van Architecturale Obstakels: Het aantonen dat de canonieke dichte, all-to-all EQC ansatz fundamentele barrières (B1, B2, B3) ondervindt die geworteld zijn in de connectiviteit. De all-to-all topologie maakt efficiënte tensor-netwerk simulatie ongeldig (B1), verergert transfer-penalties (B2) en creëert actie-marges die te klein zijn om op huidige hardware te resolveren (B3).
3. Het Voorstellen van een Pad Vooruit: De resultaten motiveren sparse equivariante circuitontwerpen als de noodzakelijke architecturale oplossing om alle drie de barrières simultaan te verlichten, in plaats van enkel te vertrouwen op hogere shot-budgets of error mitigation.

Het artikel concludeert dat hoewel EQC's een veelbelovende inductieve bias bieden voor transfer, hun huidige dichte implementatie niet schaalbaar is naar industrieel relevante groottes op bestaande hardware zonder architecturale modificatie.