Technische Samenvatting: Diagnostiek van Simulatie- en Hardwarebarrières voor Cross-Size Transfer in Equivariante Kwantum Reinforcement Learning

1. Probleemstelling

Het artikel behandelt de schaalbaarheid en overdraagbaarheid van Quantum Reinforcement Learning (QRL) voor combinatorische optimalisatie, specifiek het Euclidische Handelsreizigersprobleem (TSP). Hoewel Equivariante Kwantumcircuits (EQC's) een parameter-efficiënte architectuur bieden waarbij het aantal trainbare parameters onafhankelijk is van de probleemgrootte (bijv. het aantal steden), blijft het onverifieerd of beleid (policies) getraind op kleine instanties succesvol kan worden overgedragen naar grotere instanties onder realistische executiecondities.

De kernonderzoeksvraag is: Kunnen parameters $\theta_n$, getraind op kleine $n$-stad instanties, worden overgedragen naar grotere $m$-stad instanties ($m > n$) met gebruik van dezelfde EQC-architectuur zonder hertraining, en overleeft deze transfer de overgang van geïdealiseerde simulatie naar ruisige hardware?

De auteurs stellen expliciet dat zij geen aanspraak maken op kwantumvoordeel. In plaats daarvan gebruikt de studie de klassiek simuleerbare aard van de specifieke EQC-architectuur als een diagnostisch instrument om een rigoureuze standaard vast te stellen voor het evalueren van toekomstige QRL-claims.

2. Methodologie

Theoretisch Kader

De auteurs ontwikkelen een conditionele diagnostische transfer-bound om de zero-shot transferprestaties te analyseren.

• Decompositie van Fout: De prestatiedaling ($D_{n \to m}$) bij het overdragen van grootte $n$ naar $m$ wordt gedecomposeerd in:
  1. Parametrische Mismatch: Voortkomend uit de schaling van circuitgeneratoren (bijv. $1/n$ versus $1/m$).
  2. Structurele Gladheid (Structural Smoothness): Voortkomend uit de verandering in de onderliggende probleemgeometrie en de gladheid van het beleidslandschap.
• Aannames: De bound rust op aannames met betrekking tot gezamenlijke equivariantie, de generalisatie van de rollout-bron en "lifted-policy smoothness" (gemotiveerd door de Beardwood–Halton–Hammersley stelling, maar niet daaruit afgeleid). De bound is ontworpen om schaleringsstructuren te identificeren in plaats van exacte numerieke verschillen te voorspellen.

Experimentele Pipeline

De studie maakt gebruik van een vijfstaps, protocol-gematchte evaluatiepipeline om transfergedrag te isoleren van backend-artefacten. Dezelfde getrainde EQC-checkpoints worden uitgevoerd over:

1. Statevector Simulatie: Exacte simulatie (Ground Truth).
2. Matrix Product State (MPS) Simulatie: Tensor-netwerk simulatie met variërende bond-dimensies ($\chi$).
3. Ruisige Simulatie: Simulatie die ruismodellen bevat afgeleid van IBM-hardware.
4. Hardware Emulatie: Quantinuum H-serie ruisloze emulator.
5. Echte Hardware: Executie op Quantinuum trapped-ion apparaten (H2-2, Helios-1) en een cross-platform campagne met behulp van supergeleidende apparaten (IBM, Rigetti, IQM).

De gebruikte EQC-architectuur is de depth-$L=1$ Skolik et al. ansatz, bestaande uit één qubit per stad, all-to-all entanglement via $ZZ$-interacties, en node-mixing $RX$-rotaties. Cruciaal is dat bij $L=1$ het beleid slechts twee trainbare scalairen heeft ($\beta, \gamma$), ongeacht $n$.

3. Belangrijkste Bijdragen

A. Diagnostisch Kader voor Cross-Size Transfer

Het artikel vestigt een theoretisch kader dat structurele probleemveranderingen scheidt van de gevoeligheid van het beleid. Het leidt een transfer-bound af die de doelprestaties relateert aan de bronprestaties, parametrische mismatch en structurele gladheid. Dit kader is expliciet "diagnostisch", bedoeld om te verklaren waarom transfer faalt in plaats van succes te garanderen.

B. Protocol-Gematchte Multi-Backend Evaluatie

Dit is de eerste studie die identieke QRL-checkpoints evalueert over een spectrum van backends (exact, tensor-netwerk, ruisig, emulator en hardware) onder gecontroleerde, protocol-gematchte condities. Deze methodologie ontwarrelt echt transfergedrag van artefacten geïntroduceerd door specifieke simulators of hardware-ruis.

C. Identificatie van Drie Onafhankelijke Barrières

De studie isoleert drie afzonderlijke barrières die de schaalbare executie van dichte, all-to-all EQCs verhinderen:

1. Barrière B1 (Backend-geïnduceerd Signaalverlies): In tensor-netwerk simulaties (MPS) genereert de all-to-all entanglement een groei van entanglement die lage bond-dimensie benaderingen ongeldig maakt. Zelfs zonder transfer (dezelfde grootte) vernietigen truncatiefouten bij $\chi=64$ de kwaliteit van het beleid (bijv. 85% gap bij $n=20$), waardoor de simulatie onbetrouwbaar wordt nog voordat de transfer zelfs getest wordt.
2. Barrière B2 (Degradatie door Cross-Size Transfer): Zelfs met een perfecte backend degradeert de prestatie vloeiend maar substantieel naarmate de omvang van de sprong ($m-n$) toeneemt. Dit komt overeen met de theoretische transfer-bound, waarbij de straf schaalt met de relatieve omvang van de sprong en structurele gladheid.
3. Barrière B3 (Finite-Shot Executie Straf): Op hardware liggen de verschillen tussen kandidaat-acties (actie-marges) onder de shot-noise floor.
   • Mechanisme: De greedy beslissingsmarges zijn $\sim 6 \times 10^{-3}$, terwijl de shot-noise floor bij 4.096 shots $\sim 1,6 \times 10^{-2}$ is.
   • Resultaat: Greedy beslissingen worden statistisch onoplosbaar. Het verhogen van het aantal shots helpt slechts tot een bepaald punt; voorbij het kruispunt domineert de gate-error bias.
   • Kwantificering: De transfer-gap zwelt op van $\sim 5\%$ (statevector) naar $31,3\%$ (ruisloze emulator, enkel sampling noise) en $45,3\%$ (hardware).

4. Belangrijkste Resultaten

• Gevalideerd Regime: Binnen kleine omvangssprongen (bijv. $5 \to 10$ steden) en exacte simulatie, presteert zero-shot transfer beter dan vanaf nul trainen op de doelgrootte in alle evaluaties.
• MPS Beperkingen: Voor $n=20$ levert een bond-dimensie van $\chi=64$ een 85% optimaliteitsgap op door truncatiefout, terwijl $\chi=256$ vereist is om bijna exacte prestaties te herstellen. Dit geeft aan dat standaard MPS-simulatie onvoldoende is voor all-to-all EQC's bij matige groottes.
• Hardware Prestaties:
  • Quantinuum (Trapped-Ion): Bereikte een gemiddelde gap van 45,3%. De all-to-all connectiviteit van trapped ions (45 native two-qubit gates) behield enige beleidsstructuur, waardoor de gap ongeveer de helft bleef van die van een willekeurige tour (92,5%).
  • Supergeleidend (IBM, Rigetti, IQM): Niet-gemitigeerde apparaten leden onder massale degradatie (108–125% gap), en presteerden niet beter dan willekeurige tours. Dit werd toegeschreven aan de SWAP-overhead die nodig is om all-to-all connectiviteit te mappen naar beperkte lattice-topologieën, wat het aantal native two-qubit gates opblies naar 153–172.
  • Mitigatie: Een volledig gemitigeerd IBM-apparaat verminderde de gap tot 67,8%, wat aantoont dat foutenmitigatie deels in de plaats kan komen van connectiviteit, maar de door gate-errors verloren gegane beleidsstructuur niet volledig kan herstellen.
• Shot Budget: Het verhogen van de shots voorbij het kruispunt (waar shot noise de actie-marge ontmoet) verbeterde de prestaties op supergeleidende apparaten niet, wat bevestigt dat de faalmodus verschoof van statistische variantie naar systematische gate-error bias.

5. Betekenis en Claims

Het artikel claimt expliciet geen kwantumvoordeel. De onderzochte EQC-architectuur is klassiek simuleerbaar (via Lie-algebraïsche methoden), en de auteurs gebruiken deze simuleerbaarheid als een "meetinstrument" om de grondwaarheid vast te stellen.

De betekenis van het werk ligt in:

1. Het Vaststellen van een Diagnostische Standaard: Het biedt een rigoureuze, reproduceerbare methodologie voor het evalueren van QRL-claims, waarbij de nadruk ligt op het feit dat "transfer in een geïdealiseerde simulatie" niet gelijkstaat aan "schaalbare executie".
2. Identificatie van de Grondoorzaak: De studie schrijft het falen van cross-size transfer en hardware-executie niet toe aan het leeralgoritme zelf, maar aan de topologische bron van de architectuur: de dichte, all-to-all connectiviteit. Deze connectiviteit veroorzaakt entanglement-groei (B1), parametrische mismatch (B2) en excessieve gate-aantallen die leiden tot dominantie van ruis (B3).
3. Toekomstige Richting: De auteurs concluderen dat de weg voorwaarts voor schaalbare kwantumoptimalisatie in dit domein het ontwerp van sparse (ijle) equivariante circuits is. Het verminderen van de connectiviteit wordt gepresenteerd als de noodzakelijke architecturale oplossing om gelijktijdig alle drie de geïdentificeerde barrières te verlichten.

Samenvattend dient het artikel als een waarschuwende en diagnostische studie, die aantoont dat hoewel equivariante priors theoretische belofte bieden voor onafhankelijkheid van grootte, de huidige dichte ansatzes onoverkomelijke barrières ondervinden in zowel simulatie als hardware-executie vanwege de schaling van entanglement en shot-noise beperkingen.