Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

Technische Samenvatting: Verstrengeling als een Structurele Complexiteitsas in Kwantumbeleid

Probleemstelling
Geparametriseerde kwantumcircuits (PQCs) worden steeds vaker ingezet als beleid (policies) en waardefuncties in Quantum Reinforcement Learning (QRL). Het veld blijft echter overwegend empirisch, waarbij evaluaties doorgaans alleen het gemiddelde rendement rapporteren. Dit laat een kritieke theoretische kloof achter: er is geen rigoureus begrip van wanneer en waarom een kwantumbeleid generaliseert. Bestaande generalisatiegrenzen voor kwantummodellen vertrouwen vaak op parameteraantallen of gate-aantallen, wat faalt in het vastleggen van de structurele nuances van verstrengeling. Bovendien heeft geen enkele eerdere PAC-Bayesiaanse analyse verstrengeling geïsoleerd als een sturende complexiteitsfactor voor kwantumbeleid.

Methodologie
De auteurs stellen een PAC-Bayesiaans kader voor om een generalisatiegrens af te leiden voor stochastisch kwantumbeleid. De kern van de methodologische innovatie is het verschuiven van de complexiteitsmetriek van het ruwe aantal parameters ($d$) naar de effectieve dimensie ($d_{\text{eff}}$) van de Fisher-geometrie die door het circuit wordt geïnduceerd.

1. PAC-Bayes Grensafleiding:

   • De auteurs definiëren een stochastisch beleid $\pi_Q$ via een Gaussische posterior $Q = \mathcal{N}(\theta, \Sigma)$ over de circuitparameters, gecentreerd rond de initialisatie $\theta_0$.
   • In tegenstelling tot standaard isotrope grenzen, wordt de posterior covariantie $\Sigma$ gevormd door de Fisher Informatie Matrix (FIM), $\hat{F}(\theta)$, die de lokale kromming van het verlieslandschap vastlegt.
   • De resulterende grens (Theorem 2) bevat een complexiteitsterm bestaande uit de afstand tot de prior en de Fisher effectieve dimensie:
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     waarbij $\lambda_i$ de eigenwaarden van de FIM zijn.

2. Het Verstrengelingsmechanisme:

   • Het artikel stelt dat voor single-observable readouts (standaard in QRL), de rang van de FIM wordt bepaald door de grootte van de backward light-cone van de readout-observable.
   • Propositie 1 stelt vast dat het toevoegen van verstrengelingsgates de lichtkegel uitbreidt, waardoor de rang van de FIM toeneemt en $d_{\text{eff}}$ opblaast, zelfs wanneer het totale aantal trainbare parameters ($d$) gelijk blijft.

3. Experimenteel Ontwerp:

   • Om verstrengeling te isoleren van het aantal parameters, gebruiken de auteurs een vast ansatz-layout (lagen van $R_Y$ en $R_Z$ rotaties) en variëren zij alleen de verstrengelingsconnectiviteit: Geen (geen CNOTs), Lineair (CNOT-keten), en Volledig (all-to-all CNOTs).
   • Experimenten beslaan supervised classificatie (4–16 qubits), een reward-only contextual bandit (één-stap RL), en multi-step value-function generalisatie.
   • Controles omvatten overeenkomstige trainingsnauwkeurigheid, alternatieve readout-observables, verschillende optimizers en uitvoering op echte IBM Heron hardware.

Kernbijdragen

1. Een PAC-Bayes Grens voor Kwantumbeleid: Het artikel leidt een generalisatiegrens af waarbij de complexiteitsterm de Fisher effectieve dimensie ($d_{\text{eff}}$) is in plaats van het aantal parameters. Deze grens is geldig voor stochastisch beleid onder Markoviaanse dynamiek.
2. Verstrengeling als een Onafhankelijke Complexiteitsas: De auteurs demonstreren dat verstrengeling een onderscheidende structurele factor is die de generalisatie controleert. Bij een gelijk aantal parameters verhoogt het verhogen van de verstrengelingsconnectiviteit $d_{\text{eff}}$ en de generalisatiekloof monotoon, zelfs als het totale aantal trainbare parameters ($d$) gelijk blijft.
3. Empirische Validatie over Domeinen: De studie bevestigt dat verstrengelde circuits slechter generaliseren dan niet-verstrengelde circuits met een identiek aantal parameters over:
   • Supervised classificatie op synthetische en real-world datasets (Iris, Breast Cancer, Wine).
   • Contextual bandits (reward-only RL).
   • Multi-step value-function regressie.
   • Echte kwanthardware (IBM Heron).

Resultaten

• Voorspellende Kracht: In een raster van 300 configuraties vertoonde de Fisher effectieve dimensie ($d_{\text{eff}}$) de sterkste Spearman-correlatie met de generalisatiekloof ($\rho = 0,82$), waarmee het de ruwe parametercount ($\rho = 0,45$) en geleerde parameternormen ($\rho = 0,73$) overtrof.
• Generalisatiekloof: Voor vaste parametercounts (bijv. $d=16$), volgde de generalisatiekloof de ordening: Geen < Lineair < Volledig. Bijvoorbeeld, in supervised classificatie met $N=64$, had het "Volledig" verstrengelde circuit een kloof van 0,104, terwijl het "Geen" circuit een kloof van -0,01 had (effectief nul).
• Ranking Certificaat: Hoewel de absolute numerieke grens ruim is (binnen $\approx 2,3\text{--}4,5\times$ van de werkelijke kloof), dient het als een robuust ranking certificaat. Het ordent circuits van gelijke grootte correct, een capaciteit die bounds gebaseerd op parameter-telling volledig missen.
• Readout Afhankelijkheid: Het mechanisme is "readout-gated". Het vervangen van een lokale readout ($\langle Z_0 \rangle$) door een globale readout ($\frac{1}{n}\sum \langle Z_i \rangle$) activeert parameters in niet-verstrengelde circuits, waardoor $d_{\text{eff}}$ en de kloof stijgen, en daarmee het verstrengelingscontrast bij kleine qubit-aantallen absorbeert. Dit bevestigt dat de kloof wordt gedreven door het aantal parameters dat causaal gekoppeld is aan de readout.
• Echte Hardware: De verstrengeling-generalisatie trade-off houdt stand op de IBM Heron processor onder echte ruis, waarbij verstrengelde circuits grotere kloven vertonen dan niet-verstrengelde circuits.
• Beperkingen: Het effect is "depth-gated" (een enkele verstrengelingslaag is inert voor single-qubit readouts). In diepe circuits die barren plateaus benaderen, vlakt het Fisher-spectrum af, waardoor $d_{\text{eff}}$ en het mechanisme worden onderdrukt. In end-to-end multi-step policy learning (REINFORCE) maakt de hoge variantie in return-schattingen het moeilijk om de volledige ordening op te lossen, hoewel de trend significant blijft bij kleine steekproefomvang.

Betekenis en Claims
Het artikel herkadert het ontwerp van kwantumbeleid rond een verstrengeling–generalisatie trade-off in plaats van enkel expressiviteit. De auteurs beweren dat verstrengeling een "tweesnijdend zwaard" is: het breidt de representeerbare functieruimte uit, maar brengt een generalisatiekost met zich mee die door analyses gebaseerd op parameter-telling gemist wordt.

De primaire bijdrage is niet een volledig verklaard account van generalisatie in alle end-to-end QRL, maar een gecontroleerde studie die aantoont dat:

1. Verstrengeling fungeert als een onafhankelijke as van complexiteit.
2. De Fisher effectieve dimensie de bepalende grootheid is voor generalisatie in kwantumbeslissingsmodellen (beleid en waardefuncties).
3. Ontwerpers verstrengeling moeten "budgetteren" tegenover de $d_{\text{eff}}$ kosten, waarbij zij het meest spaarzame verstrengelingspatroon selecteren dat de noodzakelijke training-fit bereikt zonder excessieve complexiteitsinflatie.

De auteurs stellen expliciet dat hun sterkste bewijs komt uit scenario's met lage variantie (classifiers, value heads en één-stap policies), waarbij zij het artikel beschouwen als een fundamentele stap naar het begrijpen van generalisatie in kwantum RL, in plaats van een volledige oplossing voor high-variance, multi-step policy learning.