Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

Sintesi Tecnica: L'Entanglement come Asse di Complessità Strutturale nelle Politiche Quantistiche

Definizione del Probleo
I circuiti quantistici parametrizzati (PQC) sono sempre più impiegati come politiche e funzioni di valore nel Quantum Reinforcement Learning (QRL). Tuttavia, il campo rimane prevalentemente empirico, con valutazioni che riportano tipicamente solo il rendimento medio. Ciò lascia un vuoto teorico critico: non esiste una comprensione rigorosa di quando e perché una politica quantistica generalizza. I modelli di generalizzazione esistenti per i modelli quantistici spesso si basano sul numero di parametri o sul numero di gate, i quali non riescono a catturare le sfumature strutturali dell'entanglement. Inoltre, nessuna analisi PAC-bayesiana precedente ha isolato l'entanglement come fattore determinante della complessità per le politiche quantistiche.

Metodologia
Gli autori propongono un framework PAC-bayesiano per derivare un limite di generalizzazione per le politiche quantistiche stocastiche. L'innovazione metodologica centrale è lo spostamento della metrica di complessità dal numero grezzo di parametri ($d$) alla dimensione effettiva ($d_{\text{eff}}$) della geometria di Fisher indotta dal circuito.

1. Derivazione del Limite PAC-Bayes:

   • Gli autori definiscono una politica stocastica $\pi_Q$ tramite una distribuzione posteriore Gaussiana $Q = \mathcal{N}(\theta, \Sigma)$ sui parametri del circuito, centrata sull'inizializzazione $\theta_0$.
   • A differenza dei classici limiti isotropi, la covarianza della distribuzione posteriore $\Sigma$ è modellata dalla Matrice di Informazione di Fisher (FIM), $\hat{F}(\theta)$, che cattura la curvatura locale del paesaggio di perdita (loss landscape).
   • Il limite risultante (Teorema 2) include un termine di complessità composto dalla distanza dalla distribuzione a priori e dalla dimensione effettiva di Fisher:
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     dove $\lambda_i$ sono gli autovalori della FIM.

2. Il Meccanismo dell'Entanglement:

   • Il documento postula che per le letture a singolo osservabile (standard nel QRL), il rango della FIM è determinato dalle dimensioni del cono di luce posteriore (backward light-cone) dell'osservabile di lettura.
   • La Proposizione 1 stabilisce che l'aggiunta di gate di entanglement espande questo cono di luce, aumentando di conseguenza il rango della FIM e gonfiando $d_{\text{eff}}$, anche quando il numero totale di parametri addestrabili ($d$) rimane fisso.

3. Design Sperimentale:

   • Per isolare l'entanglement dal numero di parametri, gli autori utilizzano un layout di ansatz fisso (strati di rotazioni $R_Y$ e $R_Z$) e variano esclusivamente la connettività dell'entanglement: Nessuna (senza CNOT), Lineare (catena di CNOT) e Completa (tutti-a-tutti CNOT).
   • Gli esperimenti spaziano dalla classificazione supervisionata (4–16 qubit) a un bandit contestuale basato solo sul reward (RL a un singolo step), fino alla generalizzazione di funzioni di valore multi-step.
   • I controlli includono accuratezza di addestramento corrispondente, osservabili di lettura alternative, ottimizzatori differenti ed esecuzione su hardware reale IBM Heron.

Contributi Chiave

1. Un Limite PAC-Bayes per le Politiche Quantistiche: Il documento deriva un limite di generalizzazione in cui il termine di complessità è la dimensione effettiva di Fisher ($d_{\text{eff}}$) anziché il numero di parametri. Questo limite è valido per politiche stocastiche sotto dinamiche markoviane.
2. L'Entanglement come Asse di Complessità Indipendente: Gli autori dimostrano che l'entanglement è un fattore strutturale distinto che controlla la generalizzazione. A parità di numero di parametri, l'aumento della connettività dell'entanglement aumenta monotonicamente $d_{\text{eff}}$ e il gap di generalizzazione.
3. Validazione Empirica in Diversi Domini: Lo studio conferma che i circuiti entangled generalizzano peggio dei circuiti non entangled di identico numero di parametri in:
   • Classificazione supervisionata su dataset sintetici e reali (Iris, Breast Cancer, Wine).
   • Bandit contestuali (RL con reward-only).
   • Regressione di funzioni di valore multi-step.
   • Hardware quantistico reale (IBM Heron).

Risultati

• Potere Predittivo: In una griglia di 300 configurazioni, la dimensione effettiva di Fisher ($d_{\text{eff}}$) ha mostrato la più forte correlazione di Spearman con il gap di generalizzazione ($\rho = 0.82$), superando il numero grezzo di parametri ($\rho = 0.45$) e le norme dei parametri appresi ($\rho = 0.73$).
• Gap di Generalizzazione: Per numeri fissi di parametri (es. $d=16$), il gap di generalizzazione segue l'ordine: Nessuna < Lineare < Completa. Ad esempio, nella classificazione supervisionata con $N=64$, il circuito con entanglement "Completo" aveva un gap di 0.104, mentre il circuito "Nessuna" aveva un gap di -0.01 (effettivamente zero).
• Certificato di Ranking: Sebbene il valore numerico assoluto del limite sia impreciso (entro $\approx 2.3\text{--}4.5\times$ del gap reale), esso funge da robusto certificato di ranking. Esso ordina correttamente i circuiti di dimensioni identiche, una capacità che i limiti basati sul conteggio dei parametri mancano totalmente.
• Dipendenza dalla Lettura (Readout): Il meccanismo è "regolato dalla lettura" (readout-gated). Sostituendo una lettura locale ($\langle Z_0 \rangle$) con una lettura globale ($\frac{1}{n}\sum \langle Z_i \rangle$), si attivano i parametri nei circuiti non entangled, aumentando il loro $d_{\text{eff}}$ e il gap, assorbendo così il contrasto dell'entanglement a piccoli numeri di qubit. Ciò conferma che il gap è guidato dal numero di parametri causalmente accoppiati alla lettura.
• Hardware Reale: Il trade-off tra entanglement e generalizzazione persiste sul processore IBM Heron sotto rumore reale, con i circuiti entangled che mostrano gap maggiori rispetto a quelli non entangled.
• Limitazioni: L'effetto è regolato dalla profondità (un singolo strato di entanglement è inerte per letture a singolo qubit). Nei circuiti profondi che si avvicinano ai barren plateaus, lo spettro di Fisher si appiattisce, sopprimendo $d_{\text{eff}}$ e il meccanismo. Nell'apprendimento di policy end-to-end multi-step (REINFORCE), l'alta varianza nelle stime del rendimento rende difficile risolvere l'ordinamento completo, sebbene il trend rimanga significativo con campioni di piccole dimensioni.

Significato e Rivendicazioni
Il documento inquadra il design delle politiche quantistiche attorno a un trade-off tra entanglement e generalizzazione piuttosto che sulla sola espressività. Gli autori sostengono che l'entanglement sia una "lama a doppio taglio": espande lo spazio delle funzioni rappresentabili ma comporta un costo di generalizzazione che le analisi basate sul conteggio dei parametri non colgono.

Il contributo primario non è una spiegazione risolutiva della generalizzazione in ogni caso di QRL end-to-end, ma uno studio controllato che dimostra che:

1. L'entanglement agisce come un asse indipendente di complessità.
2. La dimensione effettiva di Fisher è la quantità che governa la generalizzazione nei modelli decisionali quantistici (politiche e funzioni di valore).
3. I progettisti dovrebbero "budgetizzare" l'entanglement rispetto al suo costo in $d_{\text{eff}}$, selezionando il pattern di entanglement più sparso che raggiunga la necessaria aderenza dell'addestramento senza un eccessivo aumento della complessità.

Gli autori dichiarano esplicitamente che la loro prova più forte deriva da contesti a bassa varianza (classificatori, teste di valore e politiche a singolo step), trattando il lavoro come un passo fondamentale verso la comprensione della generalizzazione nel RL quantistico piuttosto che come una soluzione completa per l'apprendimento di policy multi-step ad alta varianza.