Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

Résumé Technique : L'intrication comme axe de complexité structurelle dans les politiques quantiques

Énoncé du Problème
Les circuits quantiques paramétrés (PQC) sont de plus en plus déployés en tant que politiques et fonctions de valeur dans l'apprentissage par renforcement quantique (QRL). Cependant, le domaine reste prédominamment empirique, les évaluations ne rapportant généralement que le rendement moyen. Cela laisse un vide théorique critique : il n'existe pas de compréhension rigoureuse de quand et pourquoi une politique quantique généralise. Les bornes de généralisation existantes pour les modèles quantiques reposent souvent sur le nombre de paramètres ou le nombre de portes, ce qui ne parvient pas à capturer les nuances structurelles de l'intrication. De plus, aucune analyse PAC-Bayésienne préalable n'a isolé l'intrication comme un facteur de complexité gouvernant les politiques quantiques.

Méthodologie
Les auteurs proposent un cadre PAC-Bayésien pour dériver une borne de généralisation pour les politiques quantiques stochastiques. L'innovation méthodologique centrale consiste à déplacer la métrique de complexité du nombre brut de paramètres ($d$) vers la dimension effective ($d_{\text{eff}}$) de la géométrie de Fisher induite par le circuit.

1. Dérivation de la borne PAC-Bayes :

   • Les auteurs définissent une politique stochastique $\pi_Q$ via une distribution postérieure gaussienne $Q = \mathcal{N}(\theta, \Sigma)$ sur les paramètres du circuit, centrée sur l'initialisation $\theta_0$.
   • Contrairement aux bornes isotropes standards, la covariance de la distribution postérieure $\Sigma$ est façonnée par la matrice d'information de Fisher (FIM), $\hat{F}(\theta)$, qui capture la courbure locale du paysage de perte.
   • La borne résultante (Théorème 2) inclut un terme de complexité composé de la distance à la distribution a priori et de la dimension effective de Fisher :
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     où $\lambda_i$ sont les valeurs propres de la FIM.

2. Le mécanisme d'intrication :

   • Le papier postule que pour les lectures à observable unique (standard en QRL), le rang de la FIM est déterminé par la taille du cône de lumière arrière de l'observable de lecture.
   • La Proposition 1 établit que l'ajout de portes d'intrication élargit ce cône de lumière, augmentant ainsi le rang de la FIM et gonflant $d_{\text{eff}}$, même lorsque le nombre total de paramètres entraînables ($d$) reste fixe.

3. Conception Expérimentale :

   • Pour isoler l'intrication du nombre de paramètres, les auteurs utilisent un agencement d'ansatz fixe (couches de rotations $R_Y$ et $R_Z$) et font varier uniquement la connectivité d'intrication : Aucune (pas de CNOT), Linéaire (chaîne de CNOT), et Complète (CNOT tous-vers-tous).
   • Les expériences couvrent la classification supervisée (4 à 16 qubits), un bandit contextuel basé uniquement sur la récompense (RL en une étape), et la généralisation de fonction de valeur multi-étapes.
   • Les contrôles incluent une précision d'entraînement appariée, des observables de lecture alternatives, des optimiseurs différents et l'exécution sur le matériel réel IBM Heron.

Contributions Clés

1. Une borne PAC-Bayes pour les politiques quantiques : Le papier dérive une borne de généralisation où le terme de complexité est la dimension effective de Fisher ($d_{\text{eff}}$) plutôt que le nombre de paramètres. Cette borne est valide pour les politiques stochastiques sous dynamique markovienne.
2. L'intrication comme axe de complexité indépendant : Les auteurs démontrent que l'intrication est un facteur structurel distinct contrôlant la généralisation. À nombre de paramètres fixe, l'augmentation de la connectivité d'intrication augmente de manière monotone $d_{\text{eff}}$ et l'écart de généralisation.
3. Validation Empirique à travers divers domaines : L'étude confirme que les circuits intriqués généralisent moins bien que les circuits non intriqués de même nombre de paramètres à travers :
   • La classification supervisée sur des jeux de données synthétiques et réels (Iris, Breast Cancer, Wine).
   • Les bandits contextuels (RL avec récompense uniquement).
   • La régression de fonction de valeur multi-étapes.
   • Le matériel quantique réel (IBM Heron).

Résultats

• Pouvoir Prédictif : Dans une grille de 300 configurations, la dimension effective de Fisher ($d_{\text{eff}}$) a montré la plus forte corrélation de Spearman avec l'écart de généralisation ($\rho = 0,82$), surpassant le nombre brut de paramètres ($\rho = 0,45$) et les normes de paramètres apprises ($\rho = 0,73$).
• Écart de Généralisation : Pour des nombres de paramètres fixes (ex. $d=16$), l'écart de généralisation suit l'ordre : Aucune < Linéaire < Complète. Par exemple, en classification supervisée avec $N=64$, le circuit totalement intriqué ("Full") présentait un écart de 0,104, tandis que le circuit sans intrication ("None") avait un écart de -0,01 (effectivement zéro).
• Certificat de Classement : Bien que la valeur numérique absolue de la borne soit lâche (dans un facteur d'environ $2,3\text{--}4,5\times$ de l'écart réel), elle sert de certificat de classement robuste. Elle ordonne correctement les circuits de taille identique, une capacité que les bornes basées sur le comptage de paramètres n'ont pas.
• Dépendance de la Lecture : Le mécanisme est "piloté par la lecture" (readout-gated). Remplacer une lecture locale ($\langle Z_0 \rangle$) par une lecture globale ($\frac{1}{n}\sum \langle Z_i \rangle$) active les paramètres dans les circuits non intriqués, augmentant leur $d_{\text{eff}}$ et leur écart, absorbant ainsi le contraste d'intrication pour les petits nombres de qubits. Cela confirme que l'écart est piloté par le nombre de paramètres causalement couplés à la lecture.
• Matériel Réel : Le compromis intrication-généralisation persiste sur le processeur IBM Heron sous bruit réel, les circuits intriqués montrant des écarts plus importants que les circuits non intriqués.
• Limitations : L'effet est limité par la profondeur (depth-gated) : une seule couche d'intrication est inerte pour les lectures à un qubit. Dans les circuits profonds approchant les plateaux stériles (barren plateaus), le spectre de Fisher s'aplatit, supprimant $d_{\text{eff}}$ et le mécanisme. Dans l'apprentissage de politique de bout en bout multi-étapes (REINFORCE), la haute variance des estimations de rendement rend l'ordre difficile à résoudre, bien que la tendance reste significative pour de petits échantillons.

Signification et Revendications
Le papier recadre la conception des politiques quantiques autour d'un compromis intrication–généralisation plutôt que sur la seule expressivité. Les auteurs affirment que l'intrication est une "épée à double tranchant" : elle élargit l'espace des fonctions représentables mais impose un coût de généralisation que les analyses de comptage de paramètres ignorent.

La contribution principale n'est pas un compte rendu résolu de la généralisation dans tous les cas de QRL de bout en bout, mais une étude contrôlée démontrant que :

1. L'intrication agit comme un axe de complexité indépendant.
2. La dimension effective de Fisher est la quantité directrice pour la généralisation dans les modèles de décision quantiques (politiques et fonctions de valeur).
3. Les concepteurs devraient "budgéter" l'intrication par rapport à son coût en $d_{\text{eff}}$, en sélectionnant le schéma d'intrication le plus éparse capable d'atteindre l'ajustement d'entraînement nécessaire sans inflation excessive de la complexité.

Les auteurs déclarent explicitement que leur preuve la plus forte provient des contextes à faible variance (classificateurs, têtes de valeur et politiques en une étape), traitant ce papier comme une étape fondamentale vers la compréhension de la généralisation dans le RL quantique plutôt que comme une solution complète pour l'apprentissage de politique à haute variance et multi-étapes.