Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

Resumen Técnico: El entrelazamiento como un eje de complejidad estructural en políticas cuánticas

Planteamiento del problema
Los circuitos cuánticos parametrizados (PQC) se despliegan cada vez más como políticas y funciones de valor en el Aprendizaje por Refuerzo Cuántico (QRL). Sin embargo, el campo sigue siendo predominantemente empírico, con evaluaciones que típicamente solo reportan el retorno promedio. Esto deja un vacío teórico crítico: no existe una comprensión rigurosa de cuándo y por qué una política cuántica generaliza. Los límites de generalización existentes para modelos cuánticos suelen depender del recuento de parámetros o de puertas, los cuales no logran capturar los matices estructurales del entrelazamiento. Además, ningún análisis previo de PAC-Bayes ha aislado el entrelazamiento como un factor gobernante de la complejidad para las políticas cuánticas.

Metodología
Los autores proponen un marco PAC-Bayesiano para derivar un límite de generalización para políticas cuánticas estocásticas. La innovación metodológica central es el cambio de la métrica de complejidad desde el número bruto de parámetros ($d$) hacia la dimensión efectiva ($d_{\text{eff}}$) de la geometría de Fisher inducida por el circuito.

1. Derivación del límite PAC-Bayes:

   • Los autores definen una política estocástica $\pi_Q$ mediante una posterior Gaussiana $Q = \mathcal{N}(\theta, \Sigma)$ sobre los parámetros del circuito, centrada en la inicialización $\theta_0$.
   • A diferencia de los límites isotrópicos estándar, la covarianza de la posterior $\Sigma$ está moldeada por la Matriz de Información de Fisher (FIM), $\hat{F}(\theta)$, que captura la curvatura local del paisaje de pérdida.
   • El límite resultante (Teorema 2) incluye un término de complejidad compuesto por la distancia a la previa y la dimensión efectiva de Fisher:
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     donde $\lambda_i$ son los autovalores de la FIM.

2. El mecanismo de entrelazamiento:

   • El artículo postula que para lecturas de un solo observable (estándar en QRL), el rango de la FIM está determinado por el tamaño del cono de luz hacia atrás del observable de lectura.
   • La Proposición 1 establece que añadir puertas de entrelazamiento expande este cono de luz, aumentando así el rango de la FIM e inflando $d_{\text{eff}}$, incluso cuando el número total de parámetros entrenables ($d$) permanece fijo.

3. Diseño experimental:

   • Para aislar el entrelazamiento del recuento de parámetros, los autores utilizan un diseño de ansatz fijo (capas de rotaciones $R_Y$ y $R_Z$) y varían únicamente la conectividad de entrelazamiento: Ninguna (sin CNOTs), Lineal (cadena de CNOTs) y Completa (todos contra todos con CNOTs).
   • Los experimentos abarcan clasificación supervisada (4–16 qubits), un bandido contextual de recompensa única (RL de un solo paso) y regresión de función de valor de múltiples pasos.
   • Los controles incluyen precisión de entrenamiento igualada, observables de lectura alternativos, optimizadores diferentes y ejecución en hardware real IBM Heron.

Contribuciones clave

1. Un límite PAC-Bayes para políticas cuánticas: El artículo deriva un límite de generalización donde el término de complejidad es la dimensión efectiva de Fisher ($d_{\text{eff}}$) en lugar del recuento de parámetros. Este límite es válido para políticas estocásticas bajo dinámica markoviana.
2. El entrelazamiento como un eje de complejidad independiente: Los autores demuestran que el entrelazamiento es un factor estructural distinto que controla la generalización. Con un recuento de parámetros fijo, aumentar la conectividad del entrelazamiento incrementa monótonamente $d_{\text{eff}}$ y la brecha de generalización.
3. Validación empírica en diversos dominios: El estudio confirma que los circuitos entrelazados generalizan peor que los circuitos no entrelazados con el mismo recuento de parámetros en:
   • Clasificación supervisada con conjuntos de datos sintéticos y reales (Iris, Breast Cancer, Wine).
   • Bandidos contextuales (RL de recompensa únicamente).
   • Regresión de función de valor de múltiples pasos.
   • Hardware cuántico real (IBM Heron).

Resultos

• Poder predictivo: En una cuadrícula de 300 configuraciones, la dimensión efectiva de Fisher ($d_{\text{eff}}$) mostró la correlación de Spearman más fuerte con la brecha de generalización ($\rho = 0.82$), superando al recuento bruto de parámetros ($\rho = 0.45$) y a las normas de los parámetros aprendidos ($\rho = 0.73$).
• Brecha de generalización: Para recuentos de parámetros fijos (ej., $d=16$), la brecha de generalización siguió el orden: Ninguna < Lineal < Completa. Por ejemplo, en clasificación supervisada con $N=64$, el circuito con entrelazamiento "Completo" tuvo una brecha de 0.104, mientras que el circuito "Sin entrelazamiento" tuvo una brecha de -0.01 (efectivamente cero).
• Certificado de clasificación: Aunque el valor numérico absoluto del límite es holgado (dentro de $\approx 2.3\text{--}4.5\times$ de la brecha real), sirve como un robusto certificado de clasificación. Ordena correctamente los circuitos de tamaño idéntico, una capacidad que los límites basados en el recuento de parámetros carecen por completo.
• Dependencia de la lectura: El mecanismo está "regulado por la lectura" (readout-gated). Reemplazar una lectura local ($\langle Z_0 \rangle$) por una lectura global ($\frac{1}{n}\sum \langle Z_i \rangle$) activa los parámetros en circuitos no entrelazados, elevando su $d_{\text{eff}}$ y su brecha, lo que absorbe el contraste del entrelazamiento en conteos de qubits pequeños. Esto confirma que la brecha es impulsada por el número de parámetros acoplados causalmente a la lectura.
• Hardware real: El compromiso entre entrelazamiento y generalización persiste en el procesador IBM Heron bajo ruido real, donde los circuitos entrelazados muestran brechas mayores que los no entrelazados.
• Limitaciones: El efecto está regulado por la profundidad (una sola capa de entrelazamiento es inerte para lecturas de un solo qubit). En circuitos profundos que se aproximan a los barren plateaus, el espectro de Fisher se aplana, suprimiendo $d_{\text{eff}}$ y el mecanismo. En el aprendizaje de políticas de extremo a extremo de múltiples pasos (REINFORCE), la alta varianza en las estimaciones de retorno hace que el ordenamiento completo sea difícil de resolver, aunque la tendencia sigue siendo significativa en muestras pequeñas.

Significancia y afirmaciones
El artículo replantea el diseño de las políticas cuánticas en torno a un compromiso entre entrelazamiento y generalización en lugar de la expresividad por sí sola. Los autores afirman que el entrelazamiento es una "espada de doble filo": expande el espacio de funciones representables pero incurre en un costo de generalización que los análisis de recuento de parámetros pasan por alto.

La contribución principal no es una explicación resuelta de la generalización en todo el QRL de extremo a extremo, sino un estudio controlado que demuestra que:

1. El entrelazamiento actúa como un eje de complejidad independiente.
2. La dimensión efectiva de Fisher es la cantidad gobernante para la generalización en modelos de decisión cuántica (políticas y funciones de valor).
3. Los diseñadores deben "presupuestar" el entrelazamiento frente a su costo de $d_{\text{eff}}$, seleccionando el patrón de entrelazamiento más disperso que logre el ajuste de entrenamiento necesario sin una inflación excesiva de la complejidad.

Los autores declaran explícitamente que su evidencia más fuerte proviene de entornos de baja varianza (clasificadores, cabezales de valor y políticas de un solo paso), tratando el artículo como un paso fundacional hacia la comprensión de la generalización en el RL cuántico, más que como una solución completa para el aprendizaje de políticas de múltiples pasos con alta varianza.