Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

Resumo Técnico: O Emaranhamento como um Eixo de Complexidade Estrutural em Políticas Quânticas

Definição do Problema
Circuitos quânticos parametrizados (PQCs) são cada vez mais implementados como políticas e funções de valor em Aprendizado por Reforço Quântico (QRL). No entanto, o campo permanece predominantemente empírico, com avaliações que reportam tipicamente apenas o retorno médio. Isso deixa uma lacuna teórica crítica: não há uma compreensão rigorosa de quando e por que uma política quântica generaliza. Os limites de generalização existentes para modelos quânticos frequentemente dependem da contagem de parâmetros ou de portas, o que falha em capturar as nuances estruturais do emaranhamento. Além disso, nenhuma análise PAC-bayesiana prévia isolou o emaranhamento como um fator governante de complexidade para políticas quânticas.

Metodologia
Os autores propõem uma estrutura PAC-bayesiana para derivar um limite de generalização para políticas quânticas estocásticas. A inovação metodológica central é a mudança da métrica de complexidade da contagem bruta de parâmetros ($d$) para a dimensão efetiva ($d_{\text{eff}}$) da geometria de Fisher induzida pelo circuito.

1. Derivação do Limite PAC-Bayes:

   • Os autores definem uma política estocástica $\pi_Q$ via uma posterior Gaussiana $Q = \mathcal{N}(\theta, \Sigma)$ sobre os parâmetros do circuito, centrada na inicialização $\theta_0$.
   • Diferente dos limites isotrópicos padrão, a covariância da posterior $\Sigma$ é moldada pela Matriz de Informação de Fisher (FIM), $\hat{F}(\theta)$, que captura a curvatura local do panorama de perda (loss landscape).
   • O limite resultante (Teorema 2) inclui um termo de complexidade composto pela distância à prior e pela dimensão efetiva de Fisher:
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     onde $\lambda_i$ são os autovalores da FIM.

2. O Mecanismo de Emaranhamento:

   • O artigo postula que, para leituras de observável único (padrão em QRL), o posto da FIM é determinado pelo tamanho do cone de luz retroativo do observável de leitura.
   • A Proposição 1 estabelece que a adição de portas de emaranhamento expande este cone de luz, aumentando assim o posto da FIM e inflando o $d_{\text{eff}}$, mesmo quando o número total de parâmetros treináveis ($d$) permanece fixo.

3. Desenho Experimental:

   • Para isolar o emaranhamento da contagem de parâmetros, os autores utilizam um layout de ansatz fixo (camadas de rotações $R_Y$ e $R_Z$) e variam apenas a conectividade de emaranhamento: Nenhuma (sem CNOTs), Linear (cadeia CNOT) e Total (todos-para-todos CNOTs).
   • Os experimentos abrangem classificação supervisionada (4–16 qubits), um bandit contextual de recompensa única (RL de um passo) e generalização de função de valor de múltiplos passos.
   • Os controles incluem precisão de treinamento correspondente, observáveis de leitura alternativos, diferentes otimizadores e execução em hardware real IBM Heron.

Principais Contribuições

1. Um Limite PAC-Bayes para Políticas Quânticas: O artigo deriva um limite de generalização onde o termo de complexidade é a dimensão efetiva de Fisher ($d_{\text{eff}}$) em vez da contagem de parâmetros. Este limite é válido para políticas estocásticas sob dinâmica Markoviana.
2. O Emaranhamento como um Eixo Independente de Complexidade: Os autores demonstram que o emaranhamento é um fator estrutural distinto que controla a generalização. Para um número fixo de parâmetros, o aumento da conectividade do emaranhamento aumenta monotonicamente o $d_{\text{eff}}$ e o hiato de generalização (generalization gap).
3. Validação Empírica em Diversos Domínios: O estudo confirma que circuitos emaranhados generalizam pior do que circuitos não emaranhados de mesma contagem de parâmetros em:
   • Classificação supervisionada em conjuntos de dados sintéticos e reais (Iris, Breast Cancer, Wine).
   • Bandits contextuais (RL de recompensa única).
   • Regressão de função de valor de múltiplos passos.
   • Hardware quântico real (IBM Heron).

Resultados

• Poder Preditivo: Em uma grade de 300 configurações, a dimensão efetiva de Fisher ($d_{\text{eff}}$) apresentou a correlação de Spearman mais forte com o hiato de generalização ($\rho = 0,82$), superando a contagem bruta de parâmetros ($\rho = 0,45$) e as normas de parâmetros aprendidas ($\rho = 0,73$).
• Hiato de Generalização: Para contagens de parâmetros fixas (ex: $d=16$), o hiato de generalização seguiu a ordem: Nenhum < Linear < Total. Por exemplo, na classificação supervisionada com $N=64$, o circuito totalmente emaranhado ("Full") teve um hiato de 0,104, enquanto o circuito sem emaranhamento ("None") teve um hiato de -0,01 (efetivamente zero).
• Certificado de Classificação: Embora o valor numérico absoluto do limite seja frouxo (dentro de $\approx 2,3\text{--}4,5\times$ do hiato real), ele serve como um certificado de classificação robusto. Ele ordena corretamente os circuitos de mesmo tamanho, uma capacidade que os limites de contagem de parâmetros carecem inteiramente.
• Dependência de Leitura: O mecanismo é "controlado pela leitura" (readout-gated). Substituir uma leitura local ($\langle Z_0 \rangle$) por uma leitura global ($\frac{1}{n}\sum \langle Z_i \rangle$) ativa parâmetros em circuitos não emaranhados, elevando seu $d_{\text{eff}}$ e o hiato, absorvendo assim o contraste de emaranhamento em pequenos números de qubits. Isso confirma que o hiato é impulsionado pelo número de parâmetros causalmente acoplados à leitura.
• Hardware Real: O compromisso entre emaranhamento e generalização persiste no processador IBM Heron sob ruído real, com circuitos emaranhados mostrando maiores hiatos do que os não emaranhados.
• Limitações: O efeito é controlado pela profundidade (depth-gated); uma única camada de emaranhamento é inerte para leituras de um único qubit. Em circuitos profundos que se aproximam de barren plateaus, o espectro de Fisher achata, suprimindo o $d_{\text{eff}}$ e o mecanismo. No aprendizado de política de ponta a ponta de múltiplos passos (REINFORCE), a alta variância nas estimativas de retorno torna o ordenamento completo difícil de resolver, embora a tendência permaneça significativa em amostras pequenas.

Significância e Alegações
O artigo reformula o design de políticas quânticas em torno de um compromisso entre emaranhamento e generalização, em vez de apenas expressividade. Os autores alegam que o emaranhamento é uma "faca de dois gumes": ele expande o espaço de funções representáveis, mas incorre em um custo de generalização que as análises de contagem de parâmetros ignoram.

A principal contribuição não é uma explicação resolvida para toda a generalização em QRL de ponta a ponta, mas sim um estudo controlado demonstrando que:

1. O emaranhamento atua como um eixo independente de complexidade.
2. A dimensão efetiva de Fisher é a quantidade governante para a generalização em modelos de decisão quântica (políticas e funções de valor).
3. Os designers devem "orçar" o emaranhamento contra seu custo de $d_{\text{eff}}$, selecionando o padrão de emaranhamento mais esparso que alcance o ajuste de treinamento necessário sem uma inflação excessiva de complexidade.

Os autores declaram explicitamente que sua evidência mais forte provém de configurações de baixa variância (classificadores, cabeças de valor e políticas de um passo), tratando o artigo como um passo fundamental para entender a generalização em RL quântico, em vez de uma solução completa para o aprendizado de políticas de múltiplos passos com alta variância.