Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

Definição do Problema

Problemas de otimização combinatória (CO), como o Problema do Caixeiro Viajante (TSP), são centrais para a logística e o design de redes, mas são NP-difíceis, tornando as soluções exatas intratáveis para entradas grandes. Embora o Aprendizado por Reforço (RL) e o Aprendizado por Reforço Quântico (QRL) ofereçam estratégias heurísticas, um grande gargalo de escalabilidade permanece: a maioria dos métodos de QRL exige o retreinamento do zero para cada novo caso de problema ou tamanho.

Este artigo investiga se os Circuitos Quânticos Equivariantes (EQCs) — que codificam a simetria de permutação para garantir que as contagens de parâmetros permaneçam independentes do tamanho do problema — podem facilitar a transferência zero-shot entre tamanhos (cross-size transfer). Especificamente, os autores questionam se os parâmetros $\theta_n$ treinados em instâncias de TSP de $n$ cidades pequenas podem ser diretamente transferidos para instâncias de $m$ cidades maiores ($m > n$) sem retreinamento, e se essa transferência sobrevive à execução realista em hardware quântico.

Metodologia

Os autores empregam um pipeline de avaliação de cinco estágios com protocolos correspondentes para isolar os efeitos das aproximações de simulação, ruído e amostragem de disparos finitos (finite-shot sampling) do comportamento genuíno de transferência. O estudo utiliza a arquitetura EQC de Skolik et al. [11] (profundidade $L=1$, dois escalares treináveis $\beta, \gamma$) aplicada a instâncias de TSP euclidiano.

O pipeline progride através de:

1. Estágio Base: Seleção de uma receita de treinamento estável (redimensionamento de observação congelado, reporte do melhor checkpoint) em uma trilha de validação de 12 nós.
2. N1 (Políticas de Origem): Treinamento do zero em $n \in \{5, 10, 15, 20\}$ cidades usando simulação de estado vetor exato.
3. N2 (Transferência Exata): Avaliação de transferência zero-shot e ajuste fino (fine-tuning) entre tamanhos (ex: $5 \to 10$, $10 \to 15$) usando simulação de estado vetor exata.
4. N3 (Fronteira de Escalonamento): Extensão para tamanhos maiores ($n$ até 100) usando simulação de Matrix Product State (MPS), MPS ruidoso (modelo de ruído IBM) e varreduras de alta dimensão de ligação (high-bond-dimension sweeps) para caracterizar os limites de fidelidade da simulação.
5. N4 (Execução em Hardware): Execução das mesmas políticas transferidas em hardware de íons aprisionados Quantinuum (H2-2, Helios-1) e emuladores, seguido por uma campanha cross-platform através de cinco dispositivos (Quantinuum, IBM, Rigetti, IQM) abrangendo duas tecnologias de qubits e quatro fornecedores.

Estrutura Teórica

O artigo deriva um limite de diagnóstico condicional de transferência para o desempenho esperado $P_m(\theta^*_n)$ em um tamanho alvo $m$, dado o treinamento de origem no tamanho $n$. O limite decompõe a queda de desempenho em:

• Generalização de Origem: Um termo $G^{roll}_n(\delta)$ que controla a lacuna entre o desempenho empírico e o desempenho real de origem.
• Penalidade de Transferência ($D_{n \to m}$): Uma soma de:
  • Desajuste Paramétrico: Escala linearmente com a norma $\ell_1$ do parâmetro e o salto relativo de tamanho $(m-n)/m$.
  • Suavidade Estrutural: Um termo $\Psi(n, m)$ (modelado como $\sqrt{m} - \sqrt{n}$ baseado na escala de Beardwood–Halton–Hammersley) que representa a suavidade da política através de tamanhos de grafo.

Os autores explicitamente observam que este limite é diagnóstico e de pior caso, destinado a identificar estruturas de escalonamento em vez de prever lacunas numéricas com alta precisidade. Eles também esclarecem que a arquitetura EQC específica estudada (Modelo B) é classicamente simulável via métodos algébricos de Lie (Modelo A), e utilizam essa simulabilidade como um "instrumento de medição" (verdade fundamental/ground truth) em vez de reivindicar vantagem quântica.

Principais Resultados

1. Transferência Validada no Regime

Dentro de um regime validado (pequenos saltos de tamanho, ex: $5 \to 10$), a transferência zero-shot supera o treinamento do tamanho alvo em todas as seis avaliações concluídas. A transferência $5 \to 10$ alcançou um gap de otimalidade médio de 5,07%, superando a linha de base treinada do zero. Isso sugere que os EQCs codificam insights estruturais que generalizam através de escalas quando o salto de tamanho é moderado.

2. Três Barreiras Independentes ao Escalonamento

Além do regime validado, três barreiras distintas impedem que a arquitetura densa e all-to-all do EQC escale:

• Barreira B1: Perda de Sinal Induzida pelo Backend (Simulação/Truncamento)

  • Observação: Na simulação MPS, uma dimensão de ligação $\chi=64$ (padrão para muitos estudos) causa uma falha catastrófica para $n=20$ (gap médio de 85,22%), mesmo para transferência de mesmo tamanho.
  • Causa: A estrutura de emaranhamento all-to-all gera um crescimento de emaranhamento que invalida aproximações de baixa dimensão de ligação. O erro de truncamento excede a magnitude do sinal ($\langle Z_i Z_j \rangle$), corrompendo o ranking de ação gulosa (greedy action ranking).
  • Limiar: A precisão confiável do nível de política requer $\chi \ge 256$, o que é computacionalmente proibitivo para $n$ grande.

• Barreira B2: Degradação de Transferência entre Tamanhos (Grandes Saltos)

  • Observação: O desempenho degrada-se de forma suave, mas substancial, conforme o salto de tamanho $|m-n|$ aumenta (ex: o gap de $5 \to 20$ sobe para ~12–18%).
  • Causa: Isso se alinha ao limite de transferência teórico, impulsionado pelo desajuste paramétrico e mudanças estruturais. Embora o ajuste fino possa recuperar parte do desempenho (ex: o gap de $15 \to 20$ cai de 13,9% para 10,6% com ajuste fino), a transferência zero-shot sozinha é insuficiente para grandes saltos.

• Barreira B3: Penalidade de Execução de Disparos Finitos (Hardware)

  • Observação: No hardware, o gap infla de ~5% (statevector) para 31,3% (emulador sem ruído com 4096 shots) e 45,3% (hardware real).
  • Causa: As margens de ação (diferenças entre os valores Q candidatos) situam-se abaixo do nível de ruído de disparo ($1/\sqrt{N_s}$). Com 4096 shots, o nível de ruído é ~0,016, enquanto a margem de ação média é ~0,006. Consequentemente, as decisões gulosas tornam-se estatisticamente não resolvidas (37 de 40 decisões tinham $z < 2$).
  • Confirmação Cross-Platform: Uma campanha em cinco dispositivos (Quantinuum, IBM, Rigetti, IQM) confirmou que a penalidade é definida pela contagem nativa de portas de dois qubits e mitigação de erro, não pelo orçamento de disparos.
    • Íons aprisionados (all-to-all, 45 portas): gap de 45,3%.
    • Supercondutores (roteados, 153–172 portas, sem mitigação): 108–125% de gap (efetivamente tours aleatórios).
    • Supercondutores (mitigados, 172 portas): 67,8% de gap.
  • Conclusão: Simplesmente aumentar os disparos não resolve o problema porque a razão sinal-ruído é fundamentalmente limitada pelo viés induzido pelas portas e pelo baixo contraste por aresta da família de observáveis densos.

Significância e Alegações

Os autores explicitamente não fazem nenhuma reivindicação de vantagem quântica computacional. A arquitetura EQC estudada é classicamente simulável. Em vez disso, a significância do artigo reside em:

1. Estabelecer um Padrão Diagnóstico: Fornecer uma metodologia reproduzível e com protocolos correspondentes para avaliar a transferência entre tamanhos em QRL, desvinculando o comportamento de transferência de artefatos de simulador ou de hardware.
2. Identificar Obstruções Arquiteturais: Demonstrar que o ansatz canônico denso e all-to-all do EQC enfrenta barreiras fundamentais (B1, B2, B3) enraizadas em sua conectividade. A topologia all-to-all invalida a simulação eficiente por rede de tensores (B1), exacerba as penalidades de transferência (B2) e cria margens de ação pequenas demais para serem resolvidas no hardware atual (B3).
3. Propor um Caminho a Seguir: Os resultados motivam designs de circuitos equivariantes esparsos como o conserto arquitetural necessário para relaxar as três barreiras simultaneamente, em vez de depender apenas de aumentos no orçamento de disparos ou mitigação de erro.

O artigo conclui que, embora os EQCs ofereçam um viés indutivo promissor para transferência, sua implementação densa atual não é escalável para tamanhos industrialmente relevantes em hardwares existentes sem modificação arquitetural.