Post-Error Correction for Quantum Annealing Processor using Reinforcement Learning

Resumo Técnico: Correção de Erros Pós-Processamento para Processadores de Recozimento Quântico usando Aprendizado por Reforço

Definição do Problema
Encontrar o estado fundamental do spin-glass de Ising é um problema fundamental de NP-difícil na física da matéria condensada, com amplas aplicações em otimização combinatória, incluindo o problema do caixeiro viajante e o enovelamento de proteínas. Embora o recozimento quântico (QA) seja um paradigma adequado para resolver problemas de Otimização Binária Quadrática Não Restrita (QUBO), os dispositivos comercialmente disponíveis (especificamente o D-Wave 2000Q) sofrem de erros inerentes. Estes incluem ruído térmico causando decoerência e erros de controle de programação nos coeficientes de acoplamento ($J_{i,j}$) e vieses ($h_i$). Consequentemente, o QA frequentemente falha em encontrar os verdadeiros estados fundamentais de baixa energia, necessitando de um esquema de correção de erro de pós-processamento para reduzir a energia dos estados gerados pelo recededor.

Metodologia
Os autores propõem uma estrutura de pós-processamento chamada Simulated Annealing with Reinforcement (SAwR). Esta abordagem combina aprendizado por reforço profundo (RL) com o recozimento simulado clássico (SA) para corrigir erros nos outputs de QA sem exigir o overhead de múltiplos qubits físicos por qubit lógico (ao contrário da correção de erro quântica tradicional).

1. Formulação de Aprendizado por Reforço:

   • Estado ($s$): Representa a instância de Ising, incluindo a configuração de spin $\sigma$, forças de acoplamento $\{J_{i,j}\}$ e campos magnéticos externos $\{h_i\}$.
   • Ação ($a$): Inverter um único spin $i$ (alterando $\sigma_i$ de $+1$ para $-1$ ou vice-versa). Cada spin pode ser invertido no máximo uma vez por episódio.
   • Recompensa ($r$): A mudança na energia ($\Delta E$) resultante da inversão do spin.
   • Objetivo: O agente aprende uma política para maximizar o retorno esperado, efetivamente aprendendo uma estratégia para inverter spins sequencialmente para alcançar um estado de menor energia.

2. Arquitetura do Modelo (inspirada no DIRAC):
   O sistema utiliza uma Rede Neural de Grafos (GNN) baseada na arquitetura DIRAC para codificar a instância de Ising.

   • Codificação: A instância de Ising é tratada como um grafo onde os acoplamentos são pesos de arestas e os spins/vieses são pesos de nós. Uma Rede Neural de Spin Glass (SGNN) modificada realiza a passagem de mensagens via atualizações centradas em arestas e em nós para gerar embeddings vetoriais de baixa dimensão para cada nó (spin) e para o estado global.
   • Decodificação: Uma rede neural feed-forward recebe a concatenação do embedding do estado e um embedding de ação específico (nó) para produzir um valor Q, estimando a recompensa futura esperada para a inversão daquele spin específico.

3. O Procedimento SAwR:
   O algoritmo começa com o Recozimento Simulado padrão. À medida que a temperatura diminui, o critério de Metropolis-Hastings (que aceita probabilisticamente movimentos que aumentam a energia) é substituído por uma única passagem do agente de RL treinado. O agente seleciona os spins para inverter baseando-se nos maiores valores Q, registrando o estado de energia após cada etapa. A solução final é definida como o estado de menor energia encontrado durante este procedimento.

Principais Contribuições

• Esquema de Pós-Processamento Inovador: Introdução do SAwR, que integra aprendizado por reforço profundo com recozimento simulado para corrigir erros de QA.
• Escalabilidade: O método demonstra excelente escalabilidade. O modelo é treinado em pequenas instâncias Chimera (especificamente $C_3$, 72 spins) e é implementado com sucesso em instâncias significativamente maiores ($C_{16}$, 2048 spins) sem necessidade de retreinamento, aproveitando as capacidades de codificação de nível de grafo da GNN.
• Adaptação de Arquitetura: Adaptação da arquitetura DIRAC para as restrições específicas e a topologia do grafo Chimera do D-Wave 2000Q.

Resultados Experimentais
Os autores avaliaram o SAwR contra o Recozimento Simulado padrão e um procedimento de inversão de spin de passagem única (o modelo de RL atuando sozinho) em 500 instâncias aleatórias de Ising através de quatro tamanhos de Chimera ($C_4$ a $C_{16}$).

• Probabilidade de Sucesso: O SAwR mostrou uma probabilidade ligeiramente menor de encontrar um estado de menor energia comparado ao Recozimento Simulado padrão. Esta diferença foi consistente em todos os tamanhos de sistema, sugerindo uma variância sistêmica em vez de aleatória.
• Magnitude de Melhoria: Em média, o SAwR foi capaz de encontrar um estado de baixa energia melhor do que o SA padrão, embora a diferença não tenha sido estatisticamente significativa.
• Desempenho de Passagem Única: O agente de RL autônomo (passagem única de inversão de spin) teve um desempenho insatisfatório, alcançando apenas aproximadamente 1% de taxa de sucesso, destacando a necessidade de combinar o RL com as capacidades de busca mais amplas do Recozimento Simulado.

Significância e Alegações
O artigo posiciona o SAwR como uma "prova de conceito" demonstrando que o aprendizado por reforço pode ser aplicado para corrigir erros em saídas de recededores quânticos. Os autores reconhecem explicitamente que o desempenho do SAwR no grafo Chimera é atualmente inferior a algoritmos típicos como o Recozimento Simulado padrão.

A significância não reside no desempenho imediato superior, mas na demonstração de escalabilidade e da viabilidade de usar RL para correção de erro pós-processamento. Os autores observam que a complexidade do grafo Chimera do mundo real (comparado às redes regulares usadas em estudos anteriores do DIRAC) provavelmente contribui para a lacuna de desempenho. Eles concluem que, embora os resultados atuais sejam modestos, o uso de aprendizado por reforço para correção de erro pós-processamento permanece uma "via de pesquisa aberta e promissora", particularmente à medida que os sistemas D-Wave evoluem para topologias mais complexas como Pegasus e Zephyr. Sugere-se que trabalhos futuros explorem mudanças arquiteturais (por exemplo, separação do treinamento de encoder e decoder) e algoritmos de RL alternativos (por exemplo, métodos assíncronos ou Busca de Árvore de Monte Carlo).