Resumo Técnico: Aprendizado por Reforço para Extração de Síndromes

Definição do Problema

A correção de erros quânticos (QEC) depende da extração de síndromes para detectar e corrigir erros em qubits lógicos. Uma subtarefa crítica é determinar o cronograma de extração de síndrome ideal, que especifica a ordem das portas CNOT dentro de cada verificação de estabilizador e o tempo dessas portas.

O espaço de busca para esses cronogramas é vasto. Para um código com $m$ verificações onde cada verificação $i$ envolve $w_i$ qubits de dados, o número de ordenações possíveis de CNOT é $\prod_{i=1}^m w_i!$. Por exemplo, um código de superfície rotacionado de distância-5 possui aproximadamente $3,1 \times 10^{24}$ combinações de ordenação possíveis. Embora o comportamento ideal de uma verificação seja independente da ordem das CNOTs, em um ambiente ruidoso, a ordem dita como as falhas de ancila se propagam para os qubits de dados (criando "erros de gancho" ou hook errors). Consequentemente, diferentes cronogramas geram taxas de erro lógico (LER - Logical Error Rates) vastamente distintas.

O desafio central é um problema de busca: encontrar um cronograma que minimize a LER. Ferramentas de estado da arte anteriores enfrentam um compromisso entre qualidade da solução e escalabilidade:

• AlphaSyndrome utiliza Busca em Árvore de Monte Carlo (MCTS) para encontrar cronogramas de alta qualidade, mas escala mal para distâncias de código maiores.
• PropHunt utiliza Satisfatibilidade Máxima (MaxSAT) para escalar para códigos maiores, mas frequentemente produz cronogramas com LERs significativamente mais altas em comparação com os otimizados por MCTS ou desenhados à mão.

Além disso, avaliar cronogramas é computacionalmente caro porque erros lógicos são eventos raros. A amostragem direta de Monte Carlo requer um número inviável de shots para estimar com precisão a LER de cronogramas de alta qualidade.

Metodologia: FastSched

Os autores introduzem o FastSched, uma ferramenta que combina Aprendizado por Reforço (RL) para busca e Amostragem de Importância (IS) para avaliação para superar o compromisso entre qualidade e escalabilidade.

1. Formulação de Aprendizado por Reforço

O problema de síntese de cronograma é modelado como um Processo de Decisão de Markov (MDP):

• Estado ($s_i$): Codifica o cronograma parcial, incluindo o histórico de ordens C_NOT escolhidas para as verificações anteriores, a estrutura do código (matriz de suporte, tipos de verificação) e o índice da verificação atual.
• Ação ($a_i$): Seleciona uma ordenação CNOT específica para a verificação atual $i$. O espaço de ações é uma tabela fixa de permutações (todas as permutações para verificações pequenas; um subconjunto de 32 para as maiores).
• Recompensa: A recompensa terminal é derivada da LER estimada do cronograma completo. Para incentivar a exploração, uma bonificação de exploração baseada no inverso da raiz quadrada das contagens de visitas é adicionada.
• Algoritmo: Os autores utilizam Otimização de Política Próxima (PPO) com uma arquitetura ator-crítico. O ator propõe ordens de portas, e o crítico prevê o valor do estado. A Estimativa de Vantagem Generalizada (GAE) é usada para atribuir crédito às decisões de ordem de porta anteriores com base na LER final.

2. Amostragem de Importância para Avaliação

Para lidar com a raridade das falhas lógicas, o FastSched emprega Amostragem de Importância durante a fase de avaliação:

• Amplificação: Em vez de amostrar erros sob o modelo de ruído alvo $P$, o sistema amostra sob uma distribuição amplificada $Q$, onde as probabilidades de erro são aumentadas (limitadas a 0,45) para tornar as falhas lógicas mais frequentes.
• Ponderação: Cada falha amostrada é ponderada pela razão de verossimilhança $W(x) = P(x)/Q(x)$ para fornecer um estimador não enviesado da LER sob o modelo de ruído original $P$.
• Não enviesamento: O artigo prova que, para um orçamento de amostragem fixo, este estimador é não enviesado.
• Parada Adaptativa: O sistema utiliza o Tamanho de Amostra Efetivo (ESS) das contribuições de falha para determinar quando interromper a amostragem de um cronograma candidato, equilibrando o ganho de informação com o custo computacional.

3. Seleção e Refinamento Pós-Treinamento

Após o treinamento, o sistema seleciona um cronograma final através de um processo de múltiplos estágios:

1. Pool de Candidatos: O processo de treinamento mantém um pool de até 300 cronogramas distintos com suas LERs estimadas.
2. Reavaliação: Uma lista curta de candidatos é reavaliada com orçamentos de amostragem maiores (e potencialmente diferentes fatores de amplificação) para distinguir os melhores desempenhos.
3. Melhoria Local: Uma fase opcional de busca local testa mudanças na ordem CNOT de verificações individuais nos melhores candidatos. As mudanças são aceitas se a melhoria estimada na LER exceder um limiar de erro padrão combinado.

Principais Contribuições

1. Formulação de RL: Uma abordagem de RL inovadora para síntese de cronograma que aprende políticas de ordem de portas para minimizar a LML, superando métodos anteriores de estado da arte.
2. Avaliador de Amostragem de Importância: Um avaliador de cronogramas baseado em amostragem de importância e orçamentos de amostragem crescentes, que reduz significativamente o custo computacional de avaliar erros lógicos raros.
3. Garantia Teórica: Uma prova de que o estimador de amostragem de importância é não enviesado sob um orçamento de amostragem fixo.

Resultados

Os autores avaliaram o FastSched contra o AlphaSyndrome e o PropHunt em vários códigos quânticos (códigos de superfície, códigos de cor, códigos hiperbólicos e códigos LDPC) usando o modelo de ruído Brisbane.

• Reduções Médias:
  • Comparado ao AlphaSyмndrome: O FastSched reduziu a LER em média 25,9% em 11 circuitos.
  • Comparado ao PropHunt: O FastSched reduziu a LER em média 71,7% em 8 circuitos.
• Escalabilidade (Distância 15): Para um código de superfície rotacionado com distância $d=15$, o FastSched alcançou uma redução de 97,8% na LER em comparação com o AlphaSyndrome.
  • LER do FastSched: $3,62 \times 10^{-9}$
  • LER do AlphaSyndrome: $1,68 \times 10^{-7}$
• Escalabilidade (Tempo de Busca): Sob limites de tempo iguais (10–30 minutos), o FastSched consistentemente encontrou cronogramas com LERs menores que o AlphaSyndrome em distâncias de $d=3$ a $d=15$. Em contraste, as buscas do PropHunt frequentemente não retornaram cronogramas otimizados dentro dos limites de tempo para distâncias maiores.
• Regime de Baixo Ruído: À medida que as taxas de erro físico diminuíam, a vantagem do FastSched crescia. Para um código de superfície em $d=5$ com ruído físico reduzido para 1/32 do valor base, a LER do FastSched foi 391,3 vezes menor que a do AlphaSyndrome.

Significância e Alegações

O artigo afirma que o FastSched aborda com sucesso o problema de síntese de cronograma sem forçar um compromisso entre qualidade da solução e escalabilidade. Ao combinar RL para busca eficiente e amostragem de importância para avaliação eficiente, a ferramenta pode explorar o vasto espaço de ordenações CNOT para encontrar cronogramas que superam significativamente tanto os métodos manuais quanto os métodos automatizados anteriores.

Os autores enfatizam que a chave para esse sucesso é tornar as falhas lógicas raras úteis para o aprendizado. A amplificação de ruído permite que o agente de RL receba sinais de feedback frequentes durante o treinamento, enquanto os pesos de importância garantem que esses sinais reflitam com precisão o desempenho no nível de ruído alvo (baixo). Os resultados sugerem que combinar RL com amostragem de importância é uma estratégia viável e superior para o agendamento de extração de síndrome, particularmente conforme os códigos quânticos escalam para maiores distâncias e menores taxas de erro físico.