Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing

Este artigo apresenta uma abordagem de aprendizado por reforço em grafos consciente de calibração para o roteamento de circuitos quânticos que, ao aproveitar dados de calibração de hardware em tempo real e otimização de política proximal, alcança uma fidelidade simulada significativamente maior do que os métodos padrão baseados em SABRE em circuitos de pequeno a médio porte, apesar de incorrer em contagens mais altas de portas de dois qubits.

O essencial

Imagine que você está tentando guiar uma equipe de motoristas de entrega (os dados quânticos) através de uma cidade massiva e caótica (o computador quântico) para entregar pacotes (realizar cálculos).

No passado, os aplicativos de navegação para essas cidades quânticas só se importavam com uma coisa: distância. Eles diziam aos motoristas: "Pegue a rota mais curta, mesmo que signifique dirigir sobre uma ponte cheia de buracos ou por uma zona de construção". A lógica era simples: menos milhas percorridas significa menos desgaste.

No entanto, este artigo argumenta que, no mundo real dos computadores quânticos, distância não é tudo. Às vezes, uma rota ligeiramente mais longa que evita uma ponte quebrada é muito melhor porque faz com que o pacote chegue ao destino em melhores condições.

Aqui está uma análise do que os pesquisadores fizeram, usando analogias simples:

O Problema: A Rota "Perfeita" vs. A Rota "Real"

Computadores quânticos são como cidades onde a qualidade das estradas (conexões entre partes do computador) está constantemente mudando. Algumas estradas são suaves e rápidas; outras são acidentadas e propensas a quebrar. Essa qualidade é chamada de "calibração".

Os antigos sistemas de navegação (como o algoritmo SABRE padrão mencionado no artigo) são como aplicativos de GPS que apenas olham para um mapa. Eles dizem: "Vá por aqui porque são 5 milhas". Eles não sabem que a estrada de 5 milhas está inundada no momento, enquanto a estrada de 6 milhas está seca.

A Solução: Um GPS "Consciente da Calibração"

Os autores criaram um novo sistema de navegação mais inteligente usando Aprendizado por Reforço em Grafos (Graph Reinforcement Learning). Pense nisso como um GPS que não apenas olha para o mapa, mas também verifica o relatório de trânsito ao vivo e a previsão do tempo para cada estrada antes de tomar uma decisão.

• O "Cérebro": Eles treinaram uma IA (usando um método chamado Otimização de Política Próxima - PPO) para atuar como o navegador.
• A Entrada: Antes de dizer aos motoristas para onde ir, a IA olha para:
  1. A lista de entregas restante (o circuito).
  2. Onde os motoristas estão estacionados atualmente (o posicionamento/placement).
  3. O relatório de saúde ao vivo de todas as estradas (os dados de calibração do chip IBM Heron r2).
• A Estratégia: A IA está disposta a pegar uma rota ligeiramente mais longa (adicionando mais operações "SWAP", que são como desvios) se isso significar evitar uma estrada que se sabe estar quebrada ou ruidosa.

O Experimento: Uma Corrida Contra o Modo Antigo

Os pesquisadores testaram seu novo navegador de IA contra dois sistemas de GPS "da velha guarda" estabelecidos:

1. SABRE-best20: O navegador padrão, focado em distância.
2. SABRE Consciente do Alvo (Target-aware): Uma versão um pouco mais inteligente que conhece o mapa, mas não utiliza os dados de tráfego ao vivo de forma tão eficaz.

Eles testaram o sistema em nove diferentes "rotas de entrega" (circuitos quânticos) de vários tamanhos (5, 8 e 10 paradas) usando dados em tempo real do hardware quântico da IBM.

Os Resultados: Qualidade sobre Quantidade

Os resultados foram uma vitória clara para a nova IA, mas com uma reviravolta:

• A Grande Vitória: Em rotas menores e médias (5 e 8 paradas), as rotas da IA foram muito mais bem-sucedidas. Os "pacotes" chegaram em condições muito melhores.
  • A Pontuação: A IA alcançou uma "fidelidade" (taxa de sucesso) de 0,727, enquanto os métodos antigos pontuaram em torno de 0,440 e 0,481. Esse é um salto enorme em qualidade.
• O Compromisso (Trade-off): Para obter essa alta qualidade, a IA deu mais passos. Ela adicionou cerca de 8 desvios extras (portas de dois qubits) e tornou a rota ligeiramente mais profunda.
  • A Lição: Dar alguns passos extras para evitar uma ponte quebrada vale a pena se isso salvar a carga.
• A Limitação: Nas rotas maiores (10 paradas), a IA não se saiu tão bem. Por quê? Porque o "mapa da cidade" que lhe foi dado tinha uma forma de árvore rígida com pouquíssimos caminhos alternativos. Quando não há desvios bons disponíveis, a IA não consegue superar o antigo GPS focado em distância.

A Conclusão

Este artigo prova que, para computadores quânticos, conhecer a saúde atual do hardware é mais importante do que apenas contar o número de passos.

Ao ensinar uma IA a olhar para o "trânsito ao vivo" (dados de calibração) e escolher rotas que evitem "pontes quebradas" (acopladores ruidosos), mesmo que essas rotas sejam ligeiramente mais longas, podemos obter resultados muito melhores. É uma mudança de perguntar "Qual é o caminho mais curto?" para perguntar "Qual é o caminho mais seguro?".

Resumo técnico

Resumo Técnico: Aprendizado por Reforço em Grafos para Roteamento de Circuitos Quânticos Consciente de Calibração

Definição do Problema
O roteamento de circuitos quânticos é uma etapa crítica de compilação para dispositivos de Escala Intermediária com Ruído (NISQ), onde circuitos lógicos devem ser mapeados para um hardware físico com conectividade esparsa. Estratégias de roteamento tradicionais frequentemente otimizam métricas de overhead padrão, como a minimização do número de operações SWAP ou da profundidade do circuito. No entanto, os autores argumentam que, em hardware calibrado, essas métias são insuficientes. Dois roteamentos com overdheads semelhantes podem atravessar acopladores físicos com taxas de erro vastamente diferentes, levando a diferenças significativas na fidelidade do estado final. Um roteiro com mais portas pode, de fato, preservar melhor o estado ideal se evitar acopladores mal calibrados. O desafio central é desenvolver uma política de roteamento que utilize dados de calibração do mesmo dia para maximizar a fidelidade do estado simulada exatamente, mesmo que isso exija a inserção de portas de dois qubits adicionais.

Metodologia
Os autores propõem um roteador de aprendizado por reforço (RL) em grafos consciente de calibração, treinado usando Otimização de Política Próxima (PPO). A abordagem modela o roteamento como um processo de tomada de decisão sequencial em um grafo de backend calibrado $G_B = (P, E, \kappa)$, onde $P$ representa qubits físicos, $E$ acopladores executáveis e $\kappa$ dados de snapshot de calibração (incluindo erro de leitura, erros de um e dois qubits, e tempos de coerência).

• Representação de Estado: O estado de observação $s_t$ inclui o circuito lógico restante, o posicionamento não-identidade atual dos qubits lógicos e o snapshot de calibração. Isso é codificado como um grafo onde os atributos dos nós capturam o erro de leitura, coerência, erro de dois qubits incidente e distância de demanda de lookahead. Os atributos das arestas incluem probabilidades de erro de dois qubits calibradas e uma máscara de ação legal.
• Arquitetura da Política: A política utiliza uma Rede Neural de Grafos (GNN) com duas camadas de passagem de mensagens para gerar embeddings de nós. Um Perceptron Multicamadas (MLP) pontua arestas de SWAP legais com base nesses embeddings e atributos de aresta, produzindo uma distribuição de probabilidade sobre SWAPs válidos via softmax mascarado.
• Protocolo de Treinamento: O agente é treinado em snapshots de calibração do IBM Heron r2 (Fez, Kingston, Marrakesh) usando nove famílias de circuitos MQT Bench (5q, 8q e 10q).
  • Função de Recompensa: Para evitar o alto custo da simulação exata de matriz de densidade durante o treinamento, os autores utilizam uma recompensa proxy de baixo custo baseada na Probabilidade de Sucesso Estimada (ESP). A função de recompensa inclui termos para redução da distância do caminho mais curto, progresso de roteamento, contagem de portas e penalidades para ações inválidas ou timeouts. Uma recompensa terminal compara a fidelidade proxy do agente contra um baseline (SABRE-best20) e penaliza o custo excessivo.
  • Avaliação: A avaliação final utiliza simulação exata de matriz de densidade com um modelo ruidoso (incluindo erros de depolarização e relaxação térmica) para calcular a fidelidade real do estado $F = \langle \psi | \rho | \psi \rangle$.
• Baselines: O método proposto é comparado contra dois baselines reproduzíveis:
  1. SABRE-best20: Um heurístico padrão que minimiza uma função de custo de contagem de dois qubits e profundidade.
  2. Target-aware SABRE: Um heurístico consciente de calibração usando informações de alvo do Qiskit e ESP para seleção.

Principais Resultados
A avaliação foi conduzida através de três snapshots de calibração e nove famílias de circuitos, totalizando 1.500 episódios pareados.

• Ganhos de Fidelidade: A política aprendida alcançou uma média agrupada de fidelidade exata de 0,727, superando significativamente o SABRE-best20 (0,440) e o target-aware SABRE (0,481). A melhoria foi estatisticamente significativa ($p < 1,5 \times 10^{-6}$).
• Trade-off de Overhead: Os ganhos de fidelidade vieram ao custo de um aumento no overhead. Os roteamentos aprendidos adicionaram uma média de +8,63 portas de dois qubits e +4,61 de profundidade em comparação ao SABRE-best20.
• Dependência do Tamanho do Circuito: O desempenho foi altamente dependente do tamanho do circuito e da flexibilidade do grafo de ação:
  • Famílias 5q e 8q: O roteador utilizou com sucesso portas adicionais para desviar o circuito de acopladores não confiáveis, resultando em melhorias substanciais de fidelidade.
  • Famílias 10q: No grafo de ação de árvore fixa usado no estudo, as famílias 10q não mostraram ganho de fidelidade; de fato, o SABRE-best20 teve um desempenho melhor. Os autores atribuem isso ao fato de a topologia de árvore fixa oferecer poucos caminhos alternativos para o agente de RL explorar efetivamente os dados de calibração.

Significância e Alegações
O artigo afirma que o roteamento aprendido consciente de calibração pode melhorar a fidelidade exata do estado além do que é alcançável por uma compilação baseada em contagem de portas, desde que o grafo de hardware ofereça caminhos alternativos suficientes. O estudo demonstra que:

1. Dados de Calibração são Críticos: Dados de calibração do mesmo dia permitem que uma política aprendida tome decisões de roteamento que priorizam a fidelidade em vez de contagens mínimas de portas.
2. Restrições do Espaço de Ação Importam: A utilidade do roteamento consciente de calibração é contingente ao fato de o grafo de ação fornecer alternativas úteis. Em topologias restritas (como a árvore fixa usada para circuitos 10q), a capacidade de escolher melhores acopladores é limitada, e heurísticas tradicionais podem permanecer superiores.
3. Limitações de Métricas: Contagem de portas e profundidade são proxies incompletos para fidelidade em hardware calibrado; roteiros com maior overhead podem gerar maior fidelidade.

Os autores concluem que, embora sua implementação específica seja promissora, trabalhos futuros exigem a avaliação de subgrafos cíclicos, circuitos não vistos (held-out) e baselines de roteadores aprendidos correspondentes. Eles enfatizam que as comparações de roteamento devem reportar a fidelidade e o contexto de calibração junto com as métricas tradicionais de overhead.