Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes

Resumo Técnico: Aprendizado por Reforço para Composição Adaptativa de Passos de Otimização de Circuitos Quânticos

Declaração do Problema
Os kits de desenvolvimento de software quântico (QSDKs) fornecem conjuntos de passagens de circuitos altamente otimizadas (por exemplo, otimização de subcircuitos de Clifford, reescrita de cálculo ZX, otimização de gadgets de Pauli). No entanto, a ordem em que esses passos são aplicados é tipicamente deixada ao usuário ou definida por sequências padrão de propósito geral. Isso apresenta dois desafios primários:

1. Barreira de Especialização: Reconhecer quando um passo específico é benéfico muitas vezes requer uma expertise excepcional na construção e otimização de circuitos.
2. Problema da Ordem de Fase: A qualidade do circuito resultante é altamente sensível à ordem de aplicação. Sequências padrão de propósito geral frequentemente perdem oportunidades de otimização específicas para circuitos individuais, enquanto o design de sequências personalizadas manualmente é demorado e propenso a erros.

Abordagens de aprendizado de máquina existentes frequentemente dependem de espaços de observação de tamanho fixo (limitando a entrada a características específicas) ou utilizam simulação clássica em representações de circuitos simplificadas, o que pode reduzir a precisão da previsão. Além disso, abordagens baseadas em busca para gerar sequências personalizadas costumam sofrer de baixa escalabilidade conforme o espaço de ação e o tamanho do circuito aumentam.

Metodologia
Os autores propõem um framework de Aprendizado por Reforço (RL) usando Otimização de Política Próxima (PPO) para treinar um agente que seleciona e aplica iterativamente uma sequência de passos de otimização adaptada a um circuito quântico específico.

• Representação em Grafo: O circuito quântico é codificado como um grafo onde os nós representam portas, entradas e saídas, e as arestas representam fios de qubits. Esta representação suporta conectividade arbitrária e tamanhos de circuito arbitrários, ao contrário das representações de tensor 3D. As características dos nós incluem tipos de portas (ZZPhase, Rz, PhasedX), parâmetros, flags de Clifford e o índice do passo aplicado mais recentemente para evitar repetição idempotente.
• Espaço de Ação: O agente seleciona de um conjunto de passos de otimização globais disponíveis no PyTKET (versão 2.9.3), incluindo:
  • KAKDecomposition (ressíntese de subcircuito de dois qubits)
  • CliffordResynthesis e CliffordSimp
  • ZXGraphlikeOptimisation
  • GreedyPauliSimp
  • ThreeQubitSquash
  • DoNothing (termina a sequência)
    Após cada passo, o circuito é rebaseado para o conjunto de portas nativas da Quantinuum.
• Arquitetura: O agente utiliza uma Rede Neural de Grafo (GNN) com camadas de Convolução de Grafo (usando operadores GINConv modificados) para processar o grafo do circuito. A rede gera logits de ação (via ator) e valores de estado (via crítico). O modelo utiliza pooling de média para lidar com tamanhos variáveis de circuito.
• Função de Recompensa: A recompensa para uma única ação é definida como a fração de portas de dois qubits removidas em relação à contagem inicial ($r_t = (n_{t-1} - n_t) / n_0$). Uma pequena penalidade é aplicada para ações que não sejam DoNothing para incentivar a eficiência.
• Treinamento: O modelo é treinado em um conjunto de dados sintéticos de mais de 400.000 circuitos (incluindo classes Random-SU4/SU8, IQP, QAOA e Clifford-mixed) com contagens de qubits variando de 3 a 7. O treinamento utiliza PPO com hiperparâmetros otimizados via Estimador de Parzen Estruturado em Árvore (Tree-structured Parzen Estimator).

Resultados Principais
O agente treinado foi avaliado em um conjunto de teste diversificado de 40.412 circuitos (dentro da distribuição) e comparado com várias sequências padrão do PyTKET (FullPeepholeOptimise, QuantinuumDefaultTwo, QuantinuumDefaultThree) e passos individuais de alto desempenho.

• Desempenho: O agente de RL alcançou uma recompensa cumulativa média (fração de portas de dois qubits removidas) de 57,7% e uma mediana de 56,7%. Isso superou a próxima melhor sequência padrão (QuantinuumDefaultTwo), que alcançou uma média de 41,8% e uma mediana de 50,0%.
• Adaptabilidade: O agente gerou com sucesso sequências personalizadas para diferentes classes de circuitos. Por exemplo, em circuitos Ordered-Clifford-SU4, o agente identificou corretamente uma sequência envolvendo CliffordSimp seguido por KAKDecomposition em 99,2% dos casos, demonstrando a capacidade de adiar recompensas imediatas para permitir otimizações subsequentes melhores.
• Generalização: O modelo generalizou-se para circuitos "fora da distribuição" maiores do que os vistos no treinamento (até 12 qubits e 450 portas de dois qubits), mantendo o desempenho comparável aos resultados dentro da distribuição. Também demonstrou eficácia em circuitos muito grandes (100 qubits).
• Eficiência vs. Busca: Quando comparado a otimizadores baseados em busca de feixe (beam-search) (que geram sequências personalizadas via busca exaustiva ou gananciosa), o modelo de RL produziu redução de portas de dois qubits comparável ou superior, mas com tempo de execução significativamente menor. Enquanto os métodos de busca escalam mal com o tamanho do espaço de ação e profundidade de busca, o tempo de inferência do modelo de RL escala apenas com a profundidade da sequência, tornando-o mais escalável.

Significância e Alegações
O artigo afirma que esta abordagem resolve a dificuldade de orquestrar manualmente os passos de otimização ao automatizar a seleção de sequências personalizadas. A significância do trabalho reside em:

1. Superioridade sobre os Padrões: Demonstrar que uma política aprendida e específica do circuito supera significativamente as sequências de propósito geral padrão na redução de contagens de portas de dois qubits (um proxy para ruído).
2. Escalabilidade: Mostrar que a seleção baseada em RL é computacionalmente mais eficiente do que os métodos baseados em busca para gerar sequências de passos personalizadas, particularmente conforme a complexidade do circuito aumenta.
3. Redução da Necessidade de Especialização: Reduzir a barreira de entrada para uma otimização de circuito eficaz, uma vez que o agente não requer especialistas humanos para determinar a ordem ideal dos passos.
4. Extensibilidade: A metodologia não está limitada aos passos específicos usados; o espaço de ação pode ser expandido para incluir passos de outras bibliotecas sem alterar a abordagem central.

Os autores observam que, embora a abordagem melhore as reescritas globais, ela permanece sujeita ao Problema da Ordem de Fase inerente às transformações globais. Eles sugerem que trabalhos futuros poderiam envolver agentes que selecionam regiões específicas do circuito para reescrita (combinando otimização global e local) e expandir os conjuntos de treinamento para incluir circuitos reais de usuários.