Architecture-Aware Reinforcement Learning for Communication-Efficient Distributed Quantum Circuit Compilation

Resumo Técnico: Aprendizado por Reforço Consciente da Arquitetura para Compilação de Circuitos Quânticos Distribuídos com Eficiência de Comunicação

Enunciado do Problema
A computação quântica distribuída oferece um caminho para escalar além dos limites físicos das Unidades de Processamento Quântico (QPUs) individuais, conectando múltiplos dispositivos. No entanto, essa arquitetura introduz um desafio de compilação complexo: as operações quânticas devem ser escalonadas não apenas de acordo com a conectividade do hardware local, mas também contra as restrições de recursos de comunicação inter-QPU, que são caros. Diferente da compilação monolítica, que foca na síntese de portas e roteamento local, a compilação distribuída deve determinar o posicionamento de qubits lógicos, o tempo das comunicações inter-QPU e o escalonamento de canais de comunicação limitados.

A dificuldade central reside no compromisso (trade-off) entre o volume de comunicação (medido pelo consumo de pares EPR) e a latência de comunicação (medida pelo makespan da comunicação). O excesso de comunicação aumenta o tempo de execução e amplifica o impacto do ruído e da geração de emaranhamento imperfeito. As abordagens existentes, incluindo algoritmos de mapeamento heurístico e estruturas de particionamento, frequentemente abordam a atribuição de qubits ou o roteamento de forma isolada. Elas têm dificuldade em otimizar conjuntamente as decisões de comunicação através de topologias dinâmicas, dependências de circuitos e restrições de capacidade de hardware, particularmente ao considerar a dinâmica estocástica de emaranhamento e a contenção de recursos.

Metodologia
Os autores propõem uma estrutura de aprendizado por reforço (RL) consciente da arquitetzaura que formula a compilação quântica distribuída como um Processo de Decisão de Markov (MDP) restrito. O sistema modela o compilador como um agente que seleciona sequencialmente "ações de comunicação ao nível do compilador" para gerenciar a disponibilidade de qubits lógicos entre as QPUs.

1. Primitivas de Comunicação: A estrutura utiliza duas ações principais:

   • Split (Divisão): Consome um par EPR para tornar um qubit lógico disponível em uma QPU adicional, permitindo operações de unidade controlada distribuídas.
   • Merge (Fusão): Remove o posicionamento distribuído redundante quando este não é mais útil, liberando recursos.
     Estas ações abstraem mecanismos físicos como teletransporte e troca de emaranhamento (entanglement swapping) sem implicar a clonagem de estados quânticos desconhecidos.

2. Modelo de Sistema e Restrições: O processo de compilação opera sob estritas restrições de hardware:

   • Limites de Recursos: Cada QPU possui capacidade finita de qubits e um número finito de canais de comunicação.
   • Modelo Temporal: Um modelo de comunicação baseado em rodadas rastreia relógios lógicos e orçamentos de canais. Se uma QPU carece de um canal disponível, seu relógio avança, introduzindo latência.
   • Viabilidade: As ações são válidas apenas se as QPUs estiverem conectadas, os canais estiverem disponíveis e as dependências de portas forem satisfeitas. Portas de dois qubits só podem ser executadas se ambos os operandos estiverem disponíveis em uma QPU comum.

3. Design da Estrutura de RL:

   • Representação de Estado: O estado do compilador é codificado como um grafo heterogêneo ($G_{obs}$). Este grafo inclui nós para QPUs, qubits lógicos e portas, conectados por arestas que representam topologia, posicionamento, dependências e disponibilidade de recursos. Esta estrutura permite que a política raciocine sobre interações complexas entre o hardware e a lógica do circuito.
   • Rede de Política: O agente utiliza uma Rede de Atenção de Grafo Relacional (R-GAT) para processar a observação do grafo e selecionar ações de divisão ou fusão viáveis.
   • Modelagem de Recompensa (Reward Shaping): Para lidar com a esparsidade de feedback em trajetórias de compilação longas, a função de recompensa é decomposta em cinco termos:
     • Recompensa de Latência: Penaliza aumentos no makespan da comunicação.
     • Penalidade de Split: Penaliza diretamente o consumo de pares EPR.
     • Recompensa de Progresso: Incentiva a execução de portas.
     • Recompensa de Lookahead (Antecipação): Recompensa ações que aumentam o número de portas imediatamente executáveis no futuro.
     • Recompensa de Conclusão: Um bônus terminal para a compilação bem-sucedida, penalizado pela latência final.
   • Treinamento: A política é otimizada usando Otimização de Política Próxima (PPO).

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

1. Formulação de MDP: Uma nova estrutura que modela o escalonamento de comunicação e o posicionamento dinâmico de qubits como um MDP restrito, lidando explicitamente com a natureza sequencial da compilação distribuída.
2. Restrições Dinâmicas: A introdução de restrições dinâmicas explícitas sobre operações de EPR ativas, impondo limites físicos de capacidade em primitivas de comunicação concorrentes (contenção de canal).
3. Estado de Grafo Heterogêneo: A construção de uma representação de estado baseada em grafos que codifica simultaneamente dependências de circuito, posicionamento de qubits e topologia de QPU, permitindo que o agente de RL capture relações estruturais.
4. Desempenho Competitivo: Demonstração de uma política que alcança desempenho de compilação comparável às heurísticas de última geração em diversos circuitos de teste.

Resultos e Avaliação
A estrutura foi avaliada através de circuitos de teste com estruturas variadas. Os resultados indicam que:

• Cargas de Trabalho Estruturadas: A política de RL iguala o desempenho de algoritmos heurísticos de última geração em cargas de trabalho estruturadas.
• Circuitos Não Estruturados: Em circuitos não estruturados, a inclusão da modelagem de recompensa por antecipação (lookahead reward shaping) produz melhorias modestas sobre as heurísticas de base.
• Escalabilidade: Embora a abordagem demonstre flexibilidade, os autores observam que a escalabilidade continua sendo um gargalo significativo para implantação prática em larga escala.

Significância e Alegações
O artigo posiciona o aprendizado por reforço como uma alternativa flexível às heurísticas manuais para a compilação quântica distribuída. Argumenta-se que, ao modelar o problema como um MDP restrito com uma representação de grafo heterogêneo, o sistema pode navegar efetivamente pelos compromissos entre o overhead de comunicação e o tempo de execução. O trabalho destaca que, embora os métodos atuais de RL possam igualar as heurísticas existentes, o campo ainda precisa superar os desafios de escalabilidade para se tornar uma solução viável para sistemas quânticos distribuídos práticos e de larga escala. Os autores não alegam ter resolvido o problema da escalabilidade, mas sim demonstrar a viabilidade da abordagem de RL como uma fundação para futuras otimizações.