Resumo Técnico: RubriQ – Otimização de Política Relativa de Grupo Guiada por Rubrica para Síntese de Circuitos Quânticos Consciente de Restrições

1. Declaração do Problema

A transição para a computação quântica escalável é limitada pelo problema da compilação clássica: traduzir algoritmos de alto nível em sequências de portas de baixo nível que satisfaçam tanto as restrições de recursos de computação quântica tolerante a falhas (FTQC) quanto a executabilidade de hardware de curto prazo.

• Restrições FTQC: Em arquiteturas de código de superfície, operações não-Clifford (especificamente portas $T$) exigem destilação de estados mágicos dispendiosa, consumindo ordens de magnitude mais recursos físicos do que portas Clifford. Minimizar a contagem de $T$ ($T$-count) e a profundidade de $T$ ($T$-depth) é crítico para reduzir o orçamento computacional clássico e a complexidade de agendamento.
• Restrições de Curto Prazo: Dispositivos atuais de Escala Intermediária com Ruído Quântico (NISQ) (ex: topologia heavy-hex da IBM, conectividade all-to-all da IonQ) impõem limites estritos em conjuntos de portas nativas, conectividade de qubits e profundidade de circuito.
• Limitações dos Métodos Existentes: Compiladores convencionais (Qiskit, TKET) baseiam-se em regras heurísticas estáticas e carecem de capacidades generativas para descobrir novas simplificações algébricas. Abordagens anteriores de Aprendizado por Reforço (RL) frequentemente sofrem com recompensas terminais esparsas, gradientes de alta variância e espaços de ação estreitos (inserção/deleção de portas) que impedem a descoberta de circuitos estruturalmente novos. Além disso, treinar agentes de RL para síntese quântica em escala é computacionalmente proibitivo devido à complexidade $O(4^{n_q})$ da simulação de fidelidade.

2. Metodologia: O Framework RubriQ

O RubriQ reformula a síntese de circuitos quânticos como uma tarefa de geração de código de modelo de linguagem de grande escala (LLM), otimizada via Otimização de Política Relativa de Grupo (GRPO) sem um crítico de função de valor aprendido.

2.1 LLM-como-Sintetizador

O sistema trata a síntese de código OpenQASM ou Qiskit Python como uma tarefa de geração condicional.

• Modelo Base: Um LLM de 7 bilhões de parâmetros ajustado para instruções para geração de código (Qwen2.5-Coder-7B) serve como a política $\pi_\theta$.
• Eficiência de Parâmetros: O modelo é ajustado via Low-Rank Adaptation (LoRA) com rank 64, mantendo os parâmetros treináveis em aproximadamente 0,4% do total, permitindo a implantação em 4–8 GPUs NVIDIA A100.
• Geração: Para cada prompt (especificação em linguagem natural de um algoritmo), o modelo amostra $N=8$ circuitos candidatos de forma autorregressiva.

2.2 Mecanismo de Recompensa Guiado por Rubrica

Em vez de uma recompensa binária esparsa ou um crítico neural, o RubriQ emprega uma rubrica programática e multidimensional para gerar recompensas densas e determinísticas. A função de recompensa $R(y)$ é uma soma ponderada de cinco pontuações de componentes limitadas ($S_d \in [0, 1]$), controladas por uma condição de correção rígida:
$$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$$
Onde $g(c)$ é um portão (gate) rígido que define a recompensa como zero se a fidelidade média de porta $F_{avg} < 0,99$.

As cinco dimensões são:

1. Fidelidade Funcional ($S_F$): Medida via produto interno de Hilbert-Schmidt contra a unitária alvo.
2. Fração Clifford ($S_C$): A razão entre portas Clifford e o total de portas operacionais, incentivando circuitos pesados em Clifford.
3. Redução de Contagem de $T$ ($S_T$): Uma pontuação de decaimento exponencial baseada na contagem total equivalente de portas $T$ (considerando decomposições de Toffoli e rotações arbitrárias).
4. Validação de Hardware de Curto Prazo ($S_H$): Uma pontuação que avalia a compatibilidade com backends específicos (IBM Eagle/Heron, IonQ Forte/Aria), penalizando portas não-nativas e overhead de roteamento SWAP.
5. Eficiência de Circuito ($S_E$): Uma métrica de compacidade normalizada pela profundidade.

2.3 Loop de Treinamento GRPO

O framework utiliza a Otimização de Política Relativa de Grupo (GRPO), que elimina a necessidade de uma rede crítica separada.

• Estimativa de Vantagem: Para um grupo de $N$ conclusões amostradas do mesmo prompt, as vantagens $\hat{A}_i$ são computadas normalizando as recompensas dentro do grupo: $\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$.
• Escalabilidade: Esta abordagem reduz a variância das estimativas de gradiente em comparação com recompensas esparsas e evita os gargalos de memória/comunicação de manter um crítico de múltiplos bilhões de parâmetros em GPUs distribuídas.
• Integração HPC: O loop de treinamento integra a simulação acelerada por GPU via CUDA-Q diretamente no loop de RL para avaliação de alta vazão da fidelidade. O sistema é implantado no NERSC Perlmutter usando DeepSpeed ZeRO-2 para particionamento distribuído de gradiente e estado do otimizador.

3. Principais Contribuições

1. Formulação LLM-como-Sintetizador: A primeira aplicação de LLMs de bilhões de parâmetros ajustados para instruções à síntese de portas quânticas usando pós-treinamento baseado em RL, indo além de pequenos modelos transformer ou heurísticas estáticas.
2. Mecanismo de Recompensa de Rubrica Multiobjetivo: Um sistema de pontuação fundamentado no domínio que desacopla métricas de custo FTQC (Clifford+T) da validação de hardware de curto prazo, substituindo críticos neurais por rubricas interpretáveis e determinísticas.
3. Arquitetura de Sistemas HPC Escalável: Um pipeline de treinamento completo implementado no NERSC Perlmutter com eficiência de strong-scaling superior a 85% em 8 GPUs A100, utilizando DeepSpeed ZeRO-2 e CUDA-Q para gerenciar o custo computacional de simulações $O(4^{n_q})$.
4. Validação de Hardware de Curto Prazo: Um pipeline automatizado que valida os circuitos sintetizados em processadores físicos IBM Heron-3 e IonQ Forte, demonstrando executabilidade além da simulação.
5. Desempenho Empírico: Demonstrou melhorias significativas na qualidade da síntese e na velocidade de convergência em comparação com baselines de recompensa esparsa e compiladores tradicionais.

4. Resultados Experimentais

Avaliado em 1.500 circuitos de benchmark (QFT, QPE, simulação de Hamiltoniana, codificação de dados) de 2 a 8 qubits:

• Corretude: Alcançou uma taxa de passagem de corretude por dataset de pelo menos 96%.
• Compressão de Portas $T$: Atingiu uma compressão média de portas $T$ de 3,31$\times$ sobre circuitos apenas corretos, superando significativamente os baselines de RL de recompensa esparsa (2,05$\times$) e ferramentas tradicionais (TKET, Qiskit).
• Convergência: A abordagem guiada por rubrica convergiu 2–3$\times$ mais rápido que os baselines de recompensa esparsa, reduzindo o número total de épocas de treinamento necessárias.
• Violações de Restrição: Manteve menos de 1% de violações de restrições de hardware de curto prazo.
• Validação de Hardware: Implantou com sucesso os top-k circuitos em IBM Heron-3 e IonQ Forte, confirmando a capacidade do pipeline de gerar código consciente do hardware.
• Eficiência Computacional: O modelagem densa da rubrica reduziu as chamadas de simulação em 2–3$\times$ comparado a métodos de recompensa esparsa, traduzindo-se em economias significativas de horas de GPU (ex: 9,2 vs. 24,2 horas de GPU para tarefas de 8 qubits).

5. Significância e Alegações

O artigo postula que o RubriQ estabelece um novo paradigma para a síntese de circuitos quânticos automatizada ao unificar as capacidades generativas de LLM com restrições rigorosas e específicas do domínio.

• Separação de Preocupações: Ao separar explicitamente as métricas de custo FTQC da validação de hardware de curto prazo, o RubriQ aborda os requisitos conflitantes de sistemas futuros tolerantes a falhas e dispositivos NISQ atuais.
• Eliminação do Crítico: O trabalho demonstra que, para tarefas determinísticas e programaticamente computáveis como a síntese quântica, um crítico de função de valor aprendido é desnecessário; recompensas densas baseadas em rubrica combinadas com GRPO fornecem sinal suficiente para uma otimização de política eficaz.
• Pipeline Impulsionado por HPC: A pesquisa destaca a necessidade de recursos de Computação de Alto Desempenho (HPC) para treinar ferramentas quânticas baseadas em IA, fornecendo um blueprint para escalar a síntese baseada em RL para contagens maiores de qubits onde a simulação clássica se torna intratável.
• Robustez: O framework mostrou-se robusto através de diferentes famílias algorítmicas e contagens de qubits, evitando o overfitting a templates de circuitos específicos.

Os autores concluem que o RubriQ fornece um pipeline automatizado de alto desempenho para gerar circuitos conscientes do custo de código de superfície, preenchendo a lacuna entre o design de algoritmos teóricos e a execução prática de hardware.