Resumo Técnico: RubriQ – Otimização de Política Relativa de Grupo Guiada por Rubrica para Síntese de Circuitos Quânticos Consciente de Restrições

1. Declaração do Problema

A síntese de circuitos quânticos tolerantes a falhas (FTQC) que sejam simultaneamente algoritmicamente corretos e compatíveis com o hardware representa um gargalo crítico na computação quântica escalável. Os principais desafios incluem:

• Sobrecarga de Recursos: Na FTQC, operações não-Clifford (especificamente portas T) exigem destilação de estados mágicos, consumindo ordens de magnitude mais recursos físicos do que portas Clifford. Minimizar a contagem de portas T é essencial para reduzir a sobrecarga de destilação e a complexidade de agendamento.
• Restrições de Hardware: Dispositivos de curto prazo impõem restrições topológicas e de portas nativas rigorosas (ex: a conectividade heavy-hex da IBM vs. a conectividade all-to-all da IonQ), exigindo que os circuitos sejam transpilados de forma eficiente para evitar excessiva sobrecarga de SWAP.
• Limitações dos Métodos Existentes:
  • Compiladores Heurísticos (ex: Qiskit, TKET) baseiam-se em regras de reescrita estáticas e carecem da capacidade generativa para descobrir novas simplificações algébricas.
  • Abordagens de Aprendizado por Reforço (RL) Padrão frequentemente sofrem com recompensas terminais esparsas, levando a gradientes de alta variância e exploração deficiente. Elas tipicamente operam em espaços de ação estreitos (inserção/deleção de portas) em vez de gerar circuitos do zero.
  • Críticos Neurais: Treinar redes críticas de bilhões de parâmetros para RL introduz severos gargalos de memória e comunicação em ambientes de computação de alto desempenho (HPC).

2. Metodologia: O Framework RubriQ

O RubriQ reformula a síntese de circuitos quânticos como uma tarefa estruturada de geração de código para Grandes Modelos de Linguagem (LLMs), otimizada via Otimização de Política Relativa de Grupo (GRPO) sem um crítico de função de valor aprendido.

A. LLM-como-Sintetizador

O sistema trata a geração de código OpenQASM ou Qiskit Python como uma tarefa de geração de código condicional.

• Entrada: Prompts de linguagem natural especificando algoritmos alvo (ex: QFT, simulação de Hamiltoniano) e restrições.
• Modelo: Um LLM de código de 7 bilhões de parâmetros ajustado para instruções (Qwen2.5-Coder-7B) refinado via Low-Rank Adaptation (LoRA).
• Geração: A política amostra $N=8$ circuitos candidatos por prompt usando amostragem autorregressiva.
• Parsing: Um parser multiestratégia extrai objetos de circuito executáveis do output de texto bruto do LLM. Outputs não analisáveis são imediatamente atribuídos uma recompensa zero.

B. Mecanismo de Recompensa Guiado por Rubrica

Em vez de um crítico neural, o RubriQ emprega um mecanismo de pontuação programático e determinístico que avalia os circuitos através de cinco dimensões ortogonais. A recompensa total $R(y)$ é uma soma ponderada:
$$R(y) = w_C S_C + w_T S_T + w_H S_H + w_F S_F + w_E S_E$$

1. Fração Clifford ($S_C$): A proporção de portas que são operações Clifford (eficientes para simulação).
2. Redução de Contagem T ($S_T$): Uma função de decaimento exponencial que penaliza altas contagens de portas T, priorizando a eliminação das primeiras poucas portas T devido à natureza em lote da destilação.
3. Compatibilidade de Hardware ($S_H$): Avalia a conformidade com topologias de backend específicas (ex: IBM Heavy-Hex, IonQ All-to-All), penalizando sobrecarga de roteamento SWAP e portas não-nativas.
4. Fidelidade Funcional ($S_F$): Calcula a fidelidade de processo via produto interno de Hilbert-Schmidt entre a unitária gerada e o algoritmo alvo, garantindo a correção algorítmica.
5. Eficiência do Circuito ($S_E$): Recompensa a compacidade e a menor profundidade do circuito.

C. Ciclo de Treinamento GRPO

O RubriQ utiliza a Otimização de Política Relativa de Grupo (GRPO) para atualizar a política:

• Normalização de Grupo: Para um dado prompt, as recompensas das $N$ conclusões amostradas são normalizadas subtraindo a média do grupo e dividindo pelo desvio padrão do grupo.
• Sem Crítico: Esta abordagem elimina a necessidade de uma função de valor aprendida, baseando-se nos sinais densos e determinísticos fornecidos pela rubrica.
• Estimativa de Vantagem: A vantagem normalizada $\hat{A}_i$ impulsiona as atualizações do gradiente da política, permitindo que o modelo aprenda com feedback graduado em vez de sinais binários esparsos de sucesso/falha.

D. Arquitetura de Sistemas HPC

Para lidar com o custo computacional da simulação de fidelidade (escalando como $O(4^{n_q})$), o RubriQ é implantado no supercomputador NERSC Perlmutter:

• Hardware: Clusters NVIDIA A100 (80 GB) conectados via Slingshot-11.
• Otimização: Utiliza DeepSpeed ZeRO-2 para particionamento distribuído de gradiente e estado do otimizador.
• Simulação: Integra a simulação CUDA-Q acelerada por GPU diretamente no loop de RL para avaliação de alta vazão da fidelidade.
• Eficiência: Alcança >85% de eficiência de escalonamento forte em 8 GPUs.

3. Principais Contribuições

1. Formulação LLM-como-Sintetizador: A primeira aplicação de LLMs de escala de bilhões, ajustados para instruções, à síntese de portas em nível de portão com pós-treinamento baseado em RL, indo além de pequenos modelos transformer ou regras heurísticas.
2. Mecanismo de Recompensa de Rubrica Multi-Objetivo: Um substituto inovador para críticos neurais, consistindo em um sistema de pontuação interpretável e fundamentado no domínio que fornece recompensas densas e limitadas através das dimensões de Clifford, contagem T, hardware, fidelidade e eficiência.
3. Arquitetura de HPC Escalável: Uma implementação completa de pipeline de treinamento no NERSC Perlmutter que demonstra escalonamento forte e reduz o total de chamadas de simulação em 2–3× comparado a baselines de recompensa esparsa devido à convergência mais rápida.
4. Avaliação Validada por Hardware: Implantação bem-sucedida de circuitos sintetizados em processadores físicos IBM Heron-3 e IonQ Forte via um pipeline de transpilação automatizado.
5. Desempenho Experimental: Demonstrou desempenho superior em 1.500 circuitos de benchmark, alcançando compressão significativa de portas T e convergência mais rápida que baselines de RL existentes.

4. Resultados

• Compressão de Portas T: O RubriQ alcança uma compressão média de portas T de 3.31× através de conjuntos de dados de benchmark, superando significativamente as baselines de RL de recompensa esparsa (2.05×) e compiladores baseados em regras (Qiskit O3: ~1.4×, TKET O2: ~1.7×).
• Velocidade de Convergência: O framework converge 2–3× mais rápido que métodos de RL de recompensa esparsa, exigindo menos épocas de treinamento para atingir taxas de compressão alvo.
• Eficiência de Recursos: Devido à convergência mais rápida, o RubriQ reduz o total de horas-GPU em aproximadamente 2.6× comparado às baselines Sparse-PPO e Sparse-GRPO.
• Adesão a Restrições: O sistema mantém menos de 1% de violações de restrições de hardware e atinge alta fidelidade funcional (>99% em muitos casos).
• Validação de Hardware: Os circuitos de melhor classificação foram executados com sucesso nos hardwares IBM e IonQ, confirmando a aplicabilidade prática além da simulação.

5. Significância e Alegações

O artigo afirma que o RubriQ estabelece um novo paradigma para a descoberta científica automatizada em computação quântica ao unificar a geração de código impulsionada por LLM com o aprendizado por reforço baseado em rubrica verificável. Sua significância reside em:

• Escalabilidade: Provar que a síntese baseada em LLM pode ser escalada para ambientes de HPC para resolver a complexidade exponencial da otimização de circuitos quânticos.
• Consciência de Restrições: Abordar com sucesso os requisitos duplos de prontidão para FTQC (minimização de contagem T) e compatibilidade de hardware de curto prazo (restrições de topologia) dentro de um único framework de otimização.
• Eficiência: Demonstrar que o modelagem de recompensa programática densa é computacionalmente superior às recompensas esparsas ou críticos neurais para este domínio, permitindo o treinamento de grandes modelos em cargas de trabalho quânticas realistas.
• Praticidade: Validar que os circuitos gerados por IA não são apenas teoricamente ótimos, mas também executáveis no hardware de geração atual.

Os autores posicionam o RubriQ como um passo crítico em direção a pipelines de alto desempenho impulsionadas por computação para gerar circuitos quânticos prontos para hardware e tolerantes a falhas em escala.