Resumo Técnico: QASM-Eval

Declaração do Problema

A computação quântica opera atualmente na era NISQ (Noisy Intermediate-Scale Quantum), onde o desempenho é fortemente limitado pelo ruído. Mitigar esses erros requer capacidades voltadas ao hardware que vão além das especificações padrão de sequências de portas. Essas capacidades incluem medição de meio de circuito e feedback clássico para Correção de Erros Quânticos (QEC), controle preciso de tempo para Desacoplamento Dinâmico (DD) e acesso a formas de onda em nível de pulso para calibração.

O OpenQASM 3 foi introduzido para expor esses recursos de nível de hardware, fornecendo uma interface de programação que vincula algoritmos à física. No entanto, apesar do avanço rápido dos Grandes Modelos de Linguagem (LLMs) na geração de código, há uma carência crítica de conjuntos de dados projetados para treinar e avaliar LLMs em programas OpenQASM 3 que utilizam esses recursos avançados e orientados ao hardware. Os recursos existentes focam ou no design de algoritmos de alto nível (ex: conjuntos de dados baseados em Qiskit) ou são limitados a circuitos estáticos de sequências de portas, falhando em cobrir a natureza dinâmica e densa em restrições do OpenQASM 3. Consequentemente, os LLMs atuais têm dificuldade em gerar código válido que adira às rigorosas restrições sintáticas e semânticas do OpenQASM 3 relativas à lógica clássica, tempo e controle de pulso.

Metodologia

Construção do Conjunto de Dados (QASM-Eval)

Os autores introduzem o QASM-Eval, o primeiro conjunto de dados abrangente projetado especificamente para treinar e avaliar LLMs no OpenQASM 3. O conjunto de dados é construído usando um pipeline híbrido envolvendo especialistas em programação quântica humana e IA, garantindo tanto diversidade quanto correção, ao mesmo tempo em que evita o vazamento de dados (data leakage).

1. Preparação de Templates: Especialistas projetam "templates de fundo" (randomizando configurações de qubits, frequências e estados iniciais) e "templates de tarefas centrais" (visando temas específicos como fluxos if/else ou operações de pulso).
2. Geração de Instâncias: Um LLM codificador (Qwen3-Coder-480B), aumentado com a documentação do OpenQASM 3, gera variantes estilísticas e estruturais das tarefas centrais. Estas são combinadas com fundos randomizados para criar programas OpenQASM 3 completos.
3. Geração de Prompts: O código da tarefa central é substituído por um comentário de linguagem natural "TODO" descrevendo a funcionalidade necessária, criando um par especificação-solução.
4. Composição do Conjunto de Dados:
   • Conjunto de Teste: 100 tarefas verificadas por especialistas.
   • Conjunto de Treinamento: 4.000 tarefas.
   • Categorias: O conjunto de dados cobre quatro categorias:
     • Lógica Clássica: Fluxo de controle, medição de meio de circuito, aritmética e conversão de tipos (type casting).
     • Escalonamento de Tempo: Inserção de atraso (delay), tipos de duração, intervalos esticáveis e alinhamento.
     • Controle de Pulso: Manipulação de forma de onda, sincronização de quadro e calibração.
     • Tarefas Complexas: Fluxos de trabalho do mundo real integrando os itens acima, como QEC, DD e calibração de crosstalk.

Estrutura de Avaliação

Para validar os programas gerados, os autores desenvolveram um verificador automático estendido que verifica:

• Sintaxe: Parsing via o parser oficial do OpenQASM 3 para garantir Árvores de Sintaxe Abstrata (AST) bem formadas.
• Estado Quântico: Usando simulação de estado vetorial (Qiskit) e simulação de nível de pulso (Qutip) para verificar a distribuição do estado quântico final contra comportamentos de referência.
• Cronograma (Schedule): Gerando uma linha do tempo virtual para verificar se as restrições de tempo (ex: alinhamento, atrasos) são atendidas.

O critério de aprovação exige o parsing sintático bem-sucedido e, dependendo do tipo de tarefa, a passagem no teste de estado, no teste de cronograma, ou em ambos.

Principais Contribuições

1. Primeiro Conjunto de Dados Focado em Hardware para OpenQASM 3: O QASM-Eval é o primeiro recurso a cobrir sistematicamente os recursos avançados do OpenQASM 3 (lógica clássica, tempo e controle de pulso) especificamente para treinamento e avaliação de LLMs.
2. Pipeline de Verificação Automatizada: Os autores estenderam toolchains existentes para suportar a verificação automática das características únicas do OpenQASM 3, incluindo tempo dinâmico e semântica de nível de pulso, alcançando uma taxa de concordância de 92% com especialistas humanos.
3. Resultados de Benchmarking e Fine-Tuning: O artigo fornece um benchmark rigoroso mostrando que modelos de última geração lutam com tarefas de OpenQASM 3, mas podem alcançar melhorias significativas através de fine-tuning direcionado.

Resultados Experimentais

Os autores avaliaram vários modelos, incluindo ChatGPT-5.2-Thinking, DeepSeek-V3 e variantes do Llama-3 (8B e 70B), usando o conjunto de teste QASM-Eval.

• Desempenho de Linha de Base (Baseline): Modelos de última geração exibem desempenho limitado. O ChatGPT-5.2-Thinking alcançou um pass@1 geral de 0.54, enquanto as bases de código aberto (Llama-70B, Llama-8B) pontuaram significativamente menos (0.27 e 0.24, respectivamente). O desempenho foi particularmente ruim em tarefas "Complexas" (0.00–0.08).
• Few-Shot Prompting: Fornecer três exemplos de contexto melhorou o desempenho, com o ChatGPT-5.2-Thinking atingindo 0.78 no total. No entanto, esta abordagem depende da capacidade do modelo de inferir padrões a partir de exemplos, em vez de conhecimento internalizado.
• Impacto do Fine-Tuning: O fine-tuning no conjunto de treinamento QASM-Eval rendeu os ganhos mais substanciais:
  • Llama-3-70B: Alcançou um pass@1 geral de 0.85, superando o ChatGPT-5.2-Thinking aumentado por few-shot (0.78).
  • Llama-3-8B: Melhorou de 0.24 para 0.52, aproximando-se do desempenho zero-shot do ChatGPT-5.2-Thinking.
  • O fine-tuning em conjuntos de dados anteriores (QCircuitBench, Agent-Q) proporcionou apenas melhorias marginais, destacando a necessidade de dados específicos para os recursos de hardware do OpenQASM 3.
• Análise de Erros: O fine-tuning reduziu principalmente erros de sintaxe (ex: atribuição de medição incorreta ou sintaxe switch inválida), que eram o modo de falha dominante para os modelos base. Embora a validade sintática tenha melhorado significamente, erros semânticos (desajustes de tempo e distribuição) permaneceram um desafio, particularmente para modelos menores.

Significância e Alegações

O artigo posiciona o QASM-Eval como um benchmark e fundação crucial para a era NISQ. Os autores afirmam que:

• Os LLMs atuais carecem do conhecimento sintático e semântico específico necessário para a programação quântica voltada ao hardware.
• O fine-tuning direcionado no QASM-Eval desbloqueia capacidades substanciais, permitindo que modelos de média escala (como o Llama-3-70B) superem o desempenho de modelos maiores assistidos por few-shot.
• O conjunto de dados e a estrutura de verificação fornecem um passo necessário para o desenvolvimento de assistentes de LLM confiáveis que possam preencher a lacuna entre a intenção algorítmica e a execução física quântica, indo além do design abstrato de circuitos para as realidades práticas de mitigação de ruído e calibração.

Os autores mantêm-se modestos quanto ao escopo, observando que as tarefas atuais focam na tradução de código impulsionada por restrições, em vez de raciocínio algorítmico de código aberto, e que a natureza sintética dos dados pode não capturar totalmente a complexidade não estruturada de bases de código quânticas do mundo real. No entanto, eles afirmam que o QASM-Eval estabelece uma linha de base vital para pesquisas futuras em engenharia de software quântico.