Resumo Técnico: Qiskit QuantumKatas para Avaliação de LLMs

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado fortes capacidades de geração de código em programação geral e ciência de dados, sua proficiência em computação científica especializada — especificamente em computação quântica — permanece pouco explorada. A computação quântica apresenta um desafio único devido ao seu paradigma computacional não clássico, exigindo compreensão de superposição, emaranhamento e medição. As benchmarks existentes para tarefas quânticas são frequentemente limitadas em escala, carecem de estrutura pedagógica ou focam em conhecimento de múltipla escolha em vez de geração de código. Há uma necessidade de uma benchmark em grande escala e estruturada que permita uma análise detalhada da capacidade dos LLMs de gerar código quântico funcional dentro do framework mais amplamente adotado, o Qiskit.

Metodologia

Os autores introduzem o Qiskit QuantumKatas, uma benchmark que adapta o currículo estabelecido da Microsoft, QuantumKatas (originalmente em Q#), para o Qiskit. A metodologia envolve:

1. Construção do Conjunto de Dados:

   • Tradução: 350 tarefas de programação distintas foram traduzidas de Q# para Qiskit, preservando a progressão pedagógica original, desde portas básicas até algoritmos avançados.
   • Verificação: Um pipeline de avaliação determinístico foi construído utilizando simulação clássica de circuitos (AerSimulator e Statevector do Qiskit). Cada tarefa inclui um prompt em linguagem natural, uma solução canônica e uma função de teste que verifica a correção por meio de comparação de vetores de estado ou análise de resultados de medição.
   • Categorização: As tarefas estão organizadas em 26 categorias (por exemplo, BasicGates, Algoritmo de Grover, Correção de Erros Quânticos) e três níveis pedagógicos: Introdução (95 tarefas), Intermediário (132 tarefas) e Avançado (123 tarefas).

2. Estrutura de Avaliação:

   • Modelos: 16 LLMs foram avaliados, compreendendo 6 modelos de fronteira (proprietários) (por exemplo, GPT-5.5, Claude Opus 4.7) e 10 modelos de código aberto (variando de 8B a 675B parâmetros).
   • Configurações de Prompting: Cada modelo foi testado em 7 estratégias de prompting: três variantes zero-shot (padrão, mínima, detalhada), três variantes few-shot (1-shot, 3-shot, 5-shot usando exemplos de categorias introdutórias) e uma configuração de cadeia de pensamento (CoT).
   • Execução: O estudo envolveu 39.200 execuções de modelos. As soluções foram analisadas, verificadas quanto à sintaxe e executadas em subprocessos isolados com um tempo limite de 30 segundos. Os resultados Pass@1 (tentativa única) foram relatados com temperatura 0 para garantir reprodutibilidade.

Contribuições Principais

• Adaptação da Benchmark: Uma tradução completa do currículo QuantumKatas de 350 tarefas de Q# para Qiskit, tornando um recurso pedagógico comprovado acessível para avaliar o framework quântico dominante.
• Infraestrutura de Avaliação: Um pipeline de avaliação robusto e determinístico, apresentando simulação clássica para verificação, suporte a múltiplos provedores e estratégias de prompting configuráveis.
• Análise Empírica: A maior avaliação sistemática de LLMs em geração de código quântico até a data, fornecendo resultados de referência, taxonomias de erros e perfilamento de desempenho detalhado em 26 categorias.
• Lançamento Aberto: O conjunto de dados, a estrutura de avaliação e os resultados de referência foram lançados para apoiar pesquisas reprodutíveis.

Resultados

A avaliação produziu várias descobertas críticas sobre as capacidades dos LLMs em computação quântica:

1. Lacuna de Desempenho dos Modelos:

   • As taxas de aprovação na melhor configuração variaram de 32,3% (Granite 4.1 8B) a 83,1% (GPT-5.5).
   • Existe uma lacuna persistente de 26,1 pontos percentuais entre modelos de fronteira (média 75,3%) e modelos de código aberto (média 49,3%).
   • A escala do modelo não é um preditor perfeito de desempenho; por exemplo, o Mistral Large 3 com 675B parâmetros (48,6%) teve desempenho inferior ao Gemma 4 com 31B parâmetros (68,0%).

2. Efeitos da Estratégia de Prompting:

   • O prompting few-shot (especificamente 5-shot) foi a estratégia mais confiável em média (57,8% de média), superando o zero-shot e a cadeia de pensamento.
   • A Cadeia de Pensamento (CoT) exibiu um efeito bimodal: foi a melhor estratégia para três modelos (dois explicitamente ajustados para raciocínio: GPT-5.3-Codex e Gemini 3.1 Pro), mas degradou o desempenho para a maioria dos outros modelos (por exemplo, uma queda de 11,1 pontos percentuais para o Claude Sonnet 4.6). Isso sugere que a CoT não é universalmente benéfica para a geração de código quântico.

3. Dificuldade da Tarefa e Capacidades:

   • Implementação de Algoritmos vs. Codificação de Problemas: Os modelos performam bem na implementação de algoritmos conhecidos (por exemplo, Algoritmo de Simon: 82,1%, BasicGates: 81,6%), mas lutam significativamente com a codificação de problemas clássicos em primitivas quânticas (por exemplo, SolveSATWithGrover: 34,4%, DistinguishUnitaries: 40,0%).
   • Análise de Erros: O modo de falha dominante são erros de lógica (43,0%, principalmente AssertionError), onde o código é executado, mas produz estados quânticos incorretos. Isso indica que o raciocínio quântico, e não a sintaxe ou o uso de API, é o principal gargalo.
   • Raciocínio sobre Medição: Categorias envolvendo resultados de medição e seleção de base (por exemplo, Measurements, Teleportation) consistentemente mostraram taxas de aprovação mais baixas, destacando uma fraqueza específica no raciocínio sobre interfaces clássico-quânticas.

Significância

O artigo afirma que a benchmark Qiskit QuantumKatas fornece uma ferramenta rigorosa e pedagogicamente estruturada para avaliar LLMs em um domínio científico especializado. Sua significância reside em:

• Diferenciação: A benchmark diferencia efetivamente as capacidades dos modelos em um amplo espectro de desempenho, evitando efeitos de teto ou piso.
• Granularidade: A estrutura de 26 categorias permite uma análise detalhada, revelando que os LLMs conseguem traduzir estruturas algorítmicas documentadas em código mais facilmente do que podem formular novas soluções quânticas para problemas clássicos.
• Utilidade Educacional e de Desenvolvimento: Os resultados sugerem que, embora os modelos de fronteira estejam se tornando viáveis para tutoria automatizada e conclusão de código em tópicos quânticos introdutórios, eles ainda não são confiáveis para formulação de problemas avançados ou aritmética complexa.
• Direção Futura: O estudo destaca que a escalabilidade por si só pode não fechar a lacuna em domínios especializados; treinamento direcionado e capacidades de raciocínio aprimoradas são provavelmente necessárias para abordar os desafios específicos de codificação de problemas e raciocínio sobre medição.

Os autores enfatizam que a benchmark serve como base para pesquisas futuras, incluindo tarefas conscientes de ruído, algoritmos de nível de pesquisa e o desenvolvimento de dados de treinamento específicos de domínio para fechar a lacuna de desempenho entre modelos de fronteira e de código aberto.