A PennyLane-Centric Dataset to Enhance LLM-based Quantum Code Generation using RAG

Este artigo apresenta o PennyLang, um conjunto de dados de alta qualidade com 3.347 amostras de código quântico em PennyLane, e demonstra que sua integração em um pipeline de Geração Aumentada por Recuperação (RAG) melhora significativamente a precisão e reduz alucinações na geração de código quântico por Modelos de Linguagem de Grande Escala (LLMs).

O essencial

Imagine que você quer ensinar um cozinheiro de elite (uma Inteligência Artificial) a preparar pratos complexos de uma culinária muito específica e difícil: a Culinária Quântica.

Até hoje, existiam muitos livros de receitas e cozinheiros famosos que sabiam fazer pratos "clássicos" (programação comum) e até mesmo alguns que faziam pratos de uma marca específica chamada "Qiskit". Mas, para a marca PennyLane (que é como uma cozinha híbrida, misturando ingredientes clássicos e quânticos), faltava um livro de receitas organizado. Os cozinheiros tentavam adivinhar, mas muitas vezes erravam os ingredientes ou criavam pratos que não funcionavam.

É aqui que entra este trabalho, apresentado na conferência IJCNN 2026.

1. O Problema: O Cozinheiro Perdido

Os "Cérebros de IA" (chamados de Grandes Modelos de Linguagem ou LLMs) são incríveis. Eles podem escrever códigos, contar histórias e resolver problemas. Porém, quando pedimos para eles escreverem código para computadores quânticos usando a ferramenta PennyLane, eles tendem a alucinar. É como se o cozinheiro tentasse inventar uma receita de "sopa de elétron" usando ingredientes que não existem, porque ele nunca viu um livro de receitas confiável sobre isso.

2. A Solução: O "Livro de Receitas" PennyLang

Os autores criaram algo chamado PennyLang. Pense nele como um Livro de Receitas Definitivo e Organizado para a culinária PennyLane.

• O que tem dentro? Eles vasculharam a internet, livros técnicos e a documentação oficial para encontrar 3.347 receitas (trechos de código) reais e que funcionam.
• O toque especial: Eles não apenas colaram o código. Eles adicionaram "anotações do chef" (descrições contextuais) explicando por que aquele ingrediente foi usado e como ele funciona.
• A limpeza: Eles usaram robôs e humanos para limpar as receitas, garantindo que não houvesse ingredientes estragados (código duplicado ou errado) e que tudo estivesse no formato certo para o cozinheiro ler.

3. A Técnica Mágica: O "Sistema de Consulta Rápida" (RAG)

Agora, imagine que você tem esse livro de receitas, mas o cozinheiro (a IA) não precisa decorar tudo de cabeça. Em vez disso, quando você pede: "Faça um circuito quântico para simular uma molécula de água", o sistema faz o seguinte:

1. Consulta: O sistema olha rapidamente no PennyLang (o livro de receitas) e encontra 3 ou 4 receitas muito parecidas com o que você pediu.
2. Entrega: Ele entrega essas receitas ao cozinheiro junto com o seu pedido.
3. Resultado: O cozinheiro olha as receitas de referência e cria a sua nova receita com muito mais precisão, sem inventar ingredientes.

Isso é chamado de Geração Aumentada por Recuperação (RAG). É como dar ao cozinheiro um "Google" instantâneo com as melhores receitas do mundo antes de ele começar a cozinhar.

4. O Que Eles Descobriram? (Os Resultados)

Eles testaram vários cozinheiros (modelos de IA), desde os mais simples e gratuitos (código aberto) até os mais caros e poderosos (comerciais).

• Para os Cozinheiros Iniciantes (Modelos Open Source): A diferença foi gigantesca.

  • Sem o livro de receitas: O cozinheiro acertava apenas 8,7% das vezes.
  • Com o livro de receitas (PennyLang): O acerto saltou para 41,7%.
  • Analogia: É como transformar um aprendiz que queima a sopa em um chef que consegue fazer um banquete.

• Para os Cozinheiros de Elite (Modelos Comerciais): Eles já eram muito bons, então o livro de receitas ajudou um pouco, mas não mudou tanto o resultado. Eles já "comeram" muita coisa parecida durante o treinamento deles.

• O Segredo do Sucesso: Eles descobriram que menos é mais. Dar ao cozinheiro todas as receitas do livro de uma vez (contexto total) às vezes o confundia. Dar apenas as 75% das receitas mais relevantes funcionou melhor do que dar 100%. É como dar apenas os ingredientes exatos que você precisa, em vez de jogar o armário inteiro na mesa.

5. Por Que Isso Importa?

Antes deste trabalho, quem queria programar computadores quânticos usando PennyLane tinha que ser um gênio ou ter muita sorte. Agora, com o PennyLang:

1. Democratização: Qualquer pessoa pode usar IAs mais simples e baratas para criar códigos quânticos complexos, desde que elas consultem esse livro de receitas.
2. Precisão: Reduz o risco de criar códigos que parecem bonitos, mas não funcionam (alucinações).
3. Futuro: Eles liberaram esse livro de receitas de graça para todos. Isso significa que, no futuro, a IA vai nos ajudar a construir computadores quânticos mais rápido, resolvendo problemas de medicina, clima e criptografia que hoje são impossíveis.

Em resumo: Os autores criaram a "Bíblia" da programação quântica para uma ferramenta específica e mostraram que, quando você dá essa Bíblia para a IA ler na hora de trabalhar, ela se torna muito mais inteligente, precisa e útil, especialmente para quem está começando.

Resumo técnico

Resumo Técnico: PennyLang – Um Dataset para Geração de Código Quântico com RAG

1. O Problema

O desenvolvimento de software quântico enfrenta barreiras significativas devido à complexidade dos frameworks existentes e à escassez de dados de alta qualidade para treinar Modelos de Linguagem de Grande Escala (LLMs).

• Falta de Especialização: Enquanto frameworks como o Qiskit possuem assistentes de código e conjuntos de dados dedicados (ex: Qiskit Code Assistant), o PennyLane (um framework líder para computação quântica híbrida e aprendizado de máquina quântico) carece de ferramentas equivalentes de IA.
• Qualidade dos Dados: O código quântico existente está disperso em repositórios, fóruns e documentação, muitas vezes sem anotações contextuais necessárias para que os LLMs compreendam a relação entre operações quânticas e seus propósitos.
• Limitação de LLMs: A aplicação de LLMs na programação quântica é limitada, resultando em baixa precisão, alucinações de sintaxe e falhas na geração de circuitos funcionais, especialmente em modelos de código aberto menores.

2. Metodologia

Os autores propuseram uma abordagem sistemática para criar, refinar e avaliar um dataset específico para o PennyLane, integrando-o em um pipeline de Geração Aumentada por Recuperação (RAG).

• Criação do Dataset (PennyLang):

  • Coleta: Dados foram extraídos de três fontes principais: repositórios do GitHub (filtrando por licenças permissivas e removendo forks), dois livros didáticos de Quantum Machine Learning e a documentação oficial do PennyLane.
  • Refinamento e Limpeza: Um pipeline automatizado e manual removeu duplicatas, aplicou formatação PEP 8, eliminou arquivos gerados automaticamente e verificou a integridade do código.
  • Anotação: O uso da API GPT-4o converteu trechos de código brutos em pares de Instrução-Resposta (comentários explicativos e descrições contextuais), transformando dados não estruturados em um formato otimizado para fine-tuning e RAG.
  • Estatísticas: O dataset final contém 3.347 amostras de código quântico específico do PennyLane.

• Pipeline de Avaliação (RAG):

  • Arquitetura: Utilizou-se o framework LangChain com um banco de dados vetorial Chroma.
  • Processo: As consultas do usuário são codificadas, e exemplos relevantes são recuperados do dataset PennyLang usando Maximum Marginal Relevance (MMR).
  • Configuração: Os modelos foram testados com diferentes níveis de contexto recuperado (100%, 75%, 50% e 0% - sem RAG) para avaliar o impacto da recuperação na precisão.
  • Métrica de Sucesso: A avaliação baseou-se na corretude funcional. Os códigos gerados foram executados em notebooks (264 casos de teste x 5 tentativas por modelo). Uma solução foi considerada correta se executou sem erros e produziu o tipo de resultado esperado.

3. Principais Contribuições

1. Dataset PennyLang: O primeiro dataset de código aberto, curado e estruturado especificamente para o framework PennyLane, contendo 3.347 amostras com anotações ricas.
2. Pipeline de Refinamento Automatizado: Uma metodologia robusta para limpeza, formatação e conversão de código quântico bruto em pares instrução-resposta prontos para LLMs.
3. Framework de Avaliação RAG: Uma avaliação abrangente de sete LLMs (abertos e comerciais) demonstrando como a recuperação de contexto afeta a geração de código quântico funcional.

4. Resultados Chave

A avaliação foi realizada em modelos como Qwen 2.5 7B, LLaMa 4 Maverick, GPT-4o Mini, Claude 3.5 Sonnet, entre outros.

• Impacto em Modelos de Código Aberto:

  • O uso do RAG com o dataset PennyLang trouxe melhorias dramáticas para modelos menores.
  • Qwen 7B: A taxa de sucesso (Pass@5) saltou de 8,7% (sem RAG) para 41,7% (com contexto completo).
  • LLaMa 4: A taxa de sucesso aumentou de 78,8% para 84,8%.
  • Observação Importante: O contexto de 75% (recuperação parcial) frequentemente superou o contexto de 100%, sugerindo que a recuperação excessiva introduz ruído e redundância, enquanto uma janela de contexto focada melhora a "ancoragem" (grounding) do modelo.

• Desempenho em Modelos Comerciais:

  • Modelos proprietários de ponta (ex: Claude 3.5 Sonnet, GPT-4o Mini) já apresentavam alto desempenho sem RAG (ex: Claude 3.5 atingiu 95,07% sem recuperação).
  • A adição do dataset PennyLang trouxe benefícios marginais ou até ligeira degradação para esses modelos, indicando que seus dados de pré-treinamento já cobrem grande parte do conhecimento do PennyLane, tornando a recuperação externa menos crítica ou potencialmente ruidosa.

• RAG vs. GraphRAG:

  • Um estudo de ablação comparou o RAG padrão (Vanilla) com uma abordagem baseada em gráficos (GraphRAG). O RAG padrão superou consistentemente o GraphRAG, indicando que, para geração de código executável, a precisão dos snippets recuperados é mais importante do que a modelagem de relações complexas entre documentos.

5. Significância e Conclusão

Este trabalho preenche uma lacuna crítica no ecossistema de computação quântica ao fornecer os recursos necessários para que LLMs auxiliem efetivamente no desenvolvimento de software com PennyLane.

• Avanço para o Código Aberto: Demonstra que modelos de código aberto, quando equipados com um dataset de domínio específico e uma estratégia de RAG bem calibrada, podem atingir níveis de desempenho competitivos para tarefas quânticas complexas.
• Otimização de RAG: A descoberta de que contextos parciais (75%) superam contextos completos é um insight valioso para a engenharia de prompts em tarefas técnicas, evitando a saturação de contexto.
• Reprodutibilidade: A disponibilização pública do dataset e do framework de avaliação (via GitHub) permite que a comunidade científica reproduza os resultados e avance no desenvolvimento de ferramentas de IA assistida para a computação quântica, indo além do foco exclusivo no Qiskit.

Em suma, o PennyLang estabelece um novo padrão para a preparação de dados em programação quântica, provando que a combinação de dados de alta qualidade e recuperação contextual é essencial para viabilizar a geração automática de código quântico confiável.