Resumo Técnico: QiboAgent – Um Guia para Praticantes de Assistentes de Código Aberto em Computação Quântica

1. Definição do Problema

A manutenção e evolução de ecossistemas de software científico, particularmente na computação quântica, enfrentam desafios significográficos à medida que as bases de código escalam. Modelos de Linguagem de Grande Escala (LLMs) de propósito geral, embora proficientes na geração de código, sofrem de limitações inerentes quando aplicados a domínios especializados como o middleware Qibo. Depender exclusivamente da memória paramétrica faz com que os modelos padrão produzam frequentemente alucinações (fabricando módulos ou funções inexistentes) e careçam da profundidade de raciocínio necessária para tarefas de engenharia complexas e dependentes de estado. Além disso, modelos proprietários muitas vezes exigem recursos computacionais massivos e carecem da transparência ou customização necessária para implantações locais seguras em ambientes de pesquisa.

2. Metodologia

Os autores introduzem o QiboAgent, uma implementação de referência projetada para guiar o desenvolvimento de assistentes de codificação especializados. O sistema integra dois paradigmas complementares para superar as limitações de LLMs estáticos:

A. Geração Aumentada por Recuperação (RAG)

Para abordar a precisão factual e reduzir alucinações, o QiboAgent emprega um pipeline de RAG fundamentado na base de código do Qibo (código-fonte, documentação e notebooks). Os autores avaliaram duas estratégias de recuperação:

1. Recuperação Semântica: Utiliza fragmentação (chunking) de tamanho fixo com um mecanismo de reclassificação de Relevância de Máxima Diversidade Marginal (MMR) para minimizar a redundância informacional e garantir a recuperação de contexto diversificado.
2. Recuperação Híbrida: Combina embeddings de vetores densos (para compreensão semântica) com correspondência de palavras-chave Okapi BM25 (para recuperação precisa de tokens técnicos). Esta abordagem utiliza um pipeline de ingestão consciente da estrutura que respeita a sintaxe do código (ex: agregando definições de classes com seus métodos) e funde pontuações via uma combinação linear normalizada. Isso é crítico para lidar com nomenclatura específica do domínio (ex: identificadores específicos de Hamiltoniano) que a busca semântica pura poderia perder.

B. Fluxos de Trabalho Agênticos

Para tarefas de engenharia complexas que exigem gerenciamento de estado e raciocínio de múltiplos passos, o sistema transita de um gerador passivo para um agente autônomo baseado no framework ReAct.

• Modo de Agente Único: Usado para manutenção de repositório (ex: resolução de issues do GitHub). O agente faz o scraping de rastreadores de problemas, navega pelo sistema de arquivos e propõe correções de código iterativamente.
• Modo Multi-Agente Sequencial: Usado para refatoração em larga escala (ex: portar um pacote Python para Rust). O fluxo de trabalho é decomposto em agentes especializados (Arquiteto Rust, Gerador de Bindings, Camada de Compatibilidade, Agente de Validação) que operam em um Loop de Feedback Dirigido por Compilador. Este loop permite que os agentes executem comandos de shell (ex: cargo build, pytest), analisem logs de erro e apliquem correções autônomas até que a compilação e os testes passem.

C. Seleção de Modelo

O framework prioriza modelos de código aberto e leves (variando de 20B a 120B de parâmetros) para permitir a implantação local.

• Embedding: sentence-transformers/all-MiniLM-L6-v2.
• Generativo: Uma estratégia em camadas é utilizada: modelos leves (ex: gpt-oss:20b, qwen3-coder:30b) para Q&A e documentação, e modelos maiores (ex: gpt-oss:120b) para raciocínio agêntico complexo que exige capacidades robustas de chamada de ferramentas (tool-calling).
• Infraestrutura: O sistema roda localmente usando Ollama para inferência e LangChain para orquestração.

3. Tarefas de Benchmark e Avaliação

Os autores estabeleceram um protocolo de avaliação abrangente através de quatro tarefas distintas:

1. Q&A de Computação Quântica: Um conjunto de dados de 50 perguntas cobrindo configuração, primitivas, simulação avançada e depuração. O desempenho foi medido por Corretude Funcional (executando o código gerado contra a verdade fundamental), Pontuação de Alucinação (rastreando erros de tempo de execução como AttributeError) e Qualidade Estilística (pontuações Pylint).
2. Documentação Automatizada: Geração de docstrings compatíveis com Sphinx para novo código, garantindo referências cruzadas corretas e exemplos de uso.
3. Pull Request de Nova Funcionalidade: Resolução autônoma de issues do GitHub (ex: Issue #1710 envolvendo lógica de desdobramento de tensores) sem intervenção humana.
4. Refatoração e Rebase: Uma tarefa de desenvolvimento "greenfield" para criar um módulo Qibo-core em Rust, incluindo bindings Python via pyO3, configurações de build e testes unitários.

4. Principais Resultados

• Precisão e Redução de Alucinação: A estratégia de Recuperação Híbrida superou consistentemente tanto o baseline de No-RAG quanto a Busca Semântica pura. O sistema alcançou um pico de precisão de 90,2% usando o modelo qwen3-coder:30b. Crucialmente, a abordagem RAG reduziu significativamente as taxas de alucinação em comparação com baselines proprietários (ex: Google Gemini-2.5-flash), que mostraram melhoria mínima com busca semântica isolada, sugerindo dependência da memória de pré-treinamento em vez do contexto recuperado.
• Capacidades Agênticas: O agente resolveu com sucesso issues complexas do GitHub (Issue #1710) e gerou uma Prova de Conceito (PoC) funcional para o módulo Rust Qibo-core. Embora o código do agente às vezes carecesse de otimizações arquiteturais específicas (ex: cache de índices de permutação) encontradas em patches escritos por humanos, ele produziu soluções matematicamente sólidas e funcionalmente completas que exigiram apenas refinamentos menores.
• Feedback Dirigido por Compilador: O sistema multi-agente utilizou com sucesso um loop de feedback para resolver erros de compilação e incompatibilidades de tipos durante o processo de portabilidade para Rust, demonstrando a capacidade de iterar e se autocorrigir sem intervenção humana.
• Eficiência: Modelos de código aberto leves (até 30B de parâmetros) alcançaram alta precisidade, validando a viabilidade de implantação local segura e de baixo custo sem a necessidade de arquiteturas proprietárias massivas.

5. Significância e Alegações

O artigo posiciona o QiboAgent não como um substituto para desenvolvedores humanos, mas como um guia para praticantes e uma arquitetura de referência para construir assistentes de IA conscientes do domínio.

• Consciência de Domínio sobre Escala de Modelo: O trabalho demonstra que, para software científico especializado, uma base de conhecimento estruturada e ferramentas agênticas são mais críticas do que o tamanho bruto do modelo ou a exposição ao pré-treinamento. Uma estratégia de recuperação híbrida preenche efetivamente a lacuna entre LLMs gerais e requisitos especializados.
• Viabilidade de Implantação Local: Ao alcançar alto desempenho com modelos de código aberto, os autores alegam que instituições de pesquisa podem manter a privacidade dos dados e a independência de plataformas proprietárias enquanto automatizam tarefas complexas de manutenção.
• Adaptabilidade Dinâmica: Diferente do ajuste fino (fine-tuning) específico de domínio, que corre o risco de overfitting e exige retreinamento custoso para mudanças na base de código, a abordagem baseada em RAG fornece um contexto dinâmico e atualizado que permite ao modelo adaptar-se a bases de código em evolução sem necessidade de retreinamento.
• Escopo Futuro: Os autores sugerem que estas arquiteturas poderiam se estender além da manutenção de software para automatizar tarefas físicas, como calibração de hardware quântico via Qibocal e Qibolab, posicionando a IA de código aberto como um componente integral de todo o stack de computação quântica.

O framework, incluindo o código-fonte, conjuntos de dados de benchmark e instruções de implantação, está publicamente disponível em https://github.com/qiboteam/qiboagent.