Leveraging LLM-Based Agentic Systems to Generate Quantum Applications for Test Optimization

Resumo Técnico: Alavancando Sistemas Agênticos Baseados em LLM para Gerar Aplicações Quânticas para Otimização de Testes

Declaração do Problema
Embora a computação quântica (QC) prometa otimizar tarefas de engenharia de software (SE) — especificamente problemas de Engenharia de Software Baseada em Busca (SBSE), como a Otimização de Casos de Teste (TCO) — uma barreira significativa permanece: traduzir requisitos de nível de tarefa em linguagem natural (NL) em aplicações quânticas executáveis. As abordagens atuais exigem conhecimento substancial tanto em mecânica quântica quanto em programação para lidar com a formulação do problema, codificação, seleção de solver e orquestração. Ferramentas de engenharia de fluxo de trabalho quântico existentes (ex: QuantME, Q-READY) oferecem abstrações, mas não automatizam a geração de ponta a ponta de aplicações quânticas executáveis a partir de requisitos em NL. Além disso, embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado sucesso na geração isolada de código quântico ou transformação QUBO, eles ainda não foram aplicados de forma eficaz para gerar fluxos de trabalho de aplicações quânticas completos e rastreáveis para tarefas de otimização de SE.

Metodologia: Arquitetura QPipe
Os autores propõem o QPipe, uma arquitetura multiagente baseada em LLM projetada para converter autonomamente requisitos em NL em aplicações quânticas executáveis. O sistema opera através de um pipeline estruturado envolvendo oito agentes especializados, suportados por conhecimento de tarefa curado e habilidades de codificação, interagindo com um ambiente de ferramentas locais.

1. Agentes de Fluxo de Trabalho:

   • Agente de Parsing (Análise Sintática): Extrai a tarefa de SE, objetivos, restrições e dados do projeto do requisito em NL.
   • Agente de Análise: Determina a adequação quântica, identificando o núcleo de otimização (ex: QUBO ou modelo Ising) e definindo a divisão clássica/quântica.
   • Agente de Blueprint (Projeto): Cria um plano de fluxo de trabalho híbrido, especificando a estrutura, a escolha do solver e os artefatos esperados.
   • Agente de Codificação (Encoding): Mapeia a instância completa do problema para subproblemas executáveis, lidando com restrições de orçamento de qubits através da decomposição de variáveis ou instâncias, se necessário.
   • Agente de Codegen (Geração de Código): Gera programas Python candidatos (usando Qiskit/Qiskit-Aer) baseados no blueprint e na codificação. Ele opera dentro de um loop, utilizando ferramentas para verificações estáticas, compilação e execução em sandbox para reparar o código iterativamente.
   • Agente de Revisão: Realiza uma revisão semântica do código gerado em relação ao requisito original e aos artefatos intermediários antes da execução, solicitando reparos para inconsistências ou desalinhamentos de objetivos.
   • Agente de Combinação/Script: Agrega resultados de subproblemas decompostos. Utiliza scripts determinísticos para agregações simples (ex: soma) e um agente de LLM para interpretações semânticas complexas.
   • Agente de Verificação: Valida a aplicação executada final e os resultados contra o registro de geração e, sempre que possível, contra um solver de referência clássico.

2. Capacidades de Suporte:

   • Conhecimento de Tarefa: Fornece orientação sobre formulação (QUBO/Ising) e fundamenta o problema em entidades específicas de SE (ex: atributos de casos de teste).
   • Habilidade de Codificação: Impõe convenções de implementação, como o uso de APIs específicas do Qiskit e a prevenção de stubs ou chamadas obsoletas.
   • Ferramental: Os agentes acessam ferramentas locais para inspeção de ambiente, armazenamento de código, verificação estática/compilação, execução em sandbox e resolução de referência clássica (ex: autodecomposição de autovalores exata ou enumeração de força bruta para instâncias pequenas).

Principais Contribuições

• Automação de Ponta a Ponta: O QPipe é o primeiro sistema a gerar autonomamente aplicações quânticas rastreáveis e executáveis a partir de requisitos de otimização de SE em NL, cobrindo todo o ciclo de vida, desde o parsing até a verificação.
• Decomposição Multiagente: A arquitetura separa as preocupações em papéis especializados (parsing, planejamento, codificação, revisão), permitindo loops de feedback direcionados e preservando a rastreabilidade através dos artefatos intermediários.
• Estratégia de Execução Híbrida: O sistema lida dinamicamente com restrições de recursos (ex: limites de qubits) decompondo grandes problemas em subproblemas e orquestrando sua execução e agregação.
• Estrutura de Avaliação Empírica: Os autores estabelecem um protocolo de avaliação rigoroso usando 20 requisitos em NL através de 10 benchmarks do mundo real de TCO (Seleção e Minimização de Casos de Teste), medindo custo de geração, eficácia (pass@k) e qualidade da solução contra um baseline de Algoritmo Genético (GA).

Resultados Experimentais
O estudo avaliou o QPipe em 20 requisitos em NL associados a 10 benchmarks (incluindo elevator_o2, gsdtsr e programas de assunto GNU).

• Eficácia de Geração: O QPipe alcançou uma taxa de passagem de compilação de 100% e uma taxa de sucesso de 96,7% tanto para a execução da aplicação quanto para a combinação final de resultados em todos os requisitos. O custo médio de geração foi de 260,1 segundos e 1,89 milhão de tokens por requisito.
• Qualidade da Solução: Entre as aplicações geradas com sucesso, as soluções superaram o baseline de Algoritmo Genético (GA) clássico na maioria dos casos. A Razão de Redução Quântica (QRR) mostrou melhorias positivas, com medianas de QRR de 57,6 para Seleção de Casos de Teste (TCS) e 89,1 para Minimização de Casos de Teste (TCM). Os cenários de pior caso ainda igualaram ou superaram ligeiramente o baseline de GA.
• Padrões de Fluxo de Trabalho: A análise de execuções bem-sucedidas revelou que os agentes convergiram autonomamente para formulações QUBO e algoritmos QAOA, apesar de serem instigados com outras opções algorítmicas. O sistema consistentemente decompôs tarefas em 4 a 6 subproblemas e manteve o tamanho dos circuitos em torno de 12 qubits para equilibrar viabilidade e overhead.
• Estudos de Ablação: A remoção de componentes específicos degradou significativamente o desempenho. A remoção das habilidades de geração de código causou o fracasso mais drástico (sucesso de compilação próximo de zero). A remoção do conhecimento de tarefa, feedback de revisão ou decomposição multiagente também reduziu a eficácia e a qualidade da solução, confirmando a necessidade da arquitetura completa.
• Comparação de Backbone LLM: O uso do Claude como backbone rendeu o maior desempenho (100% de compilação, 93,3% de execução). O DeepSeek teve bom desempenho nas etapas iniciais e de compilação, mas teve dificuldades nas etapas posteriores de revisão e verificação. O Llama falhou totalmente na etapa de geração de código, destacando a sensibilidade do fluxo de trabalho ao modelo de backbone e suas capacidades de codificação.

Significância e Alegações
O artigo afirma que a coordenação agêntica é uma abordagem viável para gerar aplicações quânticas executáveis para problemas reais de otimização de testes. Os autores sustentam que o QPipe demonstra que sistemas multiagentes baseados em LLM podem navegar autonomamente pelas complexidades da engenharia de fluxo de trabalho quântico — lidando com formulação de problemas, codificação e orquestração — sem a necessidade de intervenção manual em cada etapa.

A significância reside na redução da barreira de entrada para a aplicação da otimização quântica em tarefas de SE. Ao automatizar a tradução de requisitos em NL para código executável, o QPipe potencialmente reduz o limiar de expertise necessário para que profissionais de SE aproveitem a computação quântica. Os autores concluem modestamente que, embora o fluxo de trabalho atual seja custoso em termos de tokens e tempo, ele produz com sucesso soluções de alta qualidade que frequentemente superam os baselines clássicos, sugerindo um caminho para uma engenharia de software assistida por computação quântica mais acessível. Eles observam que estudos empíricos mais amplos são necessários para generalizar esses achados para outras tarefas de SE e backends quânticos.