💻 computer science

QLCoder: A Query Synthesizer For Static Analysis of Security Vulnerabilities

O artigo apresenta o QLCoder, um framework agênico que utiliza um modelo de linguagem em um ciclo de síntese com feedback de execução e interfaces MCP para RAG e Language Server Protocol, a fim de gerar automaticamente consultas CodeQL válidas para detectar vulnerabilidades de segurança a partir de metadados de CVE, alcançando uma taxa de sucesso de 53,4% em comparação com 10% do agente Claude Code isolado.

Autores originais: Claire Wang, Ziyang Li, Saikat Dutta, Mayur Naik

Publicado 2026-03-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Claire Wang, Ziyang Li, Saikat Dutta, Mayur Naik

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante cheia de livros de código (programas de computador). Infelizmente, alguns desses livros têm "armadilhas" escondidas que hackers podem usar para roubar informações ou estragar tudo. Esses problemas são chamados de vulnerabilidades (ou CVEs, como são chamados nos relatórios oficiais).

Para encontrar essas armadilhas, os programadores usam "detectives digitais" chamados ferramentas de análise estática. O mais famoso deles é o CodeQL. Mas aqui está o problema: para usar esse detector, você precisa escrever "ordens" muito específicas (chamadas de queries ou consultas) para dizer ao detector exatamente o que procurar.

Escrever essas ordens é como tentar montar um quebra-cabeça complexo de 1.000 peças enquanto está de cabeça para baixo. É difícil, requer muito conhecimento e, se você errar uma peça, o detector ou não encontra nada ou começa a gritar "ALERTA!" para coisas que não são perigosas (falsos positivos).

É aqui que entra o QLCoder, o protagonista deste artigo.

O Que é o QLCoder?

Pense no QLCoder como um assistente de IA superinteligente e especializado que trabalha 24 horas por dia para escrever essas ordens de detecção automaticamente.

A mágica acontece assim:

O Input: Você dá ao QLCoder um relatório de uma falha de segurança (o CVE), que é basicamente uma descrição em linguagem humana de onde o problema está.
O Processo: O QLCoder não apenas "adivinha" o código. Ele age como um detetive cibernético que:
- Pesquisa: Olha em uma biblioteca de casos anteriores e manuais técnicos (usando uma tecnologia chamada RAG) para entender como outros detetives resolveram problemas parecidos.
- Escreve: Tenta escrever a ordem para o detector (CodeQL).
- Testa: Coloca essa ordem à prova. Ele roda o detector no código antes da correção (a versão com a falha) e no código depois da correção (a versão consertada).
- Aprende: Se o detector encontrar a falha na versão antiga, mas não encontrar nada na versão nova (o que é o ideal), o QLCoder sabe que acertou! Se ele errar (por exemplo, encontrar a falha na versão consertada, o que é um erro), ele recebe um feedback, entende onde errou e reescreve a ordem.

A Analogia do "Chef de Cozinha"

Imagine que você quer criar uma receita para identificar pizzas queimadas (vulnerabilidades) em uma pizzaria gigante.

O Problema: Escrever a regra "se a pizza estiver preta, jogue fora" é fácil. Mas e se a pizza estiver preta só na borda, mas o centro estiver perfeito? Ou se a pizza estiver preta porque foi assada em um forno diferente? Escrever a regra perfeita é difícil.
O QLCoder: É um Chef Robô que recebe um relatório: "A pizza do Forno 3 queimou porque a temperatura estava alta demais".
- O Chef Robô vai até a biblioteca de receitas (banco de dados) para ver como outros chefs lidaram com fornos superaquecidos.
- Ele tenta escrever uma regra: "Se a pizza vier do Forno 3 e a borda estiver preta, jogue fora".
- Ele testa essa regra em uma pizza queimada (funciona!) e em uma pizza perfeita (não joga fora!).
- Se ele jogar fora uma pizza perfeita, ele recebe um "chute" do sistema e ajusta a regra: "Ah, só jogar fora se a borda estiver preta e o centro estiver queimado também".
- Ele repete esse processo até a regra ser perfeita.

Por que isso é importante?

O artigo mostra que o QLCoder é muito melhor do que tentar fazer isso sozinho ou usando IAs genéricas.

Precisão: Enquanto ferramentas antigas ou IAs simples conseguiam acertar apenas 10% das vezes, o QLCoder acertou 53% das vulnerabilidades complexas em testes reais.
Qualidade: As "ordens" que ele cria são tão boas que conseguem encontrar 80% das falhas reais (Recall), enquanto as ferramentas padrão do mercado encontravam apenas 20%.
Autonomia: Ele não precisa de um humano especialista em segurança para escrever cada linha de código. Ele usa a descrição do problema e o código do projeto para se virar.

Resumo em uma frase

O QLCoder é um robô detetive que lê relatórios de crimes digitais e, através de tentativa, erro e aprendizado automático, escreve sozinho as regras perfeitas para que os sistemas de segurança encontrem esses crimes no futuro, sem precisar de um humano especialista para cada caso.

É como ter um assistente que transforma um relatório de "alguém quebrou a janela" em um plano de segurança automático que garante que nenhuma outra janela seja quebrada da mesma forma.

Título: QLCoder: Um Sintetizador de Consultas para Análise Estática de Vulnerabilidades de Segurança

1. O Problema

As ferramentas de análise estática (como CodeQL, Semgrep e Infer) são fundamentais para detectar vulnerabilidades de segurança em código-fonte sem executá-lo. Elas operam através de consultas (queries) que codificam padrões de código vulnerável. No entanto, existem desafios significativos:

Dificuldade de Criação: Escrever essas consultas exige expertise combinada em segurança, análise de programas e domínio de linguagens de consulta específicas (muitas vezes complexas e de baixa disponibilidade de recursos).
Baixa Cobertura e Precisão: As suites de consultas existentes cobrem apenas uma fração das vulnerabilidades conhecidas (CVEs) e frequentemente geram muitos falsos positivos ou perdem bugs reais.
Complexidade do Contexto: Uma consulta correta deve identificar fontes (entrada de dados), sorvedouros (pontos de uso perigoso), passos de propagação de "taint" (contaminação) e sanitizadores (correções). Esses elementos podem estar espalhados por múltiplos arquivos e módulos, exigindo análise interprocedural complexa.
Subutilização de Dados: Bancos de dados de vulnerabilidades (como o CVE) contêm informações ricas (descrições, diffs de patches, versões vulneráveis vs. corrigidas) que não são automaticamente exploradas para gerar consultas de detecção.

2. Metodologia: QLCoder

O QLCoder é um framework agêntico que sintetiza automaticamente consultas em CodeQL a partir de metadados de CVEs. A abordagem combina um Modelo de Linguagem (LLM) em um loop de síntese iterativa com feedback de execução e restrições de raciocínio estruturado.

Arquitetura e Componentes Principais:

Loop de Síntese Iterativa: O sistema opera em um ciclo onde um agente (baseado em LLM) propõe uma consulta candidata, um validador a executa nas versões vulnerável e corrigida do repositório, e o feedback é usado para refinar a consulta. O processo continua até que a consulta seja bem-sucedida ou o limite de iterações (N=10) seja atingido.
Interface MCP (Model Context Protocol) Personalizada: Para evitar alucinações e erros de sintaxe, o agente não tem acesso livre ao mundo. Ele interage através de uma interface MCP que fornece:
- Language Server Protocol (LSP): Para orientação de sintaxe precisa (completamento, definição, diagnósticos) específica da versão do CodeQL, garantindo que a consulta seja compilável.
- Base de Dados RAG (Retrieval-Augmented Generation): Um banco de dados vetorial contendo documentação do CodeQL, consultas de exemplo, definições de CWE e trechos de AST (Árvore de Sintaxe Abstrata) extraídos do repositório alvo. Isso permite recuperação semântica de padrões relevantes sem poluir o contexto do prompt.
Validador Baseado em CodeQL:
- Compila e executa a consulta gerada contra os grafos de fluxo de dados das versões vulnerável ( $P_{vuln}$ ) e corrigida ( $P_{fixed}$ ).
- Gera um relatório estruturado com: sucesso de compilação, contagem de correspondências, estatísticas de recall, exemplos concretos de falsos positivos/negativos e recomendações de correção.
Critérios de Sucesso: Uma consulta é considerada bem-sucedida se:
1. For sintaticamente válida.
2. Detectar pelo menos um caminho de fluxo de dados na versão vulnerável que atravesse a região corrigida pelo patch.
3. Não gerar alarmes na versão corrigida (garantindo que o sanitizador ou a mudança de lógica bloqueie o fluxo).

3. Contribuições Chave

Framework Agêntico para Síntese de Consultas: O QLCoder é a primeira abordagem a integrar síntese guiada por execução, recuperação semântica e raciocínio estruturado via MCP para gerar consultas de segurança precisas diretamente de relatórios de CVE.
Integração de Ferramentas Especializadas: A criação de um servidor MCP personalizado para o Language Server do CodeQL e o uso de um banco de dados vetorial para recuperação de contexto demonstram como limitar e guiar LLMs para tarefas de engenharia de software complexas.
Avaliação em Escala Real: O sistema foi avaliado em 176 CVEs reais em 111 projetos Java, cobrindo 42 categorias diferentes de fraquezas (CWEs), incluindo cenários de pós-corte de treinamento do modelo (CVEs de 2025).

4. Resultados Experimentais

Os resultados foram avaliados usando o conjunto de dados CWE-Bench-Java e comparados com baselines de ponta (IRIS, CodeQL nativo, e outros agentes como Gemini e GPT-5).

Taxa de Sucesso na Síntese:
- O QLCoder sintetizou consultas corretas para 53,4% dos 176 CVEs testados.
- Em comparação, o agente "Claude Code" sem as ferramentas do QLCoder (apenas com feedback iterativo) alcançou apenas 10% de sucesso.
- O baseline Gemini CLI teve 0% de sucesso na geração de consultas funcionais.
Precisão e F1-Score:
- O QLCoder alcançou um F1-score de 0,70.
- As suites de consultas gerais do CodeQL tiveram um F1 de apenas 0,073.
- O sistema IRIS (analisador estático assistido por LLM) teve um F1 de 0,048.
- Isso demonstra que as consultas sintetizadas pelo QLCoder são muito mais precisas e têm maior recall do que as soluções existentes.
Robustez Temporal: O sistema manteve desempenho consistente tanto para CVEs anteriores quanto posteriores ao corte de treinamento do modelo (Março de 2025), demonstrando capacidade de generalização para vulnerabilidades recentes.
Custo e Tempo: A síntese média levou ~3712 segundos e custou cerca de $2,90 USD por consulta, com uma taxa de sucesso de 97% para consultas concluídas em menos de 3000 segundos.

5. Significância e Impacto

Ponte entre Relatórios e Ferramentas: O QLCoder preenche a lacuna crítica entre a descoberta de vulnerabilidades (relatórios CVE) e a detecção automatizada em escala, transformando descrições textuais em ferramentas de verificação executáveis.
Aplicações Práticas: As consultas geradas podem ser usadas imediatamente para:
- Testes de Regressão: Garantir que correções permaneçam válidas em novos commits.
- Análise de Variantes: Escanear outros repositórios públicos para encontrar bugs semelhantes (o artigo relata a descoberta de 2 bugs desconhecidos em outros repositórios usando uma única consulta sintetizada).
- Validação de Patches: Verificar se uma correção proposta realmente elimina a vulnerabilidade.
Avanço na Pesquisa de Agentes de IA: O trabalho demonstra que o uso de ferramentas estruturadas (LSP, RAG) e feedback de execução é superior ao uso de LLMs "puros" para tarefas de geração de código de alta precisão, onde erros de sintaxe ou semântica são inaceitáveis.

Em resumo, o QLCoder representa um avanço significativo na automação da segurança de software, provando que é possível automatizar a criação de regras de análise estática complexas com alta precisão, reduzindo a barreira de entrada para a detecção de vulnerabilidades em escala industrial.