Resumo Técnico: MulVul

Definição do Problema

O artigo aborda duas limitações críticas na automação da detecção de vulnerabilidades de código usando Grandes Modelos de Linguagem (LLMs):

1. Heterogeneidade de Padrões de Vulnerabilidade: Tipos de vulnerabilidade (ex: estouros de buffer vs. ataques de injeção) exigem capacidades de raciocínio distintas. Um único modelo unificado tem dificuldade em capturar esses diversos padrões específicos de tipo dentro de um espaço latente compartilhado, levando a vulnerabilidades não detectadas ou altas taxas de alarmes falsos.
2. Escalabilidade da Engenharia de Prompt: Sistemas do mundo real envolvem centenas de entradas da Common Weakness Enumeration (CWE). Projetar manualmente prompts únicos para agentes especializados para um número tão vasto de categorias é inviável. Além disso, confiar em um único modelo tanto para a geração de prompts quanto para a avaliação introduz viés de autocorreção, enquanto sistemas multiagentes correm o risco de amplificar alucinações se não forem devidamente fundamentados.

Métodos existentes frequentemente dependem de prompts fixos sem fundamentação externa ou tentam detectar todos os tipos de vulnerabilidade simultaneamente com um único modelo, falhando em equilibrar eficiência computacional com ampla cobertura.

Metodologia: Estrutura MulVul

O MulVul é uma estrutura multiagente com aumento de recuperação (retrieval-augmented) projetada para detecção de vulnerabilidades precisa e de ampla cobertura. Ele opera através de uma estratégia de grosso para fino (coarse-to-fine) e emprega Evolução de Prompt entre Modelos (Cross-Model Prompt Evolution).

1. Arquitetura: Roteador-Detector

O sistema utiliza uma arquitetura hierárquica alinhada com a taxonomia CWE:

• Agente Roteador (Router Agent): Atua como um despachante. Ele primeiro prevê as $k$ categorias de vulnerabilidade de grão grosso (ex: "Erros de Buffer de Memória"). Ele utiliza uma Ferramenta de Recuperação Global para consultar uma base de conhecimento em busca de evidências trans-categoriais, garantindo que a categoria correta não seja filtrada precocemente.
• Agentes Detectores (Detector Agents): Agentes especializados são invocados apenas para as categorias selecionadas pelo Roteador. Cada Detector realiza a identificação de grão fino de tipos de vulnerabilidade específicos (ex: "CWE-119 Buffer Overflow").
  • Isolamento: Os Detectores operam isoladamente, sem comunicação entre agentes, para evitar a cascata de erros.
  • Recuperação Contrastiva: Cada Detector usa uma ferramenta especializada para recuperar evidências de três pools: positivos da mesma categoria, exemplos limpos e "negativos difíceis" fora da categoria. Essa abordagem contrastiva ajuda a distinguir falhas de segurança sutis.

2. Base de Conhecimento (SCALE)

A estrutura depende de uma base de conhecimento de vulnerabilidades construída usando SCALE (Representação de Código Estruturada). O SCALE converte trechos de código em Árvores de Comentários Estruturados (comentários em linguagem natural anexados a nós da AST que codificam o fluxo de controle). Essas representações são incorporadas (usando UniXcoder) e indexadas para recuperação eficiente de vizinhos mais próximos.

3. Evolução de Prompt entre Modelos (Cross-Model Prompt Evolution)

Para resolver o gargalo de escalabilidade da engenharia de prompt manual, o MulVul introduz um mecanismo de otimização inovador que desacopla a geração de prompts da avaliação:

• LLM Gerador ($M_{evo}$): (ex: Claude) propõe e muta iterativamente prompts candidatos.
• LLM Executor ($M_{exec}$): (ex: GPT-4o) executa os agentes com esses prompts e retorna feedback de desempenho (Recall@k para o Roteador; F1 para os Detectores).
• Processo: Essa separação mitiga o viés de autocorreção inerente à otimização de modelo único. O prompt do Roteador é otimizado para recall (garantindo que a categoria correta esteja no top-$k$), enquanto os prompts dos Detectores são otimizados para o equilíbrio precisão-recall (escore F1).

Principais Contribuições

1. Estrutura MulVul: Um novo sistema multiagente com aumento de recuperação que equilibra eficiência computacional com cobertura de detecção ao rotear entradas para especialistas especializados apenas quando necessário.
2. Evolução de Prompt entre Modelos: Um mecanismo que automatiza a otimização de prompts para agentes especializados ao separar a geração e a execução entre diferentes LLMs, resolvendo efetivamente o desafio de escalabilidade da engenharia manual e reduzindo o viés.
3. Desempenho de Estado da Arte: Experimentos abrangentes demonstrando melhorias significativas sobre as linhas de base existentes na detecção de vulnerabilidades multiclasse.

Resultados Experimentais

A estrutura foi avaliada no benchmark PrimeVul, cobrindo 6.968 funções C/C++ vulneráveis e 229.764 funções benignas em 130 tipos de CWE.

• Desempenho Geral: O MulVul alcançou um Macro-F1 de 34,79% ao nível de tipo, superando a melhor linha de base (LLM×CPG) em 10,21 pontos percentuais (uma melhoria relativa de 41,5%).
• Troca Precisão-Recall: O sistema alcançou um Macro-Precisão de 27,90% e um Macro-Recall de 46,19%, demonstrando um equilíbrio superior comparado às linhas de base que frequentemente sacrificam um em favor do outro.
• Estudos de Ablação:
  • Recuperação (Retrieval): Remover a recuperação causou a maior queda de desempenho (o F1 caiu de 34,56% para 21,80%), confirmando a necessidade de fundamentar o raciocínio com evidências.
  • Evolução de Prompt: Substituir prompts evoluídos por templates manuais reduziu o desempenho em 11,76%, validando a eficácia da estratégia de evolução entre modelos.
  • Multiagente: Remover a arquitetura de agentes (usando um único modelo) resultou em uma queda de 5,95%.
• Desempenho Few-Shot: O MulVul demonstrou desempenho robusto em tipos de CWE raros (menos de 100 amostras), alcançando ~48% de F1 comparado a ~25% da melhor linha de base. Isso destaca a capacidade do sistema de transferir conhecimento entre padrões de vulnerabilidade relacionados.
• Parâmetro de Roteamento ($k$): O parâmetro de roteamento ideal foi encontrado como $k=3$, onde o Macro-F1 atingiu o pico de 34,79%.

Significância e Alegações

O artigo afirma que o MulVul representa um novo estado da arte para a detecção de vulnerabilidades multiclasse. Sua significância reside em:

• Abordar a Heterogeneidade: Ao decompor a tarefa em roteamento grosseiro e detecção de grão fino, ele supera as limitações de modelos unificados no tratamento de diversos padrões de vulnerabilidade.
• Escalabilidade: O mecanismo de Evolução de Prompt entre Modelos automatiza a criação de instruções especializadas para centenas de categorias, tornando a detecção de ampla cobertura viável sem engenharia manual.
• Robustez: A combinação de geração com aumento de recuperação e operação de agente isolada mitiga efetivamente alucinações e amplificação de erros, que são problemas comuns em sistemas multiagentes de LLM.

Os autores reconhecem limitações, incluindo a avaliação restrita a código C/C++, o custo computacional de múltiplas chamadas de API de LLM e a necessidade de maior avaliação da transferibilidade de prompt para outros backbones de LLM. Eles também observam o potencial risco de duplo uso de ferramentas automatizadas de detecção de vulnerabilidades.