AVIATOR: Towards AI-Agentic Vulnerability Injection Workflow for High-Fidelity, Large-Scale Code Security Dataset

Resumo Técnico: AVIATOR

1. O Problema

A detecção automatizada de vulnerabilidades de software baseada em aprendizado profundo (DLVD) depende criticamente da disponibilidade de grandes conjuntos de dados rotulados com precisão. No entanto, os dados existentes apresentam limitações severas:

• Conjuntos Sintéticos: (ex: Juliet) são limpos, mas não refletem a complexidade estrutural e semântica do código de produção real.
• Conjuntos Realistas com Rótulos Heurísticos: (ex: BigVul, ReVeal) usam commits de correção ou bancos de dados de segurança para rotular, introduzindo ruído significativo (precisão de rótulos tão baixa quanto 25% em alguns casos).
• Injeção de Vulnerabilidades Existente: Técnicas anteriores (como VGX, VulGen) dependem de mineração de padrões e edições de template simples. Elas geralmente cobrem poucas categorias de falhas (CWE), produzem edições triviais (apenas uma linha) e falham em capturar o contexto real, limitando a generalização dos modelos treinados.
• Modelos LLM Atuais: Abordagens recentes (como VulScribeR) otimizam para o desempenho downstream, mas não garantem a correção da injeção, resultando em sinais de treinamento ruidosos.

Há uma lacuna crítica na capacidade de gerar, em escala, dados de vulnerabilidade que sejam fiéis (realistas), precisos (rótulos corretos) e diversos (cobertura ampla de CWEs).

2. Metodologia: O Framework AVIATOR

O AVIATOR (AI Agentic Vulnerability Injection And Transformation with Optimized Reasoning) é o primeiro framework de injeção de vulnerabilidades baseado em fluxos de trabalho de agentes de IA. Em vez de usar um único modelo monolítico, ele decompõe o processo de injeção em um fluxo coordenado de agentes especializados, simulando o raciocínio de um analista de segurança humano.

Arquitetura e Componentes Principais:
O sistema é composto por 13 agentes (9 agentes de LLM e 4 agentes de ferramentas) organizados em dois módulos principais:

• Módulo de Injeção de Vulnerabilidades:

  1. Compreensão de Código: Analisa o fluxo de dados e controle do código benigno para identificar fontes (inputs não confiáveis) e sumidouros (operações sensíveis).
  2. Carregador de Informações: Recupera definições detalhadas da categoria de vulnerabilidade (CWE) alvo.
  3. Compreensão Específica da Vulnerabilidade: Identifica mecanismos de segurança existentes (ex: validações de limites) que impedem a falha, determinando onde a injeção deve ocorrer.
  4. Injetor de Vulnerabilidades (LLM + RAG + LoRA): Aplica a transformação no código. Utiliza Geração Aumentada por Recuperação (RAG) para buscar exemplos reais de pares benigno/vulnerável e Fine-Tuning LoRA (Low-Rank Adaptation) para especializar o modelo. O treinamento utiliza Supervised Fine-Tuning (SFT) e, opcionalmente, Reinforcement Learning (GRPO) com recompensa baseada em CodeBLEU.
  5. Polidor (Polisher): Corrige formatação, remove edições triviais (apenas comentários) e repara códigos truncados.

• Módulo de Validação (Loop de Auto-correção):

  • Utiliza análise de diferença (diff), análise estática leve (Cppcheck) e verificação formal (ESBMC para casos menores) para validar a injeção.
  • Se a injeção falhar (código idêntico, sintaxe inválida ou falha na lógica), o sistema aciona agentes de correção (Diff Refiner, Vulnerability Fixer) ou reinicia o processo com estocasticidade controlada, garantindo que apenas vulnerabilidades válidas e não triviais sejam mantidas.

Diferenciais Técnicos:

• Sem Mineração de Padrões: Não depende de templates manuais, permitindo cobertura ampla.
• Iteratividade: O fluxo permite múltiplas tentativas e correções baseadas em feedback de ferramentas e outros agentes.
• Suporte a 133 CWEs: Cobertura muito superior às técnicas anteriores.

3. Contribuições Chave

1. Primeiro Fluxo de Trabalho Agente para Injeção: Introduz uma abordagem modular que divide a tarefa complexa de injeção em sub-tarefas gerenciáveis, replicando o processo de raciocínio de especialistas em segurança.
2. Alta Fidelidade e Cobertura Ampla: O framework suporta 133 tipos de CWE (vs. 23 do VGX), gerando vulnerabilidades semanticamente ricas e contextualmente realistas.
3. Eficiência e Escalabilidade: Utiliza fine-tuning leve (LoRA) e agentes de ferramentas para reduzir custos e aumentar a taxa de sucesso, evitando a necessidade de APIs de LLMs proprietários caros.
4. Validação Rigorosa: Combina verificação formal, análise estática e avaliação humana para garantir a qualidade dos dados gerados.

4. Resultados Experimentais

O AVIATOR foi avaliado em três benchmarks (SARD100, FormAI e PrimeVul) e comparado com técnicas de ponta (VGX, VulGen, VulScribeR).

• Taxa de Sucesso de Injeção:

  • Alcançou 95% no SARD100 e 91% no FormAI (avaliação automatizada).
  • 94% de sucesso em casos analisáveis no PrimeVul (avaliação manual).
  • Média geral de 93%, superando o VGX (90%) e o VulScribeR (estimado em 80-82%).

• Impacto na Detecção de Vulnerabilidades (Downstream):

  • Ao usar os dados gerados pelo AVIATOR para aumentar conjuntos de treinamento de modelos de DLVD (Devign, Reveal, LineVul, CodeT5), observou-se o maior ganho de desempenho.
  • Melhoria no F1-Score: +21,8% em relação a nenhum aumento; +24,6% em relação ao VGX; e +2,9% em relação ao estado da arte VulScribeR.
  • Precisão e Recall: O AVIATOR melhorou o Recall em +7,4% em relação ao VulScribeR sem sacrificar a precisão, indicando dados de treinamento mais limpos e menos ruidosos.

• Fidelidade Distribucional:

  • Apresentou a menor distorção distribucional (menor divergência KL) em relação aos dados reais, indicando que os dados sintéticos gerados mantêm a diversidade e a estrutura do mundo real, evitando viés de templates estreitos.

• Eficiência de Custo:

  • Custo de geração 4,3 vezes menor que o VulScribeR (baseado em GPT-3.5 Turbo).
  • Taxa de rejeição sintética inferior a 2%.

5. Significado e Impacto

O AVIATOR representa um avanço significativo na segurança de software baseada em IA:

• Solução para a Escassez de Dados: Oferece um caminho viável para gerar grandes volumes de dados de vulnerabilidade de alta qualidade, superando as limitações de anotação manual e heurística.
• Melhoria na Generalização de Modelos: Ao fornecer dados de treinamento mais realistas e diversificados, os modelos de detecção aprendem padrões mais robustos, reduzindo falsos positivos e melhorando a detecção de falhas complexas.
• Viabilidade Prática: A arquitetura agente, combinada com técnicas de fine-tuning eficiente e ferramentas de validação, torna a geração de datasets de segurança escalável e economicamente viável para a indústria.
• Futuro: O framework é genérico e pode ser adaptado para outras linguagens e contextos (nível de repositório), estabelecendo um novo padrão para a construção de benchmarks de segurança confiáveis.

Em resumo, o AVIATOR demonstra que a decomposição de tarefas complexas em fluxos de trabalho de agentes de IA, apoiados por validação rigorosa, supera as abordagens monolíticas atuais, entregando dados de treinamento que elevam o estado da arte na detecção automatizada de vulnerabilidades.