CyberForge: Verified Vulnerability Injection at Repository Level for Cybersecurity Agent Training

Resumo Técnico: CyberForge

Declaração do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) de fronteira atualmente têm dificuldade em descobrir e corrigir vulnerabilidades complexas em software do mundo real. Enquanto esses agentes podem auxiliar atacantes que só precisam encontrar uma única fraqueza explorável, os defensores devem proteger continuamente bases de código inteiras. O principal gargalo no desenvolvimento de agentes defensivos mais fortes é a escassez de dados de treinamento de segurança de alta qualidade que incluam ambientes de compilação e execução reproduzíveis. Os conjuntos de dados existentes são amplamente limitados a CVEs (Common Vulnerabilities and Exposures) históricos e relatórios de bug bounty, que são reunidos manualmente ou via replay automatizado de problemas divulgados. Esses recursos são limitados pela taxa de descoberta humana e divulgação pública, e frequentemente falham em escalar como dados de treinamento, pois validar uma vulnerabilidade exige uma condição dupla: o código injetado deve passar em todos os testes unitários existentes (permanecendo latente) enquanto é acionável por um input adversário específico (Prova de Vulnerabilidade, ou PoV).

Metodologia: O Framework CyberForge
O CyberForge é um framework projetado para sintetizar dados de treinamento de segurança executáveis e em nível de repositório através da injeção de vulnerabilidades em projetos reais de C/C++. Ele desacopla o crescimento do corpus da taxa de divulgação humana ao criar novas instâncias em vez de minerar as históricas. O framework opera em projetos inscritos no OSS-Fuzz, aproveitando suas imagens Docker pré-existentes, scripts de build e harnesses de libFuzzer para garantir ambientes reproduzíveis.

O CyberForge emprega dois pipelines de injeção complementares:

1. Injeção Guiada por Fuzzer: Este pipeline utiliza a infraestrutura de fuzzing existente para identificar locais de injeção de alto valor. Ele analisa os metadados do OSS-Fuzz para mapear funções alcançáveis por harnesses existentes. Um sistema de pontuação classifica essas funções com base no papel estrutural, profundidade de chamada e "acionabilidade" (probabilidade de ser alcançada por um harness existente). Um agente de LLM então realiza uma modificação mínima e direcionada para enfraquecer uma verificação de segurança no local selecionado. A validação é automatizada: o build modificado deve passar em todos os testes unitários, e um PoV é gerado para acionar a vulnerabilidade. Uma execução post-hoc de libFuzzer com um corpus de sementes consciente do formato fornece um caminho adicional de validação.
2. Injeção Agêntica de Contexto (In-Context): Este pipeline visa vulnerabilidades além do alcance de harnesses de fuzzing existentes. Ele utiliza uma estratégia híbrida de recuperação, combinando similaridade estrutural (baseada em AST) e semântica (baseada em embeddings) para combinar projetos alvo com padrões históricos de CVE do dataset PrimeVul. Adicionalmente, agentes especialistas de LLM exploram o codebase diretamente para propor diversos tipos de fraquezas. O processo de injeção envolve loops de tentativa e erro iterativos, análise de taint para verificar caminhos de fluxo de dados de fontes de entrada até o sink vulnerável, e geração de PoV usando relatórios de sanitizers (ASAN/UBSAN) e efeitos colaterais observáveis.

Mecanismo de Validação
Um Oráculo de PoV Diferencial compartilhado valida todas as instâncias geradas. Uma instância é aceita apenas se:

• Condição 1: O build injetado passa em todos os testes unitários existentes do projeto (garantindo que a vulnerabilidade seja latente e não um bug funcional).
• Condição 2: O PoV gerado aciona uma falha (ex: erro de sanitizer, crash) no build injetado, mas não no build limpo sob o mesmo input idêntico.

Principais Contribuições

• Framework de Geração em Nível de Repositório: O CyberForge sintetiza dados de treinamento a partir de codebases compiláveis usando injeção de vulnerabilidade e validação diferencial, indo além da injeção estática de nível de função.
• Corpus Validado: O framework produziu 1.034 vulnerabilidades validadas em 80 projetos C/C++ e 63 categorias de fraquezas (CWEs). A localidade de edição desses patches sintéticos se assemelha de perto aos patches de CVEs reais, com uma distância de Kolmogorov–Smirnov de 0,165 comparada a uma linha de base de 0,190 entre dois corpora de CVEs reais.
• Melhorias de Desempenho Downstream: O ajuste fino (fine-tuning) de agentes nas trajetórias coletadas deste corpus melhorou significativamente o desempenho nos benchmarks SEC-bench (in-domain) e PatchEval (out-of-domain).

Resultados
Os autores realizaram o fine-tuning de três modelos estudantes open-source (Gemma 4 E4B, 12B e 31B) utilizando trajetórias coletadas de dois professores (Gemma 4 31B e GPT-5.4-mini).

• Desempenho no SEC-bench: Todas as seis configurações estudante-professor melhoraram as pontuações de reparo de patch em +3,3 a +14,7 pontos. A configuração mais forte (estudante 31B com professor GPT-5.4-mini) alcançou 72,7%, aproximando-se dos 74,0% do professor.
• Generalização Out-of-Distribution: Os ganhos transferiram-se para o PatchEval, um benchmark contendo tarefas de Go, JavaScript e Python, apesar de o corpus de treinamento ser exclusivamente C/C++. Cada configuração melhorou neste benchmark cross-language.
• Análise Comportamental: O fine-tuning direcionou os agentes para os fluxos de trabalho de seus professores. Modelos menores (ex: 12B) ganharam principalmente ao aprender a alcançar a etapa de verificação (aumentando a cobertura de workflow), enquanto modelos maiores (31B) melhoraram sua taxa de sucesso uma vez que a etapa de verificação era alcançada.
• Escalabilidade: O desempenho escalou monotonicamente com o número de trajetórias de treinamento, não mostrando sinais de saturação em 880 trajetórias.

Significância e Alegações
O artigo afirma que o CyberForge fornece uma fonte escalável de dados validados por execução para treinar agentes de cibersegurança, abordando a lacuna crítica de dados de treinamento no lado defensivo da segurança assistida por IA. Ao gerar vulnerabilidades sintéticas que são verificadas através de execução em vez de análise estática, o framework produz instâncias de treinamento realistas que não são limitadas pelo ritmo de divulgação pública. Os autores enfatizam que seu framework gera provas de vulnerabilidade (PoVs) para demonstrar a existência e a alcançabilidade de fraquezas, em vez de produzir exploits ativos projetados para comprometer sistemas. O trabalho demonstra que o treinamento direcionado em dados sintéticos de nível de repositório pode aumentar significativamente a capacidade de agentes de IA localizarem e corrigirem falhas de segurança em ambientes de software complexos.