From Theory to Practice: Code Generation Using LLMs for CAPEC and CWE Frameworks

1. O Problema

A segurança de software é crítica, mas os conjuntos de dados existentes de vulnerabilidades frequentemente falham em fornecer exemplos de código práticos e detalhados vinculados explicitamente às descrições teóricas de vulnerabilidades.

• Deficiência de Recursos Práticos: Embora as bases de dados CAPEC (Common Attack Pattern Enumerations and Classifications) e CWE (Common Weakness Enumeration) ofereçam catalogações ricas de padrões de ataque e fraquezas, uma análise da versão 3.9 do CAPEC e 4.14 do CWE revelou que aproximadamente 40% dos CAPECs e 47% dos CWEs não possuem exemplos de código correspondentes.
• Impacto: Essa lacuna dificulta a compreensão profunda das vulnerabilidades, o treinamento de modelos de aprendizado de máquina para detecção automática e o desenvolvimento de práticas de codificação segura por educadores e desenvolvedores. A disponibilidade de código é particularmente baixa para as linguagens JavaScript e Python.

2. Metodologia

Os autores propõem uma metodologia inovadora para gerar automaticamente exemplos de código vulneráveis alinhados às descrições do CAPEC e CWE, utilizando Grandes Modelos de Linguagem (LLMs). O processo envolve três etapas principais:

• A. Mapeamento e Enriquecimento de Dados (CAPEC para CWE):

  • Muitas entradas do CAPEC não possuem CWEs associados suficientes ou nenhum. Para garantir que o LLM receba contexto suficiente, os autores utilizaram o modelo SBERT (Sentence-BERT) para encontrar semanticamente os CWEs mais similares para cada entrada do CAPEC.
  • Estratégia de Limiar: O objetivo era fornecer pelo menos 5 CWEs relacionados por entrada de CAPEC.
    • Se o CAPEC tivesse ≥5 CWEs originais, todos eram mantidos.
    • Se tivesse <5, o sistema adicionava CWEs semanticamente similares até atingir o limite de 5.
  • Isso aumentou o número de tokens de entrada, fornecendo contexto rico ao modelo.

• B. Geração de Código com LLMs:

  • Foram utilizados três modelos: GPT-4o, Llama 3 (70B) e Claude-3.5-Sonnet.
  • A framework LangChain foi empregada para orquestrar as requisições.
  • Prompt Engineering: Foi desenvolvido um prompt estruturado que instrui o modelo a atuar como um especialista em segurança. O prompt solicita a geração de um snippet de código conciso em Java, Python ou JavaScript que exemplifique o padrão de ataque (CAPEC), utilizando os CWEs para contexto adicional. O modelo deve retornar o código e uma descrição explicativa em formato JSON, com comentários inline indicando as vulnerabilidades específicas.

• C. Avaliação:

  • A qualidade foi avaliada através de compilação, relevância para o CAPEC (avaliada por pesquisadores humanos) e legibilidade.
  • A consistência foi medida calculando a similaridade de cosseno entre diferentes conjuntos de dados gerados e entre diferentes modelos, utilizando o modelo CodeBERT.

3. Principais Contribuições

• Novo Dataset Abrangente: Criação de um dataset contendo 615 snippets de código vulneráveis, cobrindo todos os CAPECs disponíveis, em três linguagens de programação amplamente utilizadas (Java, Python, JavaScript).
• Metodologia de Enriquecimento Semântico: Demonstração de como o uso de SBERT para mapear CAPECs para CWEs adicionais melhora a qualidade e o contexto da geração de código por LLMs.
• Ponte entre Teoria e Prática: O trabalho preenche a lacuna entre as descrições teóricas de vulnerabilidades e sua implementação real em código, servindo como recurso valioso para pesquisa, educação e ferramentas de detecção automática.

4. Resultados

• Qualidade do Código:
  • Compilabilidade: Cerca de 90% dos snippets gerados compilaram com sucesso (Python teve a maior taxa, seguida por Java e JavaScript).
  • Relevância: Em uma avaliação manual com quatro pesquisadores, houve um consenso de que 100% dos snippets eram relevantes para as descrições do CAPEC (com acordo interavaliador de ~93-96%).
  • Legibilidade: Os códigos receberam pontuações altas (4 a 5 em uma escala de 5), sendo o código em Python avaliado como o mais legível.
• Consistência:
  • Intra-modelo: O GPT-4o demonstrou alta consistência ao gerar o mesmo código sob as mesmas condições, com similaridade de cosseno superior a 0.99 para Java e Python e 0.98 para JavaScript entre diferentes execuções.
  • Inter-modelo: Houve forte alinhamento entre os outputs do GPT-4o, Llama e Claude, com similaridades de cosseno consistentemente acima de 0.98, indicando que a metodologia é robusta independentemente do modelo LLM utilizado.

5. Significado e Implicações

• Avanço na Pesquisa de Segurança: O dataset fornece um recurso fundamental para treinar e testar modelos de aprendizado de máquina focados na detecção e remediação automática de vulnerabilidades.
• Educação em Cibersegurança: Oferece materiais práticos para educadores ensinarem padrões de ataque e fraquezas de forma tangível, permitindo que estudantes visualizem como as falhas teóricas se manifestam no código.
• Ferramentas de Análise: Serve como base para o desenvolvimento de ferramentas de varredura de vulnerabilidades mais precisas, capazes de identificar padrões de ataque específicos.
• Limitações e Futuro: O estudo reconhece que alguns CAPECs não relacionados a software (ex: destruição física) foram incluídos erroneamente, sugerindo a necessidade de filtragem prévia. Trabalhos futuros visam expandir para mais linguagens (C++, Go) e integrar o dataset a ferramentas de varredura do mundo real.

Em resumo, o artigo valida a eficácia dos LLMs modernos na geração de dados sintéticos de alta qualidade para segurança de software, transformando descrições teóricas estáticas em recursos dinâmicos e aplicáveis para a comunidade de cibersegurança.