Automatic Simplification of Common Vulnerabilities and Exposures Descriptions

Resumo Técnico: Simplificação Automática de Descrições de CVEs

1. O Problema
A cibersegurança é um domínio altamente técnico e em rápida evolução, onde relatórios de incidentes e descrições de vulnerabilidades (como as do Common Vulnerabilities and Exposures - CVE) são frequentemente incompreensíveis para não especialistas, incluindo gestores estratégicos e o público em geral. Embora a Simplificação Automática de Texto (ATS) tenha sido estudada em áreas como medicina e ciência, sua aplicação na cibersegurança é inexplorada. O desafio principal reside em reduzir a complexidade linguística sem sacrificar a precisão factual e a preservação do significado, dado que erros de simplificação podem levar a más decisões, perda de confiança e lacunas de responsabilidade. Além disso, os modelos de linguagem (LLMs) comerciais podem introduzir vieses ou omitir detalhes críticos devido a mecanismos de segurança ("guardrails").

2. Metodologia
Os autores desenvolveram um pipeline de ATS e um conjunto de dados de teste para avaliar diferentes abordagens:

• Conjunto de Dados: Foram selecionadas 100 descrições de CVEs de 2025 do repositório CVElistV5. Deste total, 40 foram usadas para avaliação humana (limpadas manualmente de logs e textos não naturais) e 60 para o desenvolvimento do modelo local.
• Abordagens de Modelagem:
  • LLMs Comerciais (GPT-4o): Utilizado via API da Azure para simplificações iniciais (nível de frase) e refinadas (nível de documento).
  • Modelos de Código Aberto (Gemma 3): Foi desenvolvido um sistema baseado em agentes ("GemmaAgent") utilizando o modelo Gemma 3 (4 bilhões de parâmetros).
    • Arquitetura do Agente: O sistema opera em três etapas: (1) Extração de termos técnicos usando um modelo NER especializado (AITSecNER); (2) Geração Aumentada por Recuperação (RAG), onde um agente busca definições em léxicos de cibersegurança; (3) Agente de Simplificação que reescreve o texto original utilizando as explicações dos termos como suporte.
• Avaliação Humana: Realizada em duas rodadas com especialistas em cibersegurança (12 participantes na 1ª rodada, 10 na 2ª). Os avaliadores usaram uma escala Likert de 3 pontos para julgar a facilidade de compreensão e a preservação do significado.
• Métricas Automáticas:
  • Complexidade: D-SARI (métrica baseada em referência para nível de documento) e FKGL (Flesch-Kincaid Grade Level), além de contagem de palavras, sentenças e sílabas.
  • Preservação de Significado: BERTScore, MeaningBERT e Similaridade Semântica (usando Sentence-BERT e MeaningBERT).

3. Contribuições Principais

• Primeiro Estudo de ATS em Cibersegurança: Preenche a lacuna de pesquisa na aplicação de simplificação de texto neste domínio específico e complexo.
• Dataset Semi-Sintético: Criação de um conjunto de dados de 40 CVEs simplificados e avaliados por humanos, servindo como baseline e referência para futuros sistemas de ATS em cibersegurança.
• Arquitetura de Agente com RAG: Proposta de um sistema híbrido que combina extração de entidades, base de conhecimento externa (RAG) e geração de texto, demonstrando que a explicação contextual de termos técnicos é crucial para a preservação do significado.
• Análise de Responsabilidade e Ética: Discussão sobre os riscos de simplificação automática, incluindo a responsabilidade por omissões de detalhes críticos e a necessidade de supervisão humana.

4. Resultados

• Desempenho de Complexidade (Simplicidade):
  • O GPT-4o foi o único modelo a reduzir consistentemente o nível de escolaridade (FKGL) de 12,45 (original) para 9,49, produzindo textos mais longos, mas com menos sílabas por palavra.
  • O Gemma3:4b reduziu o número de palavras e sentenças, mas aumentou o FKGL (14,50), indicando que a simplificação por encurtamento não necessariamente torna o texto mais legível.
  • O GemmaAgent manteve um FKGL alto (14,20) e aumentou a contagem de entidades nomeadas, pois o sistema focou em explicar os termos em vez de removê-los.
• Desempenho de Preservação de Significado:
  • O GemmaAgent e os dados Semi-sintéticos (criados por humanos) obtiveram os melhores resultados nas métricas de preservação de significado (BERTScore e Similaridade Semântica).
  • O Gemma3:4b puro teve o pior desempenho em preservação de significado, sugerindo que a adição do componente RAG é essencial para manter a precisão factual.
  • O GPT-4o teve desempenho intermediário, mas cometeu erros críticos, como arredondar incorretamente números de versão (ex: 4.3000000025 para 4.3) sem instruções explícitas para preservá-los.
• Avaliação Humana: Apenas 5 das 40 simplificações iniciais do GPT-4o foram aceitas sem modificações. A maioria das rejeições deveu-se à perda de significado ou omissão de detalhes técnicos importantes.

5. Significância e Conclusão
O estudo conclui que os modelos de linguagem prontos para uso ("out-of-the-box") podem tornar o texto superficialmente mais simples, mas falham em preservar o significado técnico crítico sem supervisão ou arquiteturas especializadas.

• Importância do RAG: A integração de bases de conhecimento (RAG) é fundamental para explicar jargões sem distorcer o significado original.
• Limitações das Métricas Automáticas: Métricas como D-SARI e FKGL não capturam consistentemente a qualidade percebida por humanos ou a precisão factual em domínios técnicos.
• Futuro: É necessário desenvolver sistemas "human-in-the-loop" e bases de dados maiores para cibersegurança. A simplificação não deve ser usada como justificativa para escrever textos originais complexos; o objetivo deve ser a acessibilidade assistida, garantindo que a informação factual permaneça intacta para a tomada de decisões.