Automatic Simplification of Common Vulnerabilities and Exposures Descriptions

Probleemstelling

Cybersecurity-rapportage, specifiek beschrijvingen van Common Vulnerabilities and Exposures (CVE), is vaak zeer technisch en moeilijk te begrijpen voor niet-experts, zoals beleidsmakers of strategische besluitvormers. Hoewel er veel onderzoek is gedaan naar automatische tekstvereenvoudiging (Automatic Text Simplification - ATS) in domeinen zoals geneeskunde en wetenschap, is dit domein nog niet uitgebreid bestudeerd in de complexe en snel veranderende wereld van cybersecurity.
De kernuitdagingen zijn:

• Toegankelijkheid: Het maken van technische rapporten begrijpelijk zonder de oorspronkelijke betekenis te verliezen.
• Betrouwbaarheid: Het risico dat LLM's (Large Language Models) feitelijke informatie verkeerd vereenvoudigen, wat kan leiden tot misleiding en verantwoordelijkheidskwesties.
• Evaluatie: Het gebrek aan geschikte metrics om zowel de leesbaarheid als de feitelijke juistheid (factuality) van vereenvoudigde cybersecurity-teksten te meten.

Methodologie

De auteurs hebben een onderzoek uitgevoerd met de volgende stappen:

1. Dataset:

   • Er zijn 100 willekeurig geselecteerde CVE-beschrijvingen uit 2025 (uit het CVElistV5-repository) gebruikt.
   • 40 CVE's werden geselecteerd voor menselijke evaluatie (na handmatige opschoning om logs en niet-natuurlijke taal te verwijderen).
   • De overige 60 CVE's dienden als trainings- en ontwikkelingsset.

2. Modelbenaderingen:

   • GPT-4o: Gebruikt via Azure OpenAI API voor initiële vereenvoudiging (op zinsniveau) en herhaling (op documentniveau) na menselijke feedback.
   • Open-source modellen: Om transparantie en controle te vergroten, werd een lokaal agent-systeem ontwikkeld op basis van Gemma 3 (4B parameters).
   • GemmaAgent Architectuur: Dit systeem werkt in drie fasen:
     1. Termextractie: Gebruik van het AITSecNER-model om specifieke cybersecurity-termen (CON, MALWARE, TACTIC, TECHNIQUE, TOOL) te identificeren.
     2. Retrieval Augmented Generation (RAG): Een agent haalt uitleg voor deze termen op uit een database met cybersecurity-lexica.
     3. Vereenvoudiging: Een simplification-agent gebruikt de originele tekst en de gegenereerde term-uitleg om de tekst te herschrijven.

3. Evaluatie:

   • Automatische Metrics:
     • D-SARI: Voor documentniveau-vereenvoudiging (vergelijking met referentie).
     • FKGL (Flesch-Kincaid Grade Level): Voor leesbaarheid (samenstelling van zinslengte en lettergrepen).
     • BERTScore, MeaningBERT, Semantic Similarity: Voor het meten van betekenisbehoud.
   • Menselijke Evaluatie: Twee rondes van enquêtes onder cybersecurity-experts (totaal 22 deelnemers over twee rondes). Deelnemers beoordeelden op een 3-punts Likert-schaal of de tekst makkelijker te begrijpen was en of de betekenis behouden bleef.

Belangrijkste Bijdragen

• Eerste ATS-studie in Cybersecurity: Dit is een van de eerste studies die zich specifiek richt op het vereenvoudigen van CVE-beschrijvingen.
• Dataset: Creatie van een semi-synthetische, menselijk geëvalueerde dataset van 40 vereenvoudigde CVE's die als referentie kan dienen voor toekomstig onderzoek.
• Agent-architectuur: Het voorstellen van een RAG-gebaseerd agent-systeem (GemmaAgent) dat specifiek is ontworpen om technische termen uit te leggen in plaats van ze alleen te vervangen, wat essentieel is voor betekenisbehoud.
• Analyse van Risico's: Een kritische bespreking van ethische aspecten, zoals verantwoordelijkheid bij fouten en het gevaar van "hallucinaties" in veiligheidskritieke contexten.

Resultaten

De resultaten tonen een duidelijk compromis tussen leesbaarheid en betekenisbehoud:

• Leesbaarheid (FKGL):
  • GPT-4o presteerde het beste op het verlagen van de complexiteit (FKGL daalde van 12,45 naar 9,49). Het produceerde langere teksten met meer zinnen en minder lettergrepen per woord.
  • GemmaAgent en Gemma3:4b verlaagden de FKGL-score niet significant (respectievelijk 14,20 en 14,50), en GemmaAgent produceerde zelfs meer naamlijke entiteiten dan het origineel.
• Betekenisbehoud:
  • GemmaAgent en de Semi-synthetische dataset scoorden het hoogst op betekenisbehoud (BERTScore en MeaningBERT).
  • GPT-4o en Gemma3:4b scoorden lager op betekenisbehoud. Gemma3:4b had de laagste scores op semantische gelijkenis.
  • De integratie van RAG in GemmaAgent bleek cruciaal voor het behoud van de juiste betekenis, hoewel dit ten koste ging van de leesbaarheidsmetrics.
• Menselijke Evaluatie:
  • Uit de 40 CVE's werden slechts 5 direct geaccepteerd na de eerste ronde. De overige 35 vereisten aanpassingen.
  • De grootste onenigheid onder beoordelaars ontstond rondom het behoud van de betekenis, niet per se bij de leesbaarheid.
  • GPT-4o gaf soms fouten weer bij versienummers (bijv. afronding van 4.3000000025 naar 4.3), wat aantoont dat specifieke instructies nodig zijn voor technische details.

Betekenis en Conclusie

Het onderzoek concludeert dat:

1. Automatische metrics onvoldoende zijn: Bestaande metrics (zoals D-SARI en FKGL) volgen niet consistent het menselijke oordeel over wat "eenvoudig" en "juist" is.
2. Betekenisbehoud is de grootste uitdaging: Het vereenvoudigen van cybersecurity-teksten zonder feitelijke fouten te introduceren is extreem moeilijk voor "out-of-the-box" LLM's.
3. RAG is essentieel: Het gebruik van Retrieval Augmented Generation helpt bij het behoud van betekenis door contextuele uitleg van termen, maar vereist zorgvuldige afstemming om de leesbaarheid niet te schaden.
4. Human-in-the-loop is noodzakelijk: Gezien de risico's van misleiding en verantwoordelijkheid, is menselijke toezicht en samenwerking met domeinexperts onmisbaar bij het automatiseren van cybersecurity-rapportage.

De auteurs pleiten voor verdere research in mens-gestuurde systemen en het opbouwen van grotere databases voor RAG-modellen om de betrouwbaarheid van ATS in de cybersecurity-sector te verhogen.