From Theory to Practice: Code Generation Using LLMs for CAPEC and CWE Frameworks

Probleemstelling

De complexiteit en omvang van softwaresystemen zijn toegenomen, wat de noodzaak verhoogt om beveiligingskwetsbaarheden vroeg te identificeren en te mitigeren. Hoewel frameworks zoals CAPEC (Common Attack Pattern Enumerations and Classifications) en CWE (Common Weakness Enumeration) van MITRE uitgebreide catalogi bieden van aanvalspatronen en zwaktes, ontbreekt er vaak een cruciaal element: praktische codevoorbeelden.

• Een analyse van de huidige versies (CAPEC 3.9 en CWE 4.14) toont aan dat ongeveer 40% van de CAPECs en 47% van de CWEs geen bijbehorende codevoorbeelden bevat.
• Voor programmeertalen zoals JavaScript en Python is de beschikbaarheid van codevoorbeelden zelfs extreem laag (respectievelijk ~0,6% en ~3% van de CAPECs).
• Dit gebrek aan concrete code hindert ontwikkelaars, onderzoekers en educatoren bij het begrijpen van de mechaniek van kwetsbaarheden en het ontwikkelen van effectieve detectie- en remediëringstools.

Methodologie

De auteurs presenteren een nieuwe methodologie om kwetsbare codefragmenten te genereren die specifiek aansluiten bij CAPEC- en CWE-beschrijvingen, gebruikmakend van Large Language Models (LLMs).

1. Data-voorbereiding en Mapping:

   • De auteurs verzamelen tekstuele data (namen, beschrijvingen, uitgebreide beschrijvingen) van MITRE voor CAPECs en CWEs.
   • Omdat sommige CAPECs weinig of geen directe CWE-relaties hebben, gebruiken ze SBERT (Sentence-BERT) om semantisch vergelijkbare CWE's te vinden.
   • Mapping-strategie:
     • Als een CAPEC 5 of meer gerelateerde CWEs heeft, worden deze allemaal gebruikt.
     • Als een CAPEC minder dan 5 heeft, worden de bestaande CWEs aangevuld met de 5 meest semantisch vergelijkbare CWEs (berekend via SBERT) om een consistente context van minimaal 5 CWEs te garanderen voor de input.

2. Prompt Engineering:

   • Er wordt gebruikgemaakt van LangChain om de data te verwerken en communicatie met het model te faciliteren.
   • Het model GPT-4o wordt ingezet met een zorgvuldig ontworpen prompt. Deze prompt instrueert het model om:
     • Een beknopt codefragment te genereren dat de kern van het CAPEC-aanvalspatroon illustreert.
     • De code te voorzien van inline comments die verwijzen naar de specifieke CWE's.
     • Een beschrijving te geven van de functionaliteit en de onderliggende beveiligingsrisico's.
     • De output in een gestructureerd JSON-formaat te leveren.
   • De input bevat de CAPEC-beschrijving gecombineerd met de 5 meest relevante CWE-beschrijvingen om de context te maximaliseren.

3. Generatie:

   • Het proces wordt uitgevoerd voor drie populaire programmeertalen: Java, Python en JavaScript.
   • Het uiteindelijke dataset bevat in totaal 615 CAPEC-codefragmenten.

Belangrijkste Bijdragen

• Nieuwe Dataset: De creatie van een uitgebreide dataset van 615 kwetsbare codevoorbeelden die direct gekoppeld zijn aan CAPEC- en CWE-identificatoren, wat een aanzienlijke aanvulling is op bestaande datasets zoals Big-Vul of VulDeePecker.
• Methodologische Innovatie: Een bewezen aanpak die semantische mapping (SBERT) combineert met LLM-generatie (GPT-4o) om de kloof tussen theoretische beschrijvingen en praktische code te overbruggen.
• Multi-model Validatie: Het onderzoek toont aan dat deze methode niet alleen werkt met GPT-4o, maar ook consistente resultaten oplevert met Llama 3 en Claude-3.5-Sonnet.

Resultaten en Evaluatie

De dataset werd grondig geëvalueerd op basis van compilatie, relevantie en leesbaarheid:

1. Compilatie: Ongeveer 90% van de gegenereerde codefragmenten slaagde voor compilatie. Python had het hoogste succespercentage, gevolgd door Java en JavaScript.
2. Relevantie: Vier onafhankelijke beoordelaars (PhD-studenten in Computer Science) evalueerden 30 willekeurige fragmenten per taal. Er was een zeer hoge overeenstemming (APA: 93-96%) dat de code de bijbehorende CAPEC-beschrijving correct weergeeft.
3. Leesbaarheid: De code werd consistent beoordeeld als zeer leesbaar (gemiddelde score 4-5 op een schaal van 5), waarbij Python-code als het meest gestructureerd werd ervaren.
4. Consistentie:
   • Intra-model: GPT-4o toonde een hoge consistentie bij het genereren van code onder dezelfde voorwaarden, met een cosine-相似heid (cosine similarity) van >0.98 tussen verschillende gegenereerde datasets.
   • Inter-model: Er werd ook een hoge overeenstemming gevonden tussen de output van GPT-4o, Llama en Claude (cosine similarity >0.98 voor Java, >0.98 voor Python en JavaScript), wat aantoont dat de methode robuust is over verschillende LLM-architecturen heen.

Betekenis en Toekomstperspectief

Deze studie heeft een aanzienlijke impact op het domein van cybersecurity:

• Onderwijs en Training: De dataset biedt een waardevolle bron voor het creëren van praktische trainingmateriaal, waarbij studenten en professionals de nuances van cyberbedreigingen kunnen bestuderen aan de hand van realistische code.
• ML-onderzoek: Het biedt een gestructureerde, gelabelde dataset voor het trainen van machine learning-modellen gericht op automatische kwetsbaarheidsdetectie en remediatie.
• Tooling: De data kan worden gebruikt om geautomatiseerde scan-tools te verbeteren door patronen van kwetsbaarheden te leren.

Beperkingen en Toekomstig Werk:
De auteurs erkennen dat sommige CAPECs (zoals fysieke aanvalspatronen) niet van toepassing zijn op software, maar toch code genereren. Toekomstig werk richt zich op het implementeren van een filtermechanisme om niet-software-gerelateerde CAPECs te verwijderen, het uitbreiden van de dataset naar andere talen (zoals C++ of Go), en het integreren van de dataset in real-world vulnerability scanning tools.

Kortom, dit onderzoek sluit een kritieke lacune in de beveiligingsliteratuur door theoretische kwetsbaarheidsbeschrijvingen om te zetten in bruikbare, gecontroleerde codevoorbeelden, wat de basis legt voor betere beveiligingspraktijken en geavanceerder onderzoek.