From Theory to Practice: Code Generation Using LLMs for CAPEC and CWE Frameworks

Titolo: Dalla Teoria alla Pratica: Generazione di Codice tramite LLM per i Framework CAPEC e CWE

1. Il Problema

La sicurezza informatica è minacciata dalla crescente complessità dei sistemi software. Sebbene esistano framework standardizzati come CAPEC (Common Attack Pattern Enumeration and Classifications) e CWE (Common Weakness Enumeration) forniti da MITRE per catalogare gli attacchi e le debolezze software, esiste un divario significativo tra le descrizioni teoriche e la loro implementazione pratica.

• Mancanza di esempi di codice: L'analisi delle versioni più recenti (CAPEC 3.9 e CWE 4.14) ha rivelato che circa il 40% delle voci CAPEC e il 47% delle voci CWE non dispongono di esempi di codice associati.
• Limitazioni dei dataset esistenti: I dataset attuali spesso non forniscono snippet di codice vulnerabili dettagliati e esplicitamente collegati a specifiche descrizioni di vulnerabilità, ostacolando la ricerca avanzata, lo sviluppo di strumenti di rilevamento automatico e la formazione educativa.
• Disparità linguistica: La disponibilità di codice è particolarmente scarsa per linguaggi come JavaScript e Python rispetto al Java.

2. Metodologia

Gli autori propongono un approccio innovativo per colmare questo vuoto utilizzando Large Language Models (LLM) per generare automaticamente snippet di codice vulnerabili basati sulle descrizioni di CAPEC e CWE.

• Mappatura Semantica CAPEC-CWE:
  • Poiché alcune voci CAPEC hanno poche o nessuna associazione CWE diretta, gli autori utilizzano SBERT (Sentence-BERT) per identificare le CWE semanticamente più simili.
  • Strategia di arricchimento: Per ogni CAPEC, il sistema seleziona un set di almeno 5 CWE correlate (inclusi quelli ufficiali MITRE e quelli aggiunti tramite SBERT) per fornire un contesto testuale sufficientemente ricco all'LLM.
• Generazione del Codice con Prompt Engineering:
  • Vengono utilizzati modelli avanzati come GPT-4o, Llama 3 e Claude-3.5-Sonnet.
  • Viene impiegato il framework LangChain per orchestrare le richieste.
  • Il prompt è strutturato per richiedere all'LLM di agire come un esperto di sicurezza, generando un snippet di codice conciso che incarni l'idea principale del CAPEC, utilizzando le CWE correlate per il contesto.
  • L'output richiesto include: il codice sorgente, una descrizione della funzionalità e commenti inline che spiegano la logica e indicano le CWE specifiche rappresentate.
• Linguaggi Target: Java, Python e JavaScript, scelti per la loro ampia adozione nello sviluppo software.

3. Risultati Chiave

Il dataset finale comprende 615 snippet di codice vulnerabili (uno per ogni CAPEC) generati in tre linguaggi di programmazione.

• Qualità del Codice:
  • Compilabilità: Circa il 90% degli snippet generati da GPT-4o è stato compilato con successo (con Python che mostra il tasso più alto, seguito da Java e JavaScript).
  • Rilevanza: Una valutazione manuale condotta da ricercatori esperti ha confermato che il 100% degli snippet è rilevante rispetto alla descrizione CAPEC corrispondente. L'accordo inter-valutatore (Average Pairwise Agreement) è stato molto alto (tra il 93% e il 96%).
  • Leggibilità: I codici hanno ricevuto punteggi elevati (4-5 su 5) per chiarezza e struttura, con il codice Python valutato come il più leggibile.
• Coerenza e Stabilità:
  • Coerenza interna (GPT-4o): Misurando la similarità coseno tra cinque dataset generati indipendentemente dallo stesso modello, si è ottenuta una similarità superiore a 0.98 (Java e Python > 0.99, JavaScript > 0.98), dimostrando che il modello produce output consistenti.
  • Coerenza tra modelli: Confrontando i risultati di GPT-4o, Llama e Claude, si è osservata un'alta allineamento (similarità coseno > 0.98), indicando che l'approccio è robusto indipendentemente dal modello LLM utilizzato.

4. Contributi Principali

1. Nuovo Dataset Completo: Creazione di un repository esteso e diversificato di 615 esempi di codice vulnerabili, colmando la lacuna di risorse pratiche per quasi il 40% delle voci CAPEC.
2. Metodologia di Generazione: Sviluppo di un processo automatizzato che combina mappatura semantica (SBERT) e prompting avanzato (GPT-4o) per trasformare descrizioni teoriche in codice eseguibile.
3. Risorsa Educativa e di Ricerca: Il dataset fornisce materiale tangibile per educatori (formazione sulla sicurezza), ricercatori (addestramento di modelli ML per il rilevamento delle vulnerabilità) e sviluppatori (comprensione degli schemi di attacco).
4. Validazione Rigorosa: Fornitura di metriche quantitative (similarità coseno, tassi di compilazione) e qualitative (valutazione umana) che attestano l'affidabilità dei dati generati.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nel campo della cybersecurity:

• Ponte Teoria-Pratica: Trasforma descrizioni astratte di vulnerabilità in esempi concreti, facilitando la comprensione dei meccanismi di attacco.
• Supporto all'AI per la Sicurezza: Il dataset generato può essere utilizzato per addestrare modelli di Deep Learning più accurati nel rilevamento e nella mitigazione delle vulnerabilità, superando la dipendenza da dataset esistenti spesso incompleti.
• Scalabilità: La metodologia dimostra che gli LLM possono essere strumenti efficaci per la generazione di dati di sicurezza su larga scala, sebbene siano necessari filtri per escludere CAPEC non legati al software (es. attacchi fisici).

In conclusione, lo studio dimostra che l'uso di LLM avanzati per la generazione di codice vulnerabile è una strategia valida, efficiente e coerente, offrendo una risorsa fondamentale per migliorare la postura di sicurezza del software e la formazione dei professionisti del settore.