Riepilogo Tecnico: GenTI – Benchmarking di LLM per la Generazione Automatica di Regole IDPS

1. Definizione del Problema

I sistemi di rilevamento e prevenzione delle intrusioni (IDPS) basati su regole, come Snort e Suricata, rimangono la scelta dominante negli ambienti di produzione grazie alla loro precisione e interpretabilità. Tuttavia, la loro dipendenza da regole create manualmente e basate su firme limita la loro adattabilità di fronte a minacce emergenti e zero-day. Gli esperti di sicurezza devono analizzare manualmente le vulnerabilità e documentare i pattern di attacco per creare regole, un processo che non riesce a tenere il passo con la sofisticazione degli attacchi moderni, che spesso impiegano offuscamento e vulnerabilità non dichiarate.

Inoltre, gli esistenti dataset pubblici (ad esempio, CICIDS2017, UNSW-NB15) sono progettati principalmente per la classificazione del traffico a livello di flusso o di header. Essi mancano delle informazioni strutturate a livello di payload, dei metadati delle regole e delle mappature della Cyber Threat Intelligence (CTI) necessarie per addestrare i Large Language Models (LLM) alla sintesi automatica delle regole. Di conseguenza, esiste una lacuna critica in:

1. Dati: L'assenza di un dataset di benchmark su larga scala, pubblicamente disponibile, progettato per la generazione di regole IDPS che includa la semantica del payload e il contesto CTI.
2. Metodologia: I metodi esistenti di generazione automatica delle regole spesso non riescono a catturare i comportamenti a livello di payload o mancano di meccanismi sistematici per verificare la correttezza sintattica e semantica delle regole generate.
3. Valutazione: La mancanza di una verifica sistematica per determinare se le regole generate automaticamente possano operare con tassi di falsi positivi accettabili in ambienti di produzione realistici.

2. Metodologia

Gli autori propongono GenTI (Generative Threat Intelligence), un framework che comprende un nuovo dataset di benchmark (GTI) e una pipeline guidata da LLM per generare, raffinare e verificare le regole IDPS.

A. Il Dataset GTI

Il dataset GTI è un corpus arricchito da CTI che aggrega oltre 200.000 regole:

• Oltre 150.000 regole IDPS: Aggregate da Snort, Suricata ed Emerging Threats.
• Oltre 50.000 regole YARA: Focalizzate sulle firme a livello di payload.

Caratteristiche Chiave di GTI:

• Schema Strutturato: Le regole sono normalizzate in un formato unificato contenente feature dell'header (IP, porte, protocolli), feature di flusso e feature di payload.
• Arricchimento CTI: Ogni regola è mappata su fonti di intelligence esterne, inclusi MITRE ATT&CK (tattiche/tecniche), D3FEND (tecniche difensive), CVE/CWE, AlienVault OTX e MISP.
• Rule-Context and Relationships Annotation (RCRA): Annotazioni che collegano le regole a specifici contesti di attacco, famiglie di malware e tipi di risposta azionabile (alert, drop, reject).
• Prompt Engineering: Il dataset include prompt strutturati (descrizioni in stile analista) e output target (regole canoniche), insieme a razionali Chain-of-Thought (CoT) e annotazioni Chain-of-Verification (CoVe).

B. La Pipeline del Framework GenTI

Il framework opera come una pipeline end-to-end che trasforma i prompt dell'analista e i payload malevoli in regole verificate:

1. Pre-processing & Costruzione del Prompt: I prompt dell'analista e i payload malevoli rappresentativi vengono analizzati per estrarre le feature (ad esempio, header HTTP, marker C2). Questi vengono convertiti in prompt strutturati ($P_{struct}$) e prompt in linguaggio naturale ($P_{user}$).
2. Sintesi delle Regole Basata su LLM: Un LLM (specificamente DeepSeek-7B sottoposto a fine-tuning) genera una regola candidata iniziale ($r_0$) e una traccia CoT ($C_0$) basandosi sui prompt e sul contesto CTI.
3. Mappatura della Threat Intelligence: Il sistema interroga il repository CTI per mappare la regola generata su specifiche tecniche ATT&CK, IoC e famiglie di malware.
4. Ciclo di Raffinamento Iterativo: La regola candidata viene valutata contro traffico malevolo e benigno. Un meccanismo di feedback ($F_{k+1}$) viene generato sulla base di metriche (tasso di rilevamento, falsi positivi, validità sintattica) per raffinare la regola nelle iterazioni successive.
5. Chain-of-Verification (CoVe): Un processo di verifica in tre fasi viene applicato al miglior candidato:
   • Controllo Sintattico: Assicura la compatibilità con i motori Snort/Suricata.
   • Controllo Logico: Valida la coerenza tra le condizioni della regola e il contesto mappato ATT&CK/CTI.
   • Analisi dei Falsi Positivi: Riproduce il traffico benigno per garantire che la regola non attivi allarmi eccessivi.
6. Apprendimento Curriculare (Curriculum Learning): Il processo di addestramento utilizza un curriculum a più stadi, partendo da regole semplici basate solo sull'header e introducendo progressivamente pattern di payload complessi e dense mappature CTI per stabilizzare l'addestramento e migliorare la generalizzazione.

3. Contributi Chiave

1. Dataset di Benchmark GTI: Il primo corpus su larga scala arricchito con CTI, progettato per la generazione di regole NIDPS basata su LLM, consolidando oltre 200k regole con ricchi metadati, mappature CTI e RCRA.
2. Generazione di Regole a Livello di Payload: La capacità di tradurre le firme a livello di payload in stile YARA in logica compatibile con IDPS, consentendo la generazione automatica di regole sia di rilevamento che di prevenzione (drop/reject) a livello di payload.
3. Pipeline di Addestramento a Quattro Stadi: Una metodologia innovativa che comprende:
   • Fondamento sintattico tramite l'apprendimento della struttura della regola.
   • Arricchimento semantico tramite ragionamento CoT aumentato da CTI.
   • Verifica guidata da CoVe per la riduzione dei falsi positivi.
   • Integrazione di piena complessità tramite transfer learning.
4. Valutazione in Tempo Reale: Un framework di valutazione completo che testa le regole generate su motori open-source (Snort/Suricata) utilizzando traffico realistico, misurando accuratezza sintattica, somiglianza semantica, copertura CTI ed efficacia della sicurezza.

4. Risultati Sperimentali

Il modello GenTI (DeepSeek-7B sottoposto a fine-tuning) è stato valutato rispetto a forti baseline, tra cui GPT-4o, LLaMA-3-8B e Mistral-7B, su un set di test non utilizzato durante l'addestramento.

Metriche di Performance:

• Punteggio Composito della Qualità della Regola: GenTI ha raggiunto l'89,4%, superando significativamente le baseline (ad esempio, GPT-4o al 80,4%, LLaMA-3-8B al 71,6%).
• Copertura CTI: Ha raggiunto il 94,8%, indicando un allineamento superiore con i framework di threat intelligence rispetto alle baseline (~75–83%).
• Accuratezza Sintattica: L'89,5% delle regole generate era sintatticamente valido senza correzioni manuali.
• Somiglianza Semantica: L'87,2% corrisponde alle regole di riferimento degli analisti esperti.

Rilevamento di Attacchi Non Visti:

• Tasso di Rilevamento: La capacità di rilevare attacchi precedentemente non visti è migliorata dal 45% (baseline) all'87,4% (GenTI).
• Tasso di Falsi Positivi: Ridotto dall'8,5% al 2,3%, dimostrando che il ciclo CoVe affina efficacementamente i confini decisionali senza sacrificare la precisione.

Studio di Ablazione:
Lo studio ha confermato che il fine-tuning QLoRA ha fornito il singolo incremento di performance maggiore. L'apprendimento curricolare ha ulteriormente migliorato la somiglianza semantica e l'efficacia della sicurezza, mentre le integrazioni CoT/CoVe sono state critiche per ridurre gli errori residui e migliorare la robustezza.

5. Significato e Rivendicazioni

Il paper sostiene che GenTI stabilisce il primo benchmark su larga scala che accoppia strettamente la Cyber Threat Intelligence (CTI) a livello di regola con l'automazione basata su LLM. Il suo significato primario risiede nel rendere possibili sistemi IDPS adattivi e auto-evolventi.

A differenza degli approoli precedenti che si limitano a riprodurre firme esistenti o si concentrano sulla classificazione del traffico, GenTI dimostra che gli LLM possono agire come agenti consapevoli della CTI per:

• Generare nuove regole basate sulla threat intelligence per attacchi non visti.
• Operare con un'alta correttezza sintattica e bassi tassi di falsi positivi in ambienti simili alla produzione.
• Colmare il divario tra il traffico di rete grezzo e la logica di prevenzione azionabile e verificata.

Gli autori concludono che il loro lavoro sposta il campo oltre la semplice copia di firme, fornendo una via percorribile per l'automazione della manutenzione e dell'espansione delle basi di regole IDPS contro l'evoluzione delle minacce reali.