Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?

Sintesi Tecnica: Oltre la Sintassi: Gli Esperti di Sicurezza si Fidano degli LLM per l'Ingegneria delle Regole NIDS?

Definizione del Problema
Con l'evoluzione delle minacce di rete in termini di velocità e complessità (ad esempio, malware polimorfico, exploit zero-day), l'ingegneria manuale delle regole dei sistemi di rilevamento delle intrusioni di rete (NIDS) è diventata un collo di bottiglia operativo critico. Sebbene le soluzioni open-source come Snort e Suricata si affidino al rilevamento basato su firme, l'efficacia di questi sistemi è subordinata alla qualità e alla tempestività dei loro set di regole. La creazione e la manutenzione manuale di questi set di regole sono laboriose, non scalabili e soggette a "fatica da SOC" a causa degli elevati tassi di falsi positivi e della complessità sintattica dei linguaggi delle regole. Sebbene i Large Language Models (LLM) abbiano mostrato potenziale nell'automazione della generazione di regole, la loro utilità pratica rimane non validata. Nello specifico, manca una prova empirica riguardante se gli esperti di sicurezza si fidino delle regole generate dagli LLM, come interagiscano con tali output e se le regole sintatticamente corrette siano semanticamente implementabili in scenari reali.

Metodologia
Gli autori impiegano una metodologia centrata sull'uomo in quattro fasi per investigare la fattibilità dell'ingegneria delle regole NIDS basata su LLM:

1. Formalizzazione del Sistema: Gli autori hanno condotto una revisione della letteratura di 11 opere primarie e uno studio preliminare con tre esperti del dominio per formalizzare un framework di generazione fondato. Il sistema risultante (Figura 1) consiste in un "Agente di Ingegneria delle Regole" e in un "Human Loop" (ciclo umano).

   • Input: L'agente elabora dati di inventario di rete, inventari di vulnerabilità (CVE, CPE) e exploit Proof-of-Concept (PoC).
   • Elaborazione: Utilizza un motore LLM (ospitato localmente tramite Ollama per garantire privacy e riproducibilità) con prompting basato su ruoli e few-shot.
   • Validazione: Una pipeline multistadio include un controllore di sintassi (validazione del compilatore nativo) e un correttore di sintassi automatizzato che utilizza il prompting adattivo per correggere gli errori.
   • Human-in-the-Loop: Gli esperti possono interagire con l'LLM tramite prompting adattivo per raffinare iterativamente le regole.

2. Design dello Studio Utente: Lo studio ha coinvolto 137 partecipanti reclutati, con un sottoinsieme di analisi finale di 10 esperti di sicurezza altamente qualificati (analisti SOC, ricercatori e ingegneri). Lo studio è stato strutturato in tre fasi: etica/demografia, valutazione delle regole (valutazione della qualità e del carico cognitivo) e valutazione del sistema interattivo.

   • Scenari: I partecipanti hanno valutato regole generate attraverso sei scenari di rete (due sintetici, quattro basati sul dataset CIC-IDS 2017) con diverse complessità topologiche e densità di vulnerabilità.
   • Task: Gli esperti hanno eseguito valutazioni cieche sulla correttezza delle regole, hanno valutato l'utilità delle spiegazioni generate dall'LLM e hanno interagito con il sistema per modificare le regole.

3. Analisi Statistica: Gli autori hanno generato regole utilizzando 27 diversi motori LLM attraverso gli scenari. Hanno analizzato la validità sintattica, la necessità di cicli di correzione e il contenuto semantico delle regole (distribuzione dei campi, specificità).

4. Valutazione Centrata sull'Uomo: Il motore con le migliori prestazioni (DeepSeek-R1 70B) è stato selezionato per lo studio utente. Gli esperti hanno valutato la deployability (implementabilità) delle regole, i livelli di fiducia e l'usabilità del sistema utilizzando la System Usability Scale (SUS) e questionari personalizzati.

Contributi Chiave

• Formalizzazione di un Framework Fondato: Il documento formalizza un sistema di ingegneria delle regole basato su LLM all'avanguardia che integra dati di vulnerabilità, PoC e un meccanismo di verifica human-in-the-loop, affrontando le lacune nella letteratura esistente dove il feedback umano è spesso assente.
• Caratterizzazione Empirica della Fiducia degli Esperti: Fornisce i primi dati empirici sulla fiducia dei professionisti della sicurezza nelle regole NIDS generate da LLM, rivelando un distacco critico tra validità sintattica e implementabilità semantica.
• Approfondimenti sui Modelli di Interazione: Lo studio identifica specifici modelli di interazione, fattori di carico cognitivo e barriere all'usabilità quando gli esperti utilizzano l'assistenza degli LLM per l'ingegneria delle regole.

Risultati
La valutazione rivela un "paradosso sintassi-semantica":

• Sintassi vs. Semantica: Mentre i modelli di grandi dimensioni (≥70 miliardi di parametri) dimostrano un'alta competenza sintattica (fino all'87-90% di regole valide), i modelli piccoli (≤4 miliardi) sono largamente inefficaci. Tuttavia, anche i migliori modelli richiedono moduli di controllo e correzione della sintassi; solo il ~21% delle regole del miglior modello era valido al primo tentativo.
• Implementabilità Semantica: Nonostante l'alto successo sintattico, gli esperti hanno ritenuto semanticamente corrette e implementabili solo il 37,5% delle regole generate. I motivi principali del rifiuto sono stati la bassa specificità (eccessiva dipendenza da variabili generiche come ANY), la forte dipendenza dal puro matching di contenuto (mancanza di campi come OFFSET, DEPTH o campi specifici del protocollo) e le allucinazioni logiche (ad esempio, associazioni errate di porte/protocolli).
• Performance del Modello: DeepSeek-R1 70B e Llama-3.1/3.3 70B sono emersi come i motori superiori. L'inclusione di dati PoC ha migliorato l'accuratezza sintattica, ma solo per i modelli in grado di gestire ampie finestre di contesto.
• Fiducia degli Esperti e Usabilità:
  • Il sistema ha ricevuto un punteggio SUS favorevole di 67, indicando che è percepito come utilizzabile e apprendibile.
  • Tuttavia, gli esperti rimangono scettici riguardo alle capacità autonome. Vedono gli LLM come strumenti di supporto per la stesura, il controllo della sintassi e la spiegazione, piuttosto che come generatori indipendenti.
  • Adozione: Oltre il 70% degli esperti ha rifiutato di distribuire le regole "così come sono", citando la necessità di un sostanziale raffinamento umano (valutazione media dello sforzo: 4,25/5).
  • Carico Cognitivo: Sebbene gli esperti potessero identificare facilmente i difetti in scenari semplici, la loro fiducia e capacità di validare le regole diminuivano all'aumentare della complessità della rete, sebbene gli esperti altamente qualificati (3+ anni) mantenessero un'accuratezza maggiore nell'identificare i problemi anche in contesti complessi.

Significato e Rivendicazioni
Il documento rivendica di fornire una valutazione fondamentale degli LLM nel dominio dell'ingegneria delle regole. Il suo significato primario risiede nel delineare i limiti degli attuali LLM: sebbene possano produrre codice sintatticamente corretto, attualmente mancano delle capacità di ragionamento profondo necessarie per la precisione semantica e la consapevolezza del contesto richieste per regole NIDS pronte per la produzione.

Gli autori concludono che la strada da seguire non è la generazione completamente autonoma, ma piuttosto le architetture human-in-the-loop. Questi sistemi dovrebbero dare priorità all'agency dell'analista, utilizzando gli LLM per assistere nella stesura, nella verifica e nella spiegazione, affidandosi agli esperti umani per la validazione finale e il processo decisionale per mitigare i rischi di falsi positivi e allucinazioni. Il lavoro serve come tabella di marcia per lo sviluppo di workflow di ingegneria delle regole più robusti, affidabili e allineati all'uomo.