🤖 AI

Evaluating LLM Generated Detection Rules in Cybersecurity

Questo articolo introduce un framework di valutazione open-source e metriche di benchmark progettate per valutare l'efficacia delle regole di rilevamento della cybersecurity generate da LLM, confrontandole con regole generate da esseri umani utilizzando una metodologia di set di holdout.

Autori originali: Anna Bertiger, Bobby Filar, Aryan Luthra, Stefano Meschiari, Aiden Mitchell, Sam Scholten, Vivek Sharath

Pubblicato 2026-08-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Anna Bertiger, Bobby Filar, Aryan Luthra, Stefano Meschiari, Aiden Mitchell, Sam Scholten, Vivek Sharath

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate Internet come una città enorme e frenetica dove ogni email è una lettera che viaggia attraverso il sistema postale. In questa città, ci sono malintenzionati che cercano di far infiltrarsi lettere false, truffe e virus travestiti da biglietti amichevoli. Per fermarli, impieghiamo dei "detective" che scrivono regole specifiche per individuare questi malfattori. Per esempio, una regola potrebbe dire: "Se una lettera proviene da un indirizzo sospetto e ha un allegato strano, segnalala!". Queste regole sono le guardie di sicurezza della nostra città digitale.

Per molto tempo, solo i detective umani potevano scrivere queste regole. Studiavano migliaia di lettere, imparavano i trucchi del mestiere e scrivevano istruzioni precise per catturare i cattivi. Ma recentemente, è arrivato un nuovo tipo di detective: l'Intelligenza Artificiale (IA). Questi agenti di IA sono come apprendisti super veloci in grado di leggere istruzioni e scrivere le proprie regole in pochi secondi. La grande domanda che tutti si pongono è: questi apprendisti di IA sono effettivamente in grado di fare il lavoro? O stanno solo scrivendo regole che sembrano intelligenti ma falliscono nel catturare i veri criminali, o peggio, iniziano a urlare "Al fuoco!" alle persone innocenti? Questo è l'enigma che un team di ricercatori di Sublime Security ha cercato di risolvere. Volevano vedere se un'IA potesse scrivere regole di sicurezza bene quanto un esperto umano e, in caso affermativo, quanto costasse far lavorare quell'IA.

Il documento presenta un nuovo modo per testare questi detective di IA, concentrandosi su un agente specifico di IA chiamato ADÉ (pronunciato "Ah-Day"). ADÉ è progettato per esaminare una singola email malevola e scrivere una regola per catturare email simili in futuro. I ricercatori non si sono limitati a chiedere: "Ha funzionato?". Hanno costruito un sistema di punteggio dettagliato per misurare tre cose: quanto bene la regola cattura le email maligne (accuratezza), quanto è probabile che la regola si rompa se un hacker cambia un piccolo dettaglio (robustezza) e quanto costa economicamente far sì che l'IA scriva una regola funzionante (costo economico).

Per testare ADÉ, i ricercatori hanno giocato a un complicato gioco di "nascondino e cercasi" con le regole scritte da umani. Hanno preso un elenco di eccellenti regole create dagli esseri umani dalla collezione di Sublime Security e ne hanno nascosta una segretamente dalla memoria di ADÉ. Poi, hanno mostrato a ADÉ una singola email malvagia che la regola nascosta doveva catturare e hanno chiesto: "Puoi scrivere una regola per catturare questo?". Dopo che ADÉ ha scritto la sua regola, i ricercatori l'hanno confrontata con la regola umana originale utilizzando un enorme database di 45.000 email.

I risultati sono stati un mix di abilità impressionanti e comprensibili limitazioni. Per quanto riguarda la scrittura di regole difficili da ingannare (robustezza), ADÉ si è comportato sorprendentemente bene, ottenendo un punteggio quasi pari a quello degli esperti umani. Ad esempio, nei test che coinvolgevano email con codice JavaScript nascosto, le regole di ADÉ erano altrettanto difficili da aggirare rispetto a quelle umane. Tuttavia, ADÉ era molto più cauto. Mentre gli esperti umani scrivevano regole ampie progettate per catturare migliaia di email maligne basandosi su anni di esperienza, ADÉ scriveva regole molto strette basate solo sulla singola email che gli veniva mostrata. Di conseguenza, ADÉ catturava meno email maligne totali (Veri Positivi), ma commetteva anche molti meno errori segnalando email buone (Falsi Positivi). Infatti, per alcuni test, le regole di ADÉ avevano zero falsi allarmi, mentre le regole umane a volte segnalavano alcuni messaggi innocenti.

Lo studio ha anche esaminato il "costo" dell'uso dell'IA. Scrivere una regola non è gratis; ogni volta che l'IA prova a scrivere codice e fallisce, costa denaro far girare il computer. I ricercatori hanno scoperto che ADÉ di solito aveva bisogno di soli 1 a 3 tentativi per scrivere una regola che superasse i controlli tecnici. Ciò si traduceva in un costo molto basso, compreso tra circa 1,51 e 5,13 dollari per ogni regola riuscita, a seconda della complessità del compito. Interessantemente, l'IA tendeva a scrivere commenti molto più dettagliati spiegando la propria logica rispetto agli autori umani, rendendo le regole più facili da leggere.

In definitiva, il documento suggerisce che gli agenti di IA come ADÉ stanno diventando capaci di scrivere regole di sicurezza di alta qualità, specialmente quando si tratta di evitare falsi allarmi e rimanere entro il budget. Tuttavia, non sono ancora pronti a sostituire interamente gli esperti umani. Poiché l'IA vede solo un'email alla volta, fatica a scrivere le regole ampie e generaliste che gli umani creano dopo aver studiato migliaia di casi. I ricercatori concludono che, sebbene l'IA sia uno strumento potente in grado di gestire compiti specifici in modo efficiente, la migliore sicurezza deriva probabilmente da una partnership in cui l'IA si occupa del lavoro pesante della scrittura delle regole e gli esperti umani guidano la strategia per garantire che le regole gettino la rete più ampia possibile contro le minacce.

Sintesi Tecnica: Valutazione delle Regole di Rilevamento Generate da LLM nella Cybersecurity

Definizione del Problema

L'integrazione dei Large Language Models (LLM) e degli agenti AI nelle operazioni di cybersecurity affronta un significativo deficit di fiducia. Mentre i vendor promuovono gli agenti come rivoluzionari per il rilevamento, gli ingegneri esperti rimangono scettici, temendo la generazione di "nonsense che suona plausibile". Esiste una lacuna critica dovuta alla mancanza di metriche standardizzate e open-source per valutare l'efficacia delle regole di sicurezza generate dagli LLM. Senza una misurazione rigorosa, le organizzazioni non possono verificare se un agente sia in grado di svolgere il lavoro di un ingegnere del rilevamento umano, né possono costruire la fiducia necessaria per implementare questi strumenti senza sprecare tempo ed energia. Inoltre, i metodi di valutazione esistenti per la generazione di codice (ad esempio, la correttezza funzionale tramite unit test) e il rilevamento delle intrusioni (ad esempio, precisione/richiamo) non affrontano pienamente le sfide uniche della generazione di regole di sicurezza, come la robustezza avversaria, il rumore operativo e il costo economico dell'iterazione generativa.

Metodologia

Gli autori presentano un framework di valutazione e un benchmark open-source progettati per misurare la qualità delle regole di cybersecurity generate da LLM rispetto a una baseline generata da umani. La metodologia impiega un approccio basato su un "set di holdout", confrontando un agente autonomo con esperti umani.

L'Agente: ADÉ

Il framework è illustrato tramite ADÉ (Automated Detection Engineer), un sistema agentico sviluppato da Sublime Security. ADÉ opera su un'architettura agnostica rispetto al modello, utilizzando una base di conoscenza curata di best practice di detection engineering, TTP e documentazione MQL, insieme a strumenti per l'analisi dinamica dei file, la computer vision e la reputazione del mittente.

Workflow: ADÉ riceve un singolo campione di email malevole, lo analizza, cerca lacune di copertura nelle regole esistenti e genera regole di rilevamento MQL candidate.
Raffinamento Iterativo: A differenza dei tradizionali agenti che soffrono di deriva del contesto lungo (long-context drift), ADÉ impiega un ciclo di feedback chiuso. Valida la sintassi, esege le regole contro il campione e avvia caccia alle minacce (threat hunts) sui dati storici. I sub-agenti analizzano questi risultati (Veri Positivi, Falsi Positivi e robustezza) per fornire feedback, permettendo ad ADÉ di raffinare iterativamente la logica fino alla convergenza.

Metriche di Valutazione

Il framework valuta le regole attraverso tre dimensioni distinte:

Accuratezza del Rilevamento:
- Utilizza un dataset etichettato di circa 45.000 email (malevole e benigne).
- Calcola un Punteggio composito (Equazione 1) che media la precisione standard con la precisione dei Veri Positivi Unici (TP non catturati da alcuna altra regola nel feed principale).
- Razionale: Nella sicurezza, i rilevamenti unici sono altamente preziosi poiché aumentano il richiamo complessivo del sistema. Il framework riconosce la difficoltà di misurare i Falsi Negativi (gli "ignoti sconosciuti") e si concentra su metriche basate sulla precisione.
Costo Economico della Correttezza Sintattica:
- Adatta il framework "cost-to-pass" (Erol et al., 2025) per misurare l'impatto economico della generazione di regole valide.
- Calcola il Costo Totale = (Costo per tentativo) × (Numero di tentativi, $k$ ).
- Utilizza una metrica pass@k per determinare quanti tentativi siano necessari affinché l'agente generi una regola MQL sintatticamente corretta che superi la validazione.
Robustezza (Fragilità):
- Sviluppa un punteggio euristico di Fragilità ( $B \in [0, 100]$ ) basato sul rapporto tra ricompense (pattern robusti come indicatori comportamentali, fuzzy matching) e penalità (pattern fragili come corrispondenze dirette su IP, domini o hash).
- Razionale: Le corrispondenze dirette sono facilmente aggirabili tramite evasioni avversarie triviali, mentre gli indicatori comportamentali offrono soluzioni generalizzabili. Il Punteggio di Robustezza finale è $1 - (B/100)$ .

Contributi Chiave

Il documento introduce un nuovo framework di benchmark che affronta specificamente la generazione autonoma di regole di rilevamento:

Pipeline di Viabilità Operativa: Una valutazione end-to-end che combina la correttezza funzionale con la retro-caccia (retro-hunting) nel mondo reale per far emergere le soglie di rumore, la manutenibilità e i guardrail delle prestazioni.
Robustezza Avversaria Integrata: Una metrica specifica per misurare e fornire feedback sulla fragilità delle regole, con l'obiettivo di ridurre i bypass avversari triviali.
Framework Open-Source: Gli autori intendono rilasciare la pipeline modulare per consentire la ricerca riproducibile e la valutazione standardizzata per altri agenti di generazione di regole di sicurezza (ad esempio, YARA, DSL personalizzati).

Risultati

Lo studio ha confrontato le regole generate da ADÉ con le regole scritte da umani tenute fuori dal gruppo (held-out) dal Sublime Core Feed su 11 scenari di attacco distinti (ad esempio, BEC, HTML smuggling, phishing).

Ambito vs. Precisione: Le regole di ADÉ erano significativamente più ristrette nell'ambito, rilevando meno messaggi totali e meno Veri Positivi noti rispetto alle regole umane. Ciò è attribuito al fatto che ADÉ è limitato dal lavorare da un singolo campione di email, mentre gli umani progettano regole basate su ampi pattern comportamentali derivanti da grandi dataset.
Falsi Positivi: ADÉ ha generato regole con significativamente meno Falsi Positivi (spesso zero nel set di test), riflettendo la sua visione più ristretta dell'universo delle minacce.
Punteggi di Performance:
- Le regole umane hanno ottenuto punteggi compresi tra 0,711 e 0,996.
- Le regole di ADÉ hanno ottenuto punteggi compresi tra 0,557 e 1,000.
- In diversi casi (ad esempio, "EML con Javascript in un file SVG"), ADÉ ha ottenuto un punteggio superiore (0,998) rispetto alla baseline umana (0,996), grazie all'alta precisione e ai TP unici.
Robustezza: È stato riscontrato che le regole di ADÉ e quelle umane sono "piuttosto comparabili" in termini di fragilità. L'LLM di base ha saputo combinare con successo gli strumenti disponibili per produrre query con una resilienza all'evasione avversaria simile a quella degli esperti umani.
Efficienza dei Costi: La metrica pass@k ha mostrato una correlazione stretta con il costo effettivo in dollari dell'esecuzione dell'LLM. ADÉ ha tipicamente richiesto da 1 a 3 tentativi per generare regole sintatticamente valide, con costi compresi tra circa \ $1,50 e \$ 5,13 per regola.
Differenze Qualitative: ADÉ tendeva a generare regole con commenti più estesi e utili rispetto agli autori umani, sebbene le regole umane fossero più ampie nella loro logica di copertura.

Significato e Rivendicazioni

Il documento sostiene che questa metodologia fornisce una valutazione realistica e multifocale dei generatori di regole di sicurezza basati su LLM. Andando oltre la semplice correttezza funzionale per includere il costo economico e la robustezza avversaria, il framework offre una visione più olistica della loro viabilità operativa.

Gli autori concludono con modestia che, sebbene ADÉ produca attualmente regole con un richiamo più ristretto rispetto agli esperti umani (a causa del vincolo dell'input a singolo campione), dimostra la capacità di generare regole di alta qualità, robuste ed economicamente efficienti. Il framework serve come base per un miglioramento iterativo, suggerendo che il lavoro futuro possa utilizzare queste metriche per ampliare l'ambito di ADÉ al fine di competere con il richiamo umano mantenendo precisione e robustezza. Il documento non afferma che ADÉ abbia completamente sostituito gli ingegneri umani, ma piuttosto che sia un componente vitale e misurabile del workflow di rilevamento che può essere sistematicamente migliorato.