Multi-LLM Consensus Framework for Evaluating Banking-Sector NIDS Dataset Coverage of MITRE ATT&CK Techniques

Immaginate Internet come una città enorme e frenetica dove le banche sono le casseforti più importanti. Per mantenere queste casseforti al sicuro, guardie giurate chiamate Network Intrusion Detection Systems (NIDS) pattugliano le strade digitali, controllando che nessuno cerchi di scassinare. Queste guardie vengono addestrate usando delle "esercitazioni pratiche": enormi collezioni di dati di attacco finti chiamati dataset. Il problema è che la maggior parte di queste esercitazioni è generica. Insegnano alle guardie come fermare un comune borseggiatore o un ladro di auto, ma raramente mostrano loro come fermare un genio del crimine che sa esattamente come hackerare il sistema speciale di trasferimento fondi di una banca o ingannare un bancomat. È come addestrare un vigile del fuoco solo su incendi in cucina e poi mandarlo a spegnere l'esplosione di un impianto chimico; potrebbe sapere come usare una manichetta, ma non saprà cosa fare quando i prodotti chimici inizieranno a reagire. Questo articolo pone una domanda semplice ma critica: le nostre attuali esercitazioni di addestramento stanno davvero preparando queste guardie digitali per gli attacchi specifici e subdoli che prendono di mira le banche, o stanno solo dando alle guardie un falso senso di fiducia lasciandole però vulnerabili?

Gli autori di questo articolo hanno deciso di investigare questo divario costruendo un nuovo modo più intelligente per testare questi dataset di addestramento. Invece di limitarsi a contare quanti "cattivi" ci sono in un dataset, hanno utilizzato un metodo che imita il modo in cui funzionano realmente i sensori di sicurezza nel mondo reale. Sono partiti da un elenco massiccio di 210 diversi modi in cui gli hacker potrebbero attaccare una banca, tratti da una famosa guida chiamata MITRE ATT&CK. Tuttavia, sapevano che i veri sensori di sicurezza hanno dei limiti: non possono vedere dentro i messaggi criptati (come una lettera chiusa in una busta), non possono vedere cosa sta succedendo all'interno del cervello di un computer (come un file che viene eliminato) e possono solo osservare il traffico passivamente, come una telecamera su un palo, senza essere in grado di fermarlo.

Per capire quali di quei 210 attacchi un sensore potesse effettivamente vedere, i ricercatori non hanno chiesto un solo esperto. Hanno utilizzato un "motore di consenso" composto da quattro potenti modelli di intelligenza artificiale. Pensate a un panel di quattro detective super intelligenti che devono tutti concordare sul fatto che un attacco specifico lasci una traccia visibile. Se tre detective su quattro dicevano: "Sì, possiamo vedere questo", allora l'attacco era considerato rilevabile. Se erano in disaccordo, il team è stato prudente e ha assunto che l'attacco fosse invisibile al sensore. Questa regola rigorosa ha filtrato l'elenco riducendolo a soli 68 attacchi che un vero sensore bancario potrebbe realisticamente individuare.

Successivamente, hanno preso questi 68 attacchi bancari "rilevabili" e hanno controllato cinque popolari dataset di addestramento per vedere quanto copressero questi specifici attacchi. I risultati sono stati illuminanti. Hanno scoperto che il dataset chiamato UNSW-NB15 era il migliore del gruppo, coprendo circa l'82,2% degli importanti attacchi bancari. Tuttavia, c'era un trucco: solo il 18,4% di quella copertura era un match diretto. Il resto era solo un vago indizio, come vedere del fumo ma non sapere se provenga da un incendio o da un barbecue. D'altra parte, un dataset chiamato CIC-DDoS2019, spesso usato per i test, è stato un disastro per la sicurezza bancaria. Ha mancato l'89,9% dei comportamenti bancari fondamentali, lasciando un enorme punto cieco. Risulta che questo dataset sia ottimo per individuare grandi e rumorosi attacchi di tipo denial-of-service, ma sia completamente inutile per i trucchi sottili e multi-fase che gli hacker usano per rubare denaro.

L'articolo suggerisce che affidarsi a questi vecchi dataset generici dia alle banche un "falso senso di sicurezza". Il fatto che un sistema di sicurezza ottenga un punteggio alto in un test generico non significa che funzionerà quando un vero hacker cercherà di manipolare un trasferimento di denaro SWIFT o di svaligiare un bancomat. Gli autori concludono che abbiamo un bisogno urgente di nuovi dati di addestramento che siano costruiti specificamente per le banche, includendo i loro linguaggi e protocolli unici. Fino ad allora, le guardie digitali potrebbero essere molto brave a individuare i ladri comuni, ma sono probabilmente destinate a essere colte di sorpresa dai colpi sofisticati che minacciano realmente il sistema finanziario globale.