Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

Nel mondo ad alto rischio della cybersicurezza, i difensori operano da tempo in modalità reattiva, aspettando che suoni un allarme prima di poter agire. Nel momento in cui un'intrusione viene rilevata, il danno è spesso già stato fatto. Per cambiare questa dinamica, i ricercatori si sono rivolti alla previsione: il tentativo di predire che tipo di attacchi avverranno, dove colpiranno e chi sarà l'obiettivo prima che si verifichino. Questo campo si basa su vaste collezioni di dati storici, note come repository di incidenti, che registrano i dettagli dei passati attacchi informatici. Tuttavia, questi record sono spesso dispersi in diversi database, ognuno dei quali utilizza il proprio linguaggio e formato, e molti mancano di dettagli cruciali. Per costruire un quadro utile del futuro, gli scienziati devono fondere questi archivi separati in un'unica storia completa, colmando le lacune mancanti con supposizioni istruite derivate dai dati di cui dispongono. La sfida consiste nel garantire che queste supposizioni non ingannino accidentalmente i modelli stessi progettati per apprendere da essi, creando un falso senso di sicurezza dove non ne esiste uno.

Un team di ricercatori dell'Università Islamica Internazionale di Islamabad, della Seoul National University e dell'Università del Principe Mugrin si è posto l'obiettivo di testare l'affidabilità di questa pratica comune. Hanno combinato due massicci database di incidenti informatici: il VERIS Community Database, che offre dettagli strutturati e profondi sugli attacchi ma smette di registrare nel 2017, e Hackmageddon, che fornisce un flusso continuo di incidenti recenti ma con informazioni meno dettagliate. Armonizzando queste due fonti, hanno creato un record unificato di oltre 20.000 incidenti che coprono più di cinquanta anni. Per rendere utilizzabili i dati, hanno dovuto colmare i campi mancanti per ogni incidente, come il motivo specifico dell'attaccante o il tipo di asset preso di mira. Lo hanno fatto addestrando un modello informatico per predire i dettagli mancanti basandosi sulle informazioni disponibili nell'altro database. Questo processo ha prodotto un dataset completo, ma ha anche introdotto una sottile trappola. Poiché le etichette mancanti sono state generate da un modello informatico utilizzando le stesse caratteristiche che i modelli di previsione avrebbero poi usato per fare predizioni, i modelli di previsione stavano essenzialmente venendo testati su risposte che avevano già imparato a riconoscere.

Quando i ricercatori hanno valutato i loro modelli di previsione su questo dataset unificato, i risultati sono sembrati inizialmente promettenti. I modelli sembravano predire il tipo di attacco futuro con un'accuratezza che sembrava superare i benchmark standard. Tuttavia, il team sospettava che questi punteggi elevati fossero un'illusione causata dal modo in cui i dati erano stati costruiti. Per investigare, hanno separato i dati di test in due gruppi: i record in cui il tipo di attacco era stato originariamente osservato e registrato dagli esseri umani, e i record in cui il tipo di attacco era stato ricostruito dal modello informatico durante il processo di fusione. La differenza era netta. Sui record con etichette osservate dagli umani, le prestazioni del modello sono scese significativamente, rivelando che gli alti punteggi sul dataset completo erano in gran parte dovuti al fatto che il modello stava semplicemente memorizzando i pattern del computer che aveva colmato i dati mancanti. Infatti, il divario tra i due gruppi era così grande che la prestazione media complessiva era stata gonfiata di quasi quarantatré punti percentuali, una distorsione che sarebbe rimasta nascosta se i ricercatori avessero guardato solo i numeri combinati.

Per confermare che questa inflazione fosse causata specificamente dall'atto di colmare i dati mancanti, e non da altre differenze tra i due periodi temporali, i ricercatori hanno eseguito un esperimento controllato. Hanno preso un singolo periodo temporale in cui tutti i dati erano stati originariamente osservati, poi hanno deliberatamente nascosto una parte delle etichette e le hanno colmate utilizzando lo stesso modello informatico usato per il dataset principale. Quando hanno addestrato il loro modello di previsione su questi dati misti, la prestazione sulle etichette ricostruite era ancora una volta molto più alta rispetto a quelle osservate. Ciò ha dimostrato che l'atto dell'imputazione stessa crea un ciclo circolare in cui il modello impara a imitare l'agente che colma i vuoti piuttosto che il fenomeno reale. Lo studio ha anche rivelato un risultato controintuitivo: peggiore era il modello informatico nel colmare i dati mancanti, maggiore era l'inflazione artificiale delle prestazioni del modello di previsione. Un imputer scarso crea un pattern unico e idiosincrasico nei dati mancanti che è facile da apprendere per un modello a valle, mentre un imputer altamente accurato si fonde così bene da non creare un segnale distinto e apprendibile.

Oltre al problema della perdita di dati (data leakage), i ricercatori hanno esplorato come rappresentare al meglio le informazioni all'interno di questi record. I dati relativi agli incidenti informatici sono ricchi di categorie ad alta cardinalità, come i nomi di centinaia di diversi paesi o migliaia di organizzazioni specifiche. I metodi tradizionali spesso trattano queste categorie come semplici numeri, il che può confondere i modelli. Il team ha testato una tecnica chiamata "entity embeddings", che apprende una rappresentazione matematica densa e unica per ogni categoria, permettendo al modello di comprendere le relazioni tra di esse. Questo approccio ha migliorato drasticamente la capacità del modello di predire i tipi di attacco, aumentando le sue prestazioni di quasi diciannove punti percentuali rispetto al metodo tradizionale. Questa scoperta suggerisce che studi precedenti che affermavano che i modelli di deep learning performassero male su questo tipo di dati potrebbero essere stati limitati dal modo in cui i dati gli venivano presentati, piuttosto che dai modelli stessi.

Lo studio ha anche esaminato la difficoltà di predire il paese specifico preso di mira da un attacco. Mentre i modelli potevano raggiungere un'accuratezza complessiva elevata semplicemente indovinando i paesi più comuni, faticavano immensamente a identificare correttamente i bersagli meno frequenti. Le prestazioni in questo compito erano così basse che superavano a malapena la baseline di indovinare sempre la classe maggioritaria. I ricercatori hanno determinato che ciò non era dovuto a una mancanza di dati o a uno squilibrio nel numero di attacchi, bensì al fatto che semplicemente non c'è abbastanza informazione specifica nei record disponibili per distinguere tra centinaia di diversi paesi. Le caratteristiche presenti nei dati non portano il segnale geografico necessario per rendere affidabili queste predizioni granulari.

Infine, il team ha testato i propri modelli sotto una valutazione strettamente cronologica, addestrandoli sui dati del passato e testandoli su quelli del futuro, che è l'unico modo per valutare realmente un sistema di previsione. Sotto queste condizioni realistiche, le prestazioni sono diminuite ulteriormente e i modelli di deep learning, che precedentemente erano rimasti indietro rispetto ai più semplici modelli basati su alberi, li hanno finalmente superati. Questo ribaltamento suggerisce che i modelli profondi, aiutati dalla migliore rappresentazione dei dati, erano più bravi a generalizzare su nuovi periodi temporali non visti, mentre i modelli più semplici stavano semplicemente memorizzando pattern specifici della finestra di addestramento. I ricercatori hanno concluso che, sebbene sia possibile prevedere il tipo generale di attacco con un successo modesto, predire il paese specifico o l'esatto schema di un attacco rimane fuori portata con gli attuali dati e metodi. Il loro contributo primario non è stato un nuovo algoritmo di predizione, ma un protocollo rigoroso per valutare i dataset unificati che espone queste falle nascoste, garantendo che la ricerca futura nella cybersicurezza e in altri campi non scambi gli artefatti della costruzione dei dati per un reale potere predittivo.