Graph Neural Networks for Provenance-Based APT Detection under a Temporal Transfer Framework: A Review

Negli strati nascosti dei sistemi informatici, una guerra silenziosa viene combattuta costantemente. Gli aggressori, noti come minacce persistenti avanzate (advanced persistent threats), non mandano in crash i server o rubano dati in un unico, rumoroso scoppio. Invece, si muovono lentamente, come un ladro che entra in una casa, aspetta che la famiglia si addormenti e poi si sposta silenziosamente da una stanza all'altra, aprendo cassetti e copiando documenti nel corso di giorni o settimane. Per catturare un intruso così paziente, gli esperti di sicurezza esaminano la cronologia del sistema, ovvero la provenienza (provenance). Questa è la registrazione di ogni azione compiuta da un computer: quale programma ha aperto quale file, quale processo ha inviato un messaggio a un altro e quando questi eventi sono accaduti. Collegando questi punti, gli esperti possono vedere il percorso invisibile che un aggressore lascia dietro di sé. Per anni, i ricercatori hanno cercato di usare l'intelligenza artificiale per leggere queste cronologie automaticamente, sperando di individuare i sottili schemi di un attacco prima che sia troppo tardi.

Una nuova revisione di questo campo, tuttavia, suggerisce che i successi attuali potrebbero essere un'illusione. I ricercatori hanno esaminato decine di studi che sostenevano di aver costruito modelli di intelligenza artificiale capaci di individuare queste intrusioni a lungo termine con un'accuratezza quasi perfetta. Hanno scoperto che, sebbene questi modelli si comportino brillantemente in laboratorio, spesso non tengono conto del fattore più critico nella sicurezza del mondo reale: il tempo. Gli studi esaminati hanno testato i loro modelli principalmente su dati che erano già completi, permettendo all'intelligenza artificiale di vedere eventi che non erano ancora accaduti al momento in cui avrebbe dovuto essere lanciato un avviso. È un po' come valutare uno studente in un esame di storia lasciandogli leggere il libro delle soluzioni prima di sedersi per scrivere. Quando i ricercatori hanno guardato più da vicino, hanno scoperto che i modelli non stavano necessariamente imparando a riconoscere il comportamento dell'aggressore; spesso stavano solo memorizzando i dettagli specifici dei dati di test o facendo affidamento su informazioni che non sarebbero state disponibili in una situazione reale e in tempo reale.

La revisione, condotta da un team di scienziati informatici, ha sintetizzato i risultati di ventinove diversi studi di rilevamento pubblicati tra il 2020 e il 2026. Questi studi hanno utilizzato un tipo di intelligenza artificiale chiamato rete neurale a grafi (graph neural network), progettata per comprendere le relazioni tra le cose, proprio come una mappa che mostra come le città siano collegate da strade. In questo contesto, le "città" sono i processi e i file del computer, e le "strade" sono le azioni che li collegano. I ricercatori hanno organizzato questi studi in un quadro chiaro per vedere come gestivano il passaggio del tempo. Hanno scoperto che, sebbene diciannove degli studi utilizzassero queste reti a grafi avanzate, pochissimi avevano effettivamente testato quanto bene funzionassero i modelli su dati provenienti da una data successiva. Nel mondo reale, un sistema di sicurezza viene addestrato su dati del mese scorso e deve rilevare attacchi che accadono oggi. La revisione ha scoperto che la maggior parte degli studi non ha simulato questo ritardo. Invece, hanno addestrato e testato i loro modelli sullo stesso lotto di dati, spesso mescolando la linea temporale in modo che il modello potesse "sbirciare" eventi futuri per prendere la sua decisione.

Uno dei risultati più significanti è stato che gli alti numeri di accuratezza riportati in questi studi probabilmente non si traducono nelle prestazioni del mondo reale. I ricercatori hanno definito due livelli di test per dimostrarlo. Il primo livello chiede se un modello, una volta addestrato e "congelato", sia ancora in grado di individuare gli attacchi quando gli viene mostrato un nuovo dato da un periodo successivo. Il secondo livello chiede se il modello possa adattarsi e migliorare man mano che vede nuovi dati. La revisione ha scoperto che, sebbene cinque studi menzionassero modi per adattare i propri modelli, nessuno di essi ha effettivamente testato queste adattabilità su dati di un periodo successivo. Inoltre, molti studi hanno utilizzato un metodo di etichettatura degli attacchi che creava una trappola nascosta. Se i ricercatori marcavano un file come "cattivo" perché era collegato a un altro file noto come cattivo, l'intelligenza artificiale poteva semplicemente imparare a cercare quella connessione piuttosto che il reale comportamento dell'attacco. Ciò significava che il modello superava il test riconoscendo le regole del test, non comprendendo la minaccia.

Il team ha anche evidenziato una specifica falla nella preparazione dei dati. In molti studi, l'intelligenza artificiale riceveva un quadro completo della cronologia del sistema, inclusi eventi accaduti ore o giorni dopo il momento in cui avrebbe dovuto essere lanciato un avviso. Questo è noto come "look-ahead bias" (pregiudizio di anticipazione). Per essere utile, un sistema di sicurezza deve prendere una decisione basandosi solo su ciò che è accaduto fino a quel preciso secondo. La revisione ha scoperto che pochissimi studi hanno riferito se avessero interrotto i dati al momento corretto. Senza questo taglio, i modelli venivano testati su uno scenario che non esiste nella realtà. I ricercatori hanno anche notato che i dataset utilizzati per questi test erano spesso piccoli e ripetitivi, contenendo solo poche settimane di dati e un numero limitato di scenari di attacco. Ciò limitava la capacità di vedere come i modelli avrebbero gestito i cambiamenti lenti e sottili nel comportamento del computer che avvengono nell'arco di mesi o anni.

Per risolvere questi problemi, gli autori hanno proposto un nuovo insieme di standard su come dovrebbero essere condotti questi studi. Hanno creato una checklist di ventuno elementi che i ricercatori devono seguire per dimostrare che i loro modelli funzionano in tempo reale. Ciò include la costruzione del grafo dei dati solo fino al momento della decisione, il blocco delle impostazioni del modello prima di testarlo su nuovi dati e la segnalazione di quanti falsi allarmi il sistema genererebbe in un vero ambiente d'ufficio. Hanno sostenuto che un modello che genera troppi falsi allarmi è inutile, indipendentemente dalla sua accuratezza nel rilevare gli attacchi, perché i team di sicurezza verrebbero sopraffatti. La revisione ha concluso che finché non verranno seguiti questi nuovi standard, le affermazioni di un rilevamento quasi perfetto nel campo della sicurezza basata sulla provenienza dovrebbero essere guardate con scetticismo. I modelli hanno mostrato potenziale, ma la prova che possano effettivamente proteggere i sistemi "sul campo", contro aggressori che cambiano le loro tattiche nel tempo, non è ancora stata dimostrata. La strada da seguire richiede un passaggio dal perseguire punteggi elevati su test statici al dimostrare che questi sistemi possano sopravvivere alla prova del tempo.