On fair and realistic performance evaluations for graph-based lateral movement detectors

Immaginate Internet come una città gigante e frenetica dove ogni computer è un edificio e ogni pacchetto di dati è un camioncino per le consegne. In questa città, le guardie giurate (gli esperti di cybersecurity) sorvegliano costantemente l'area alla ricerca di problemi. Di solito, cercano qualcuno che tenta di scassinare un edificio dall'esterno. Ma i ladri più subdoli non si limitano a entrare in un edificio; una volta entrati in un edificio, iniziano a saltare da una stanza all'altra, rubando chiavi e aprendo porte che conducono alle casseforti più preziose. Questo saltare furtivo all'interno della città è chiamato "movimento laterale". Per catturare questi borri digitali, i ricercatori costruiscono dei "detective": programmi informatici che analizzano i registri del traffico della città e cercano di individuare i modelli insoliti di un ladro che si sposta tra gli edifici.

Per anni, questi ricercatori hanno corso per costruire i migliori detective. Per vedere chi sta vincendo, utilizzano dei "campi di addestramento": enormi dataset pre-confezionati che simulano una città con un ladro noto che corre in giro. L'idea è semplice: se il tuo detective trova il ladro nel campo di addestramento, allora è bravo. Ma ecco il problema: i campi di addestramento sono disordinati. Alcuni ricercatori puliscono i registri eliminando il traffico "noioso", mentre altri etichettano ogni singolo passo del ladro come un crimine. È come giudicare l'abilità di un detective dandogli un test in cui hai già nascosto tutti gli indizi difficili e gli hai detto esattamente dove si trova il cattivo. Se le regole del test cambiano da un ricercatore all'altro, non puoi davvero capire chi sia il vero migliore detective.

Questo è esattamente ciò che investiga il saggio "On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors". L'autore, Corentin Larroche, agisce come un arbitro che decide di controllare i tabellini delle ultime grandi competizioni. Esamina due famosi campi di addestramento (dataset chiamati LANL e OpTC) e scopre che i ricercatori hanno utilizzato regole molto diverse tra loro per preparare i dati e per etichettare i "crimini". Alcuni filtravano le persone innocenti per rendere il test più facile, mentre altri contavano il traffico innocuo come malizioso. Il saggio sostiene che queste regole incoerenti stanno facendo apparire i risultati molto migliori di quanto siano in realtà.

Larroche propone quindi un nuovo insieme di regole più rigorose per la preparazione di questi dataset. Suggerisce che dovremmo mantenere tutto il traffico nel test, non solo le parti "interessanti", e che dovremmo essere molto cauti su cosa chiamiamo "movimento laterale". Quando riesegue i test per tre famosi metodi di rilevamento usando le sue nuove regole più eque, i risultati cambiano drasticamente. I detective che sembravano supereroi nei vecchi test improvvisamente appaiono molto meno impressionanti. Ad esempio, un metodo che precedentemente rivendicava un punteggio quasi perfetto subisce un calo significativo quando è costretto a gestire i dati disordinati e realistici. Il saggio conclude che, sebbene il rilevamento del movimento laterale sia ancora un problema molto difficile, dobbiamo smettere di usare aggiustamenti distorti nei nostri test se vogliamo mai costruire un sistema che funzioni nel mondo reale.