Disentangling Mechanism, Budget, and Coverage in Data Augmentation for Imbalanced Malware Family Classification
Questo articolo scinde gli effetti del meccanismo di generazione, del budget di aumento e della copertura nei modelli generativi profondi per la classificazione di malware sbilanciati, riscontrando che, mentre la maggior parte dei fattori produce guadagni di prestazioni trascurabili, l'aumento del budget di aumento fornisce un miglioramento piccolo ma riproducibile per i classificatori RBF-SVM, evidenziando l'importanza critica del design sperimentale nella valutazione delle strategie di aumento dei dati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo digitale, i team di sicurezza affrontano una battaglia costante e sbilanciata contro i software malevoli. Devono classificare migliaia di programmi informatici in famiglie basandosi sul loro comportamento, proprio come un biologo che classifica le piante in base alla forma delle loro foglie. Il problema è che i dati su cui si affidano sono fortemente sbilanciati. Poche famiglie comuni di malware appaiono migliaia di volte nei loro registri, mentre molte famiglie emergenti e rare compaiono solo poche volte. Quando un programma informatico cerca di apprendere da questi dati sproporzionati, diventa eccellente nel riconoscere le minacce comuni, ma fallisce nel individuare quelle rare, che sono spesso le più pericolose perché nuove e imprevedibili. Per risolvere questo problema, i ricercatori hanno provato una tecnica chiamata aumento dei dati (data augmentation). Questo consiste nel creare esempi falsi delle famiglie rare per insegnare al programma informatico come riconoscerle. Alcuni ricercatori utilizzano metodi semplici che copiano e modificano leggermente gli esempi esistenti, mentre altri utilizzano sistemi complessi di deep learning che cercano di immaginare come dovrebbe apparire un nuovo esempio partendo da zero. La storia prevalente è stata che i sistemi più complessi e immaginativi producono dati falsi migliori e, di conseguenza, strumenti di sicurezza migliori.
Un team di ricercatori della San Jose State University ha deciso di testare se questa storia fosse effettivamente vera. Si sono posti l'obiettivo di vedere se i sistemi sofisticati e complessi fossero davvero superiori, o se il successo di questi strumenti fosse semplicemente dovuto a quanti esempi falsi venivano creati e a quali famiglie venissero scelti come obiettivo. Per farlo, hanno costruito un esperimento controllato utilizzando un dataset di quasi 1.200 programmi malevoli rappresentanti venti diverse famiglie. Hanno preso venti famiglie distinte, che andavano da quelle con solo cinque campioni noti a quelle con cento e cinquanta, e hanno creato un ambiente di addestramento in cui i programmi informatici dovevano imparare a identificarle. I ricercatori hanno poi confrontato tre diversi tipi di sistemi di apprendimento: una foresta casuale (random forest), che prende decisioni ponendo una serie di domande sì-o-no; una rete neurale, che apprende attraverso strati di connessioni; e una macchina a vettori di supporto (support vector machine), che traccia confini tra i gruppi in base a quanto sono distanti tra loro. Hanno testato questi sistemi utilizzando due modi diversi per descrivere il malware: uno che contava quante volte apparivano specifiche istruzioni informatiche, e un altro che trasformava quelle istruzioni in coordinate matematiche per catturarne il significato.
I ricercatori hanno creato un insieme rigoroso di regole per garantire un confronto equo. Hanno fatto in modo che il numero di esempi falsi creati per ogni famiglia fosse identico e si sono assicurati che le stesse famiglie fossero l'obiettivo di ogni metodo. Ciò ha permesso loro di isolare tre fattori specifici: il metodo utilizzato per creare i dati falsi, il numero totale di esempi falsi generati e il numero di diverse famiglie che ricevevano tali esempi falsi. Hanno confrontato un metodo semplice che interpola tra gli esempi reali con un sistema complesso e non ottimizzato che genera dati dal rumore. Quando hanno esaminato i risultati, hanno scoperto che il sistema generativo complesso non superava costantemente il metodo semplice. In effetti, per il sistema di apprendimento più efficace del loro studio, la differenza tra l'uso del generatore complesso e quello semplice era così piccola da essere quasi invisibile. Lo studio non ha rilevato un effetto significativo dalla complessità del generatore, riconoscendo che, sebbene non sia stato trovato alcun effetto, effetti più piccoli rimangono possibili e non sono stati esclusi dall'analisi. Inveio, hanno scoperto che il fattore più significativo era semplicemente quanti esempi falsi venivano aggiunti. Quando aumentavano il numero di campioni sintetici per una specifica famiglia, le prestazioni del sistema di apprendimento basato sulla distanza miglioravano sensibilmente.
I ricercatori hanno anche scoperto che i benefici dell'aggiunta di più dati falsi non erano distribuiti uniformemente tra tutti i tipi di sistemi di apprendimento. Il sistema che si basa sulla misurazione delle distanze tra i punti dati era l'unico a mostrare un miglioramento chiaro e ripetibile all'aumentare del numero di campioni falsi. Gli altri sistemi, inclusa la foresta casuale, erano già così efficaci da rendere l'aggiunta di dati falsi trascurabile o nulla. In alcuni casi, la foresta casuale raggiungeva i punteggi di accuratezza più elevati senza alcun aumento di dati. Ciò suggerisce che per certi tipi di strumenti di apprendimento, lo sforzo di generare dati falsi complessi potrebbe essere superfluo. Lo studio ha anche esaminato se aggiungere dati falsi a più famiglie, piuttosto che solo a quelle più difficili, fosse d'aiuto. Hanno scoperto che ampliare l'ambito per includere più famiglie forniva una piccola spinta, ma era circa la metà efficace rispetto al semplice aumento del numero di esempi per le famiglie che erano già l'obiettivo.
Le conclusioni mettono in discussione l'assunto che l'intelligenza artificiale più sofisticata sia sempre migliore per questo compito specifico. I ricercatori hanno concluso che la pratica comune di confrontare diversi modelli generativi senza controllare il numero di esempi creati è fuorviante. Quando il numero di esempi e le famiglie target vengono mantenuti costanti, la scelta del generatore conta molto meno della quantità di dati forniti. I miglioramenti più affidabili derivavano semplicemente dall'avere più punti dati per le famiglie rare, un fattore che può essere raggiunto con metodi molto più semplici. Per gli analisti di sicurezza, questo significa che, prima di investire in sistemi complessi per generare nuovi esempi di malware, dovrebbero prima considerare se i loro attuali strumenti di apprendimento siano semplicemente sotto-addestrati a causa della mancanza di dati. Se utilizzano un sistema che si basa sulla misurazione delle distanze tra gli esempi, aggiungere più dati è la chiave. Se utilizzano un sistema che è già robusto, come una foresta casuale, l'ulteriore sforzo per generare dati sintetici complessi potrebbe non valere la pena. Lo studio non afferma che i generatori complessi siano inutili, ma mostra che il loro vantaggio non è così automatico o universale come si pensava in precedenza, e che la quantità di dati spesso conta più del metodo utilizzato per crearli.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.