Building an Adversarial Malware Dataset by Family and Type: Generation, Evasion, and Poisoning Evaluation

Riepilogo Tecnico: Costruzione di un Dataset di Malware Adversarial per Famiglia e Tipo

Enunciato del Problema
Il campo del rilevamento del malware si basa sempre più su classificatori di machine learning (ML), tuttavia questi sistemi sono vulnerabili ad attacchi adversarial in cui attori malevoli modificano gli eseguibili per eludere il rilevamento preservando la funzionalità. Esiste un divario significativo nella comunità di ricerca: manca un dataset su larga scala e pubblicamente disponibile contenente binari di malware reali che siano stati sistematicamente trasformati in campioni adversarial. I generatori adversarial esistenti spesso richiedono configurazioni complesse, risorse computazionali significative o non riescono a scalare a dimensioni di dataset significative. Inoltre, la suscettibilità delle pipeline di rilevamento basate su ML ad attacchi di avvelenamento dei dati, in cui i dati di addestramento vengono contaminati da campioni etichettati erroneamente, rimane poco esplorata su larga scala.

Metodologia
Gli autori hanno costruito un dataset completo di malware adversarial derivato dalla raccolta pubblica RawMal-TF, che contiene file Portable Executable (PE) reali etichettati per famiglia (17 famiglie distinte) o per tipo (14 tipi, ad esempio trojan, spyware).

1. Selezione e Distribuzione del Generatore:
   Lo studio ha utilizzato una suite di cinque generatori automatizzati di malware adversarial: Pesidious, MAB-Malware, AMG, GAMMA Sections (da SecML Malware) e MalwareTotal.

   • Classificatori Target: La maggior parte dei generatori ha preso di mira il classificatore EMBER (2018). Per aumentare la diversità e la sfida, MalwareTotal è stato anche adattato per prendere di mira EMBER2024, un set di funzionalità e un modello più recenti e robusti.
   • Infrastruttura: Gli autori hanno distribuito questi generatori in un ambiente containerizzato (Docker) su un server NVIDIA DGX Station A100. Hanno sviluppato uno script "harness" personalizzato per gestire l'esecuzione parallela, monitorare i blocchi dei processi e gestire i vincoli di risorse.
   • Modifiche: Diversi generatori hanno richiesto aggiustamenti del codice per funzionare nell'ambiente Linux, inclusa la sostituzione dei packer specifici per Windows con il cross-platform PEzor e il riaddestramento degli agenti per supportare i nuovi classificatori target.

2. Selezione e Filtraggio dei Campioni:

   • La pipeline ha elaborato i campioni sorgente per generare varianti adversarial.
   • È stato impiegato un algoritmo di selezione (Algoritmo 1) per scegliere la singola variante adversarial migliore per ogni file sorgente. Il criterio principale era il punteggio EMBER (più basso è meglio per l'evasione), con un vincolo secondario sull'aumento delle dimensioni del file (preferendo un rapporto $\le$ 1,5x, con un limite massimo rigido a 25 MB).
   • Il dataset include campioni indipendentemente dal loro stato di classificazione originale (malevoli o benigni) per garantire la diversità, purché siano stati modificati con successo.
   • I casi patologici (ad esempio, output non modificati, campioni collassati in cui input diversi producono output identici) sono stati rilevati ed esclusi.

3. Metriche di Valutazione:

   • Prestazioni di Evasione: Misurate dalla riduzione dei punteggi EMBER e dalla percentuale di campioni classificati come benigni.
   • Evasione degli Antivirus: Valutata contro VirusTotal (VT), analizzando specificamente i tassi di rilevamento su tutti i motori disponibili e su una lista curata "Top 10" di antivirus commerciali.
   • Sovraccarico: Misurato dall'aumento delle dimensioni del file.

4. Esperimenti di Avvelenamento dei Dati:
   Gli autori hanno condotto esperimenti di addestramento per valutare l'impatto dell'avvelenamento dei dati. Hanno iniettato campioni adversarial nel set di addestramento di un classificatore LightGBM (addestrato sulle funzionalità RawMal-TF) in condizioni variabili:

   • Frazione Avvelenata: La percentuale di dati di addestramento sostituita da campioni adversarial (da 0,1% a 20%).
   • Tasso di Trasferibilità ($\tau$): La proporzione di campioni malevoli iniettati che sono stati erroneamente etichettati come benigni. $\tau=0$ rappresenta l'addestramento adversarial (etichette corrette), mentre $\tau=1$ rappresenta l'avvelenamento massimo (etichette errate).

Contributi Chiave

• Dataset AdvMal-TF: Il rilascio di due dataset su larga scala e pubblicamente disponibili:
  • Etichettati per Famiglia: 44.347 campioni adversarial.
  • Etichettati per Tipo: 33.596 campioni adversarial.
  • Entrambi i dataset includono metadati ricchi, inclusi punteggi EMBER, punteggi EMBER2024 e classificazioni VirusTotal.
• Pipeline di Generazione Scalabile: Un framework robusto e containerizzato per l'esecuzione parallela di più generatori adversarial, che affronta i problemi di affidabilità comuni negli strumenti di ricerca sul malware.
• Analisi dell'Avvelenamento: Evidenza empirica che quantifica la vulnerabilità dei classificatori di malware ad attacchi di avvelenamento dei dati su piccola scala e l'efficacia dell'addestramento adversarial con etichette corrette.

Risultati

• Tassi di Evasione:
  • Contro il classificatore EMBER, il dataset etichettato per famiglia ha raggiunto un tasso di evasione del 98,35% per i campioni originariamente rilevati, mentre il dataset etichettato per tipo ha raggiunto il 92,20%.
  • GAMMA Sections e Pesidious sono stati particolarmente efficaci contro gli antivirus commerciali su VirusTotal, sebbene i tassi di evasione variassero significativamente in base al generatore e all'obiettivo.
  • I generatori che prendevano di mira EMBER2024 hanno raggiunto tassi di successo inferiori, evidenziando la maggiore robustezza del modello più recente.
• Sovraccarico delle Dimensioni del File: GAMMA Sections ha prodotto i maggiori aumenti delle dimensioni del file (spesso >1000%), mentre MalwareTotal ha offerto il miglior equilibrio tra riduzione del punteggio e aumento delle dimensioni.
• Impatto dell'Avvelenamento:
  • Alta Vulnerabilità: L'iniezione di campioni completamente etichettati erroneamente ($\tau=1,0$) che rappresentavano solo lo 0,5% dei dati di addestramento ha aumentato il tasso di evasione del classificatore riaddestrato da una linea di base del 26,1% al 92,8% sul dataset etichettato per famiglia.
  • Addestramento Adversarial: Al contrario, l'iniezione di campioni adversarial correttamente etichettati ($\tau=0$) ha costantemente ridotto i tassi di evasione al di sotto della linea di base, agendo come un efficace addestramento adversarial.
  • Stabilità delle Metriche: I punteggi F1 sono rimasti ingannevolmente stabili anche mentre i tassi di evasione crollavano, indicando che le metriche standard potrebbero non rilevare il degrado della robustezza adversarial indotto dall'avvelenamento.
• Caratteristiche del Dataset: Il dataset etichettato per famiglia ha mostrato segni di overfitting (alto F1 di base ma scarsa generalizzazione cross-dataset), mentre il dataset etichettato per tipo ha dimostrato una maggiore diversità e prestazioni di base più realistiche.

Significato
Il documento afferma che il dataset AdvMal-TF colma una lacuna critica nelle risorse fornendo binari adversarial reali e funzionalmente preservati su larga scala. Gli autori sostengono che questa risorsa faciliterà la futura ricerca su:

1. Malware Adversarial: Comprendere le capacità e i limiti delle attuali tecniche di evasione.
2. Avvelenamento dei Dati: Valutare la robustezza delle pipeline di rilevamento contro la contaminazione dei dati di addestramento.
3. Robustezza Difensiva: Consentire lo sviluppo di classificatori più resilienti attraverso l'addestramento adversarial con campioni correttamente etichettati.

Il lavoro evidenzia che, sebbene i generatori attuali faticino contro classificatori avanzati come EMBER2024, la disponibilità di dataset diversificati e su larga scala è essenziale per far progredire le strategie difensive. Gli autori concludono che la qualità dei dati di addestramento (in particolare la correttezza delle etichette) è critica quanto il volume dei dati nel determinare la robustezza del classificatore.