A Hybrid Approach For Malware Classification Using Secondary Features Fusion

Sintesi Tecnica: Un Approccio Ibrido per la Classificazione dei Malware Utilizzando la Fusione di Caratteristiche Secondarie

Problematica
La rapida evoluzione dei malware, caratterizzata da polimorfismo, offuscamento e varianti zero-day, rende insufficienti i metodi di rilevamento tradizionali. Gli attuali software anti-malware spesso non riescono a rilevare campioni variati o a classificarli in famiglie specifiche, ostacolando un'efficace mitigazione. Sebbene l'apprendimento automatico (ML) sia stato applicato al rilevamento dei malware, rimangono sfide riguardanti la generalizzazione delle caratteristiche tra le diverse famiglie, lo squilibrio delle classi nei dataset e la dipendenza dalla sola analisi statica o dinamica. Inoltre, il dataset ampiamente utilizzato della Microsoft Malware Classification Challenge manca di esempi benigni, limitandone l'utilità per il rilevamento binario (benigno vs. malevolo) insieme alla classificazione multi-classe delle famiglie.

Metodologia
Gli autori propongono un approccio ibrido che affronta due fasi distinte: l'ingegneria delle caratteristiche (feature engineering) e la modellazione. La metodologia prevede i seguenti passaggi:

1. Estensione e Preparazione del Dataset:

   • Lo studio modifica il dataset Microsoft Kaggle aggiungendo 1.609 file disassemblati benigni (.asm) ai 10.868 campioni di malware esistenti suddivisi in nove famiglie.
   • Questa estensione consente sia la classificazione binaria (malware vs. benigno) che la classificazione multi-classe (famiglie specifiche di malware).
   • Viene impiegato il campionamento casuale stratificato con reinserimento per mitigare i problemi di squilibrio delle classi inerenti al dataset originale.

2. Estrazione delle Caratteristiche (Feature Extraction):

   • Caratteristiche Primarie: Il sistema estrae le chiamate alle Application Programming Interface (API), gli import di Dynamic Link Library (DLL) e i mnemonici di Operation Code (OpCode) dalla sezione .text dei file disassemblati.
   • Caratteristiche Secondarie:
     • OpCode: Estratti come unigrammi, filtrati tramite una selezione basata su dizionario (rimozione di OpCode irregolari/personalizzati) e successivamente trasformati in quad-grammi a lunghezza fissa e n-grammi a lunghezza variabile.
     • API e DLL: L'analisi combinatoria ha determinato che i bi-grammi sono la dimensione ottimale per queste caratteristiche, bilanciando accuratezza e costo computazionale.
   • Riduzione del Rumore: Viene condotta un'analisi di frequenza per scartare le caratteristiche con bassa occorrenza (soglia < 50), garantendo il mantenimento solo delle caratteristiche rappresentative.

3. Selezione delle Caratteristiche (Feature Selection):

   • È implementato un processo di selezione in due fasi:
     • Selezione Primaria: Filtraggio basato su dizionario e analisi di frequenza per rimuovere caratteristiche irregolari e rare.
     • Selezione Secondaria: Valutazione di metodi di filtro (Entropia di Shannon), wrapper (la proposta Backward Selection utilizzando Random Forest e Regularized Greedy Forest) ed embedded (Lasso, XGBoost).
   • Viene proposto un algoritmo di backward selection personalizzato che rimuove iterativamente le caratteristiche meno importanti fino al raggiungimento di un numero minimo di caratteristiche, ottimizzando il set di caratteristiche per algoritmi specifici.

4. Fusione delle Caratteristiche (Feature Fusion):

   • Inveve di selezionare un singolo miglior set di caratteristiche, gli autori eseguono la fusione delle caratteristiche prendendo l'unione delle migliori caratteristiche da tutte le rappresentazioni (bi-grammi API, bi-grammi DLL, quad-grammi e n-grammi a lunghezza variabile) per creare una matrice di input completa.

5. Fusione degli Algoritmi (Ensemble):

   • Sono stati valutati dieci classificatori base, tra cui CART, Naive Bayes, SVM, Logistic Regression, kNN, Reti Neurali, Random Forest, AdaBoost, XGBoost e LightGBM.
   • Un ensemble basato sulla votazione pesata viene costruito utilizzando i cinque migliori classificatori con prestazioni.
   • I pesi per ogni classificatore sono determinati utilizzando la Sequential Least Squares Programming (SLSQP) per minimizzare la log loss sul test set.
   • La previsione finale è derivata calcolando la media geometrica degli output di probabilità pesati dei membri dell'ensemble.

Contributi Chiave

• Modifica del Dataset: Estensione del dataset Microsoft con campioni benigni per facilitare sia compiti di classificazione binaria che di classificazione multi-classe.
• Ingegneria delle Caratteristiche: Utilizzo di una combinazione di chiamate API, import DLL e n-grammi di OpCode (specificamente quad-grammi e n-grammi a lunghezza variabile) come caratteristiche primarie e secondarie.
• Selezione delle Caratteristiche Personalizzata: Proposta di un algoritmo di backward selection e valutazione di un approccio ibrido che combina metodi di filtro, wrapper ed embedded per identificare le caratteristiche più preziose.
• Strategia di Fusione Duplice: Implementazione sia della fusione delle caratteristiche (combinazione di diversi set di caratteristiche) che della fusione degli algoritmi (ensemble di votazione pesata) per migliorare la robustezza del rilevamento.
• Valutazione Completa: Fornitura di un confronto dettagliato con i metodi allo stato dell'arte, inclusi i vincitori dell'originale sfida Microsoft Kaggle e altri studi recenti.

Risultati Sperimentali
Il metodo proposto è stato valutato su una configurazione hardware standard (Intel i7-8700, 16GB RAM) senza accelerazione GPU.

• Metriche di Prestazione: Il modello ensemble ha raggiunto un'accuratezza del 99,72%, un'Area Under the Curve (AUC) di 0,989 e una log loss di 0,01.
• Confronto con lo Stato dell'Arte:
  • Rispetto ai vincitori dell'originale competizione Microsoft Kaggle (che hanno ottenuto una log loss di ~0,0023), il modello proposto ha ottenuto una log loss leggermente superiore (0,01) ma con requisiti di risorse computazionali significativamente inferiori (desktop standard rispetto a Google Compute Engine con 104GB di memoria).
  • Gli autori sostengono che l'approccio della squadra vincitrice si è basato pesantemente sulle caratteristiche dei file criptati e su iperparametri hard-coded specifici per la competizione, potenzialmente limitandone la generalizzabilità. Al contrario, l'approccio proposto utilizza caratteristiche (bi-grammi API, DLL, n-grammi a lunghezza variabile) che sono tracciabili alla funzionalità del file e generalizzano meglio.
  • Rispetto a uno studio di Ahmadi et al. (2016), il metodo proposto offre una migliore generalizzabilità evitando caratteristiche che variano significativamente con i cambiamenti del dataset (ad esempio, il conteggio delle istruzioni dipendente dalla dimensione del file) e utilizzando un processo di selezione delle caratteristiche più robusto.

Significatività e Rivendicazioni
L'articolo sostiene che l'approccio ibrido proposto automatizza efficacemente il rilevamento dei malware e la classificazione delle famiglie. La significatività risiede nella dimostrazione che:

1. La Fusione delle Caratteristiche di caratteristiche secondarie (n-grammi) con caratteristiche primarie (API/DLL) crea una matrice di input più robusta rispetto all'uso di un singolo tipo di caratteristica.
2. La Fusione degli Algoritmi tramite un ensemble di votazione pesata supera i singoli classificatori base, raggiungendo un'elevata accuratezza anche su macchine con risorse limitate.
3. L'approccio è generalizzabile e pratico per l'implementazione nel mondo reale, poiché non dipende dalle massicce risorse computazionali o dall'ingegneria delle caratteristiche specifica della competizione (come l'intensità dei pixel dei file criptati) utilizzate dalle soluzioni di alto livello di Kaggle.
4. L'inclusione di file benigni consente un flusso di lavoro di sicurezza completo: prima determinare se un file è malevolo e, successivamente, identificare la sua famiglia specifica per una mitigazione mirata.

Gli autori concludono che, sebbene la loro log loss sia leggermente superiore a quella del vincitore della competizione, il loro metodo offre una soluzione più sostenibile, generalizzabile e efficiente dal punto di vista delle risorse per la classificazione dei malware. Il lavoro futuro prevede di investigare la fusione tra le caratteristiche dei dati esadecimali e quelli disassemblati e di includere campioni criptati nel set di addestramento.