A Unified Evaluation of Learning-Based Similarity Techniques for Malware Detection

1. Il Problema

L'analisi della malware moderna deve operare su scala massiva, elaborando miliardi di file eseguibili. I metodi tradizionali di identificazione basati su hash crittografici (come MD5 o SHA-256) sono inefficaci per compiti di triage avanzato (es. attribuzione della famiglia, clustering) perché qualsiasi minima modifica al file (packing, ricompilazione, riordinamento delle istruzioni) genera un hash completamente diverso.
Sebbene esistano tecniche di "fuzzy hashing" (es. ssdeep, TLSH) e metodi basati su machine learning (ML) per generare embedding di similarità, questi approcci sono stati finora valutati in isolamento, utilizzando dataset diversi e metriche non uniformi. Manca un quadro sperimentale unificato che permetta di confrontare direttamente le tecniche di hash fuzzy tradizionali con le moderne rappresentazioni apprese (learning-based embeddings) per carichi di lavoro reali di sicurezza.

2. Metodologia

Gli autori hanno sviluppato un framework sperimentale unificato e riproducibile per confrontare diverse tecniche di similarità su un dataset pubblico e su larga scala.

• Dataset: È stato utilizzato il dataset EMBER (1 milione di campioni statici PE pre-2018) e la sua estensione EmberSim. I dati grezzi (metadati PE gerarchici in JSONL) sono stati sottoposti a un rigoroso processo di feature engineering (normalizzazione strutturale, appiattimento dello schema, vettorizzazione a borsa di parole) per creare vettori numerici a lunghezza fissa.
• Tecniche Confrontate:
  1. Hash Fuzzy Tradizionali: ssdeep.
  2. Autoencoder (AE): Un modello neurale non supervisionato per la riduzione della dimensionalità e l'estrazione di embedding latenti.
  3. Classificatori Deep Learning: Reti neurali fully-connected addestrate per il rilevamento binario (Malware/Benigno) e la classificazione multi-classe (famiglie AVClass), con estrazione degli embedding dallo strato nascosto.
  4. XGBoost: Modelli di alberi decisionali potenziati (gradient-boosted) per la classificazione binaria e multi-classe. Gli embedding sono stati derivati dagli indici delle foglie terminali (leaf-index embeddings).
• Metriche di Valutazione:
  • Classificazione: Accuratezza, Precisione, Recall, F1-score e AUC.
  • Similarità e Clustering: Silhouette Score, Davies-Bouldin Index, Calinski-Harabasz Index (calcolati sulla distanza euclidea per garantire coerenza metodologica tra tutti i modelli).
  • Label Homogeneity@K: Misura la percentuale di vicini più prossimi (Top-K) che condividono la stessa etichetta del campione query.

3. Contributi Chiave

• Benchmark Unificato: Prima studio riproducibile che confronta side-by-side hash fuzzy e embedding basati su ML utilizzando metriche di similarità coerenti.
• Pipeline di Feature Engineering: Sviluppo di un processo rigoroso per trasformare metadati PE complessi e gerarchici in vettori numerici adatti al ML.
• Analisi Comparativa: Valutazione di tre approcci distinti per l'estrazione di rappresentazioni latenti (Autoencoder, Classificatori Neurali, Leaf-index di XGBoost).
• Validazione Empirica: Dimostrazione che gli approcci basati su ML, in particolare gli Autoencoder non supervisionati, superano significativamente i metodi tradizionali in termini di omogeneità delle etichette nelle query di similarità.

4. Risultati Principali

• Superiorità degli Embedding Latenti: Gli Autoencoder non supervisionati hanno ottenuto un'omogeneità delle etichette superiore all'80% nelle query Top-K, contro circa il 40% ottenuto dal metodo tradizionale ssdeep.
• Classificazione vs. Similarità:
  • XGBoost ha dimostrato prestazioni superiori nella classificazione pura (rilevamento binario: 97,76% di accuratezza; classificazione AVClass: 90,55% di accuratezza).
  • Tuttavia, XGBoost ha fallito nel creare uno spazio di similarità geometricamente strutturato quando valutato con la distanza euclidea. Per la classificazione multi-classe (AVClass), XGBoost ha mostrato un Silhouette Score negativo (-0,47), indicando una forte sovrapposizione tra i cluster delle famiglie, mentre i modelli Deep Learning hanno ottenuto un Silhouette positivo (0,33) e una migliore separazione inter-classe.
• Bias nelle Etichette: È stato evidenziato che l'uso diretto dell'etichetta AVClass come feature di input in XGBoost porta a un'omogeneità quasi perfetta (98%), ma questo rappresenta un "shortcut" di supervisione che non riflette la reale capacità di generalizzazione della similarità strutturale.
• Robustezza delle Reti Neurali: Gli embedding neurali hanno mantenuto una struttura di vicinato coerente e superiore rispetto agli indici delle foglie di XGBoost, anche quando valutati con metriche di distanza diverse (euclidea vs. similarità basata su alberi).

5. Significato e Conclusioni

Il paper conclude che non esiste un approccio unico che eccella in tutte le dimensioni.

• XGBoost è la scelta preferibile per compiti di classificazione ad alta accuratezza (rilevamento binario e attribuzione familiare).
• Le architetture Deep Learning (in particolare Autoencoder e classificatori neurali) sono superiori per la generazione di embedding destinati al clustering, alla ricerca di similarità e al triage, poiché creano spazi latenti con una coesione e una separazione geometrica migliori.

L'autore sostiene che le piattaforme di analisi malware efficaci non devono affidarsi a un singolo metodo, ma devono integrare tecniche complementari: utilizzare modelli basati su alberi per la classificazione rapida e modelli basati su reti neurali per la costruzione di indici di similarità robusti e resilienti alle offuscature.

Limiti e Lavori Futuri

Lo studio riconosce che l'uso di metadati PE pre-estratti (invece dei file binari grezzi) impedisce il confronto diretto con hash fuzzy che operano a livello di byte (come TLSH). I lavori futuri mirano a valutare questi framework su corpus di binari grezzi, integrare feature di analisi dinamica (comportamento runtime) e ottimizzare la scalabilità per la ricerca di similarità approssimata su miliardi di campioni.