CITADEL: A Semi-Supervised Active Learning Framework for Malware Detection Under Continuous Distribution Drift

1. Il Problema: Deriva del Concetto (Concept Drift) nel Rilevamento Malware

Il rilevamento del malware Android affronta una sfida critica: la deriva del concetto (concept drift). Le caratteristiche statistiche delle applicazioni maligne e benigne cambiano nel tempo a causa dell'evoluzione delle tecniche di attacco, dell'obsolescenza delle API e dell'adozione di nuovi permessi.

• Limitazioni degli approcci attuali: I metodi esistenti, spesso basati su apprendimento supervisionato o active learning puramente supervisionato (come Chen-AL), soffrono di un degrado delle prestazioni su lunghi periodi temporali. Inoltre, richiedono un'etichettatura continua da parte di esperti, che non è scalabile dato l'emergere di circa 300.000 nuovi campioni di malware al mese.
• Sfida specifica: Le tecniche di Semi-Supervised Learning (SSL) standard (es. FixMatch), progettate per la visione artificiale, falliscono quando applicate direttamente ai dati di malware, poiché le trasformazioni di input semanticamente significative (come rotazioni o cambi di colore) non sono applicabili ai vettori di caratteristiche binarie strutturate del malware.

2. Metodologia: Il Framework CITADEL

Gli autori propongono CITADEL, un framework di Semi-Supervised Active Learning (SSAL) progettato specificamente per adattarsi alla deriva del concetto nel rilevamento malware. L'architettura si basa su tre pilastri fondamentali:

A. Augmentazione delle Caratteristiche Specifica per il Dominio

Poiché le caratteristiche del malware sono vettori binari (presenza/assenza di chiamate API, permessi, ecc.), CITADEL sostituisce le augmentazioni visive con due strategie stocastiche basate sulla distribuzione di Bernoulli:

1. Bernoulli Bit Flip: Inverte casualmente un sottoinsieme di bit nel vettore di caratteristiche. Simula cambiamenti comportamentali dove il malware inizia o smette di utilizzare specifiche funzionalità.
2. Bernoulli Feature Mask: Disattiva (imposta a zero) casualmente un sottoinsieme di caratteristiche. Modella la scomparsa di pattern osservabili (es. chiamate API deprecate) nelle nuove varianti.
   Queste trasformazioni introducono rumore controllato per regolarizzare l'apprendimento, rendendo il modello robusto a variazioni impreviste nella distribuzione dei dati senza alterare la semantica della classe.

B. Funzione di Obiettivo Ibrida

CITADEL combina l'obiettivo SSL standard (basato su FixMatch) con una Loss Contrastiva Supervisionata:

• Consistenza SSL: Utilizza augmentazioni deboli per generare pseudo-etichette ad alta confidenza e augmentazioni forti per addestrare il modello a mantenere la consistenza delle previsioni.
• Loss Contrastiva: Aggiunge un termine che spinge le rappresentazioni latenti dei campioni della stessa classe ad avvicinarsi e quelle di classi diverse ad allontanarsi. Questo è cruciale per migliorare la discriminazione dei campioni ambigui vicino al confine di decisione, che sono spesso quelli più colpiti dalla deriva del concetto.

C. Strategia di Selezione del Campione Multi-Criterio (Active Learning)

Per massimizzare l'efficienza con un budget di etichettatura limitato, CITADEL non si affida a un singolo indicatore di incertezza, ma combina tre metriche complementari per selezionare i campioni più informativi da etichettare:

1. Margine Softmax: Identifica campioni vicino al confine di decisione (basso margine tra le probabilità delle due classi principali).
2. Distanza Lp-Norm: Calcola la distanza nello spazio delle feature tra un campione non etichettato e il suo vicino etichettato più prossimo. Campioni lontani indicano potenziali outlier o nuove varianti.
3. Bassa Confidenza: Seleziona campioni per i quali il modello ha una probabilità massima di previsione bassa.
   Questi tre punteggi vengono normalizzati e sommati per selezionare i top-k campioni da inviare all'analista umano.

3. Contributi Chiave

• Framework SSAL per Malware: Prima proposta di un framework semi-supervisionato con active learning specificamente adattato per la deriva del concetto a lungo termine nel dominio Android.
• Augmentazioni Bernoulli: Introduzione di trasformazioni di dati (Bit Flip e Feature Mask) che rispettano la natura binaria e strutturata delle feature del malware, colmando il divario tra SSL generico e dominio specifico.
• Selezione Multi-Criterio: Un nuovo algoritmo di selezione che integra incertezza di confine, distanza distribuzionale e confidenza predittiva per adattarsi a derive brusche e imprevedibili.
• Nuovo Dataset: Costruzione di un dataset basato su MaMaDroid che copre un arco temporale di 12 anni, simile a LAMDA, per valutare la robustezza a lungo termine.

4. Risultati Sperimentali

Il framework è stato valutato su quattro benchmark su larga scala: APIGraph, Chen-AZ, MaMaDroid e LAMDA.

• Prestazioni di Rilevamento:

  • CITADEL supera significativamente gli stati dell'arte (incluso Chen-AL e MORSE).
  • Su APIGraph: F1-score del 93.5% (vs 92.4% di Chen-AL).
  • Su Chen-AZ: F1-score del 82.7% (miglioramento di ~7% rispetto a Chen-AL).
  • Su LAMDA (il dataset più difficile con deriva estrema): F1-score del 77.7% (miglioramento di oltre il 34% rispetto a Chen-AL, che crolla al 43%).
  • Su MaMaDroid: F1-score del 44.9% (miglioramento di ~14% rispetto a Chen-AL).
  • Questi risultati sono ottenuti utilizzando solo il 40% dei dati etichettati.

• Efficienza Computazionale:

  • CITADEL è notevolmente più veloce e leggero.
  • Tempo di addestramento: Fino a 24 volte più veloce rispetto a Chen-AL.
  • Operazioni computazionali: Richiede circa 13 volte in meno di operazioni.
  • Ad esempio, su 100.000 campioni, CITADEL impiega ~96 secondi contro i ~2312 secondi di Chen-AL.

5. Significato e Implicazioni

Il lavoro dimostra che l'approccio Semi-Supervised Active Learning è una soluzione praticabile ed efficiente per il rilevamento del malware in scenari reali a lungo termine, dove i dati etichettati sono scarsi e le distribuzioni cambiano continuamente.

• Scalabilità: Riduce drasticamente il carico di lavoro per gli analisti di sicurezza, rendendo sostenibile la difesa contro centinaia di migliaia di nuovi campioni mensili.
• Robustezza: La capacità di adattarsi a derive severe (come nel dataset LAMDA) senza un ri-addestramento completo da zero rende il sistema ideale per la produzione.
• Efficienza: La riduzione del costo computazionale permette aggiornamenti più frequenti e tempestivi delle difese.

In sintesi, CITADEL rappresenta un passo avanti significativo verso sistemi di rilevamento malware autonomi, adattivi e scalabili, superando i limiti delle metodologie puramente supervisionate e delle tecniche SSL generiche.