Riepilogo Tecnico: Valutazione e Contrasto dell'Impatto del Concept Drift nei Sistemi di Rilevamento del Phishing Basati su Machine Learning

1. Definizione del Problema

Il documento affronta la vulnerabilità dei sistemi di rilevamento del phishing basati sul machine learning (ML) rispetto al concept drift. Poiché le tecniche di phishing evolvono rapidamente per aggirare i filtri esistenti, la distribuzione statistica dei dati di phishing cambia nel tempo ($P(x, y)$), causando il degrado delle prestazioni dei modelli addestrati su dati storici. Sebbene i metodi ML abbiano raggiunto un'elevata accuratezza iniziale, spesso diventano obsoleti man mano che gli attaccanti si adattano. Le soluzioni esistenti si affidano frequentemente al riaddestramento o ad approcci ibridi che potrebbero non affrontare pienamente l'evoluzione continua dei vettori di attacco. Gli autori identificano una lacuna nell'applicazione di framework matematici, precedentemente efficaci nel rilevamento dei ransomware (ad esempio, il framework FeSAD), al dominio del phishing per mitigare questi effetti di drift senza un costante riaddestramento.

2. Metodologia

Gli autori propongono un framework statistico progettato per essere agnostico rispetto all'algoritmo, capace di operare accanto ai classificatori ML standard per rilevare e compensare il concept drift. La metodologia consiste nei seguenti componenti principali:

2.1 Selezione delle Caratteristiche (Feature Selection)

Viene impiegato un algoritmo genetico modificato per selezionare caratteristiche ad alto guadagno di informazione (high-information-gain). Questo processo mira a identificare set di caratteristiche che siano robusti contro il concept drift, calcolando i valori di drift sui dati di addestramento per distinguere tra livelli di drift accettabili e anormali.

2.2 Metriche di Calcolo del Drift

Il framework calcola il "sample drift" combinando metriche di distanza matematica con le probabilità di predizione algoritmica.

• Rapporto di Distanza ($dist_i$): Misura il rapporto tra la distanza di un campione dai campioni maligni (phishing) rispetto ai campoli benigni utilizzando la Heterogeneous Euclidean Overlap Metric (HEOM). La HEOM è stata scelta per la sua capacità di gestire attributi sia continui che nominali.
  • $dist_m$: Distanza media dai campioni maligni.
  • $dist_b$: Distanza media dai campioni benigni.
  • $dist_i = dist_m / dist_b$.
• Pesi di Predizione: I pesi ($w_m, w_b$) sono calcolati dividendo la probabilità di predizione del campione per la probabilità media di predizione errata per quella classe nel set di addestramento.
• Distanza Pesata: Combina il rapporto di distanza e i pesi di predizione per creare una metrica ($dw$) che aumenta la separazione tra le classi quando il classificatore è fiducioso.

2.3 Soglie di Drift e Calibrazione

Il sistema stabilisce soglie per categorizzare il drift:

• Drift Atteso ($D_e$): Calcolato utilizzando un set di calibrazione per determinare l'intervallo normale di drift tra le distribuzioni (ad esempio, addestramento vs. dati più recenti).
• Confine di Drift ($D_{max}$): Definito come il punto medio tra la distanza pesata media delle classificazioni corrette e di quelle errate. Se il drift di un campione supera $D_{max}$, esso è considerato un errore di classificazione e viene rivalutato.
• Drift Anomalo: I campioni che mostrano un drift oltre la soglia attesa ma entro il confine massimo vengono segnalati. Se si accumula un numero definito dall'utente ($z$) di tali campioni, il sistema attiva un avviso di riaddestramento.

2.4 Configurazione Sperimentale

• Dataset: Lo studio utilizza dataset di phishing che spaziano dal 2016 al 2024 per simulare il concept drift. Circa 10.000 campioni sono stati estratti da ciascun dataset per garantire test proporzionati.
• Algoritmi: Sono stati testati tre classificatori: Random Forest, Bayesian Network e Multi-Layer Perceptron (MLP).
• Configurazione: Il framework è stato implementato in Java utilizzando l'API WEKA. Gli esperimenti hanno previsto l'addestramento su dati più vecchi (ad esempio, 2016) e il test su dati più recenti (ad esempio, 2021, 2024) per misurare il degrado e il recupero.

3. Contributi Chiave

Il documento rivendica tre contributi primari:

1. Applicazione di un Framework Statistico al Phishing: Gli autori adattano un framework matematico (simile a FeSAD) dal dominio dei ransomware al rilevamento del phishing, ipotizzando che possa estendere la durata dei sistemi di rilevamento ML sotto l'effetto del concept drift.
2. Quantificazione del Concept Drift: Il framework deriva valori numerici per quantificare il drift, consentendo la valutazione della qualità del dataset e della robustezza delle caratteristiche. Identifica quali caratteristiche forniscono le differenze più distinguibili tra URL benigni e di phishing nonostante l'evoluzione.
3. Miglioramento delle Prestazioni sotto Drift: Lo studio dimostra che la combinazione di un indice di similarità (HEOM) e algoritmi di classificazione può migliorare i tassi di rilevamento e ridurre i falsi positivi quando i modelli sono esposti a campioni di phishing evoluti.

4. Risultati

Gli esperimenti hanno prodotto i seguenti risultati:

• Degrado del Baseline: Senza il framework, i tassi di rilevamento sono degradati significativamente testando su dati più recenti. Ad esempio, il tasso di rilevamento di Random Forest è sceso dall'86,3% (dati 2016) al 78,4% (dati 2021), con i Tassi di Falsi Positivi (FPR) aumentati dal 10,8% al 16,9%.
• Efficacia del Framework:
  • Random Forest: Il framework ha migliorato costantemente le prestazioni in tutti gli scenari. Quando addestrato su dati del 2016 e testato su dati del 2024, il framework ha mantenuto un tasso di rilevamento di circa il 74,1% (rispetto al 56,9% senza il framework) e ha ridotto l'FPR dal 19,3% al 10,3%.
  • Altri Algoritmi: Il framework ha mostrato miglioramenti significativi per le reti bayesiane e gli MLP, in particolare in scenari di forte degrado. Ad esempio, il tasso di rilevamento della rete bayesiana sui dati del 2024 è migliorato dal 56,9% al 74,2% con l'applicazione del framework.
  • Riduzione del Drift Anomalo: La componente di calibrazione ha ridotto il numero di campioni segnalati come "anomali" di circa il 45%, indicando che il sistema ha distinto con successo tra l'evoluzione normale e i veri outlier.
• Valutazione della Qualità del Dataset: Il framework è stato utilizzato per valutare la distinguibilità statistica di tre dataset esterni (Kaggle, Maribor, Badji Mokhtar). Il dataset Maribor ha mostrato la maggiore differenza di drift tra campioni benigni e di phishing (1,17), correlandosi con i maggiori guadagni di prestazione (il rilevamento di Random Forest è passato dal 93,9% al 97,8%).

5. Significato e Rivendicazioni

Gli autori affermano con moderazione che la loro ricerca dimostra la viabilità dell'uso di indici di similarità combinati con classificatori ML per rendere più robusti i sistemi di rilevamento del phishing contro il concept drift.

• Estensione della Durata: Il framework consente ai sistemi di rilevamento di mantenere prestazioni costanti attraverso diversi set di dati (periodi temporali) senza un riaddestramento immediato.
• Approfondimento sui Dataset: Le metriche di drift forniscono un metodo statistico oggettivo per valutare la qualità dei dataset di phishing e la robustezza di specifiche caratteristiche, indipendentemente dalla fiducia dei singoli algoritmi ML.
• Limitazioni: Il documento riconosce che, sebbene il framework migliori i tassi di rilevamento, non risolve completamente il problema degli alti tassi di falsi positivi in tutti i casi. Gli autori suggeriscono che gli approcci basati solo sugli URL possano avere limiti intrinseci riguardo ai falsi positivi che evolvono nel tempo.

In conclusione, il documento sostiene che i framework matematici possono mitigare efficacementamente gli effetti del concept drift nel rilevamento del phishing, offrendo un meccanismo per identificare quando il riaddestramento è necessario e migliorando la robustezza dei modelli ML esistenti.