Machine Unlearning for the XGBoost Model with Network Intrusion Datasets

Sintesi Tecnica: Machine Unlearning per il modello XGBoost con Dataset di Intrusione di Rete

Definizione del Problema
Il Machine Unlearning (MU) è emerso come una tecnica critica per rimuovere specifici punti dati da modelli addestrati senza l'onere computazionale di un intero riaddestramento, rispondendo a normative sulla privacy come il "diritto all'oblio" del GDPR. Tuttavia, la ricerca esistente sul MU si concentra prevalentemente sul deep learning e sui dati d'immagine, lasciando un vuoto significativo nel dominio della Rilevazione delle Intruzioni di Rete (NID). I sistemi NID si affidano fortemente a dati tabulari e a modelli tradizionali basati su alberi, come XGBoost, che sono noti per le loro alte prestazioni in questo ambito. Sebbene questi modelli siano efficaci, mancano di meccanismi di unlearning stabiliti. Inoltre, i dataset NID soffrono spesso di problemi di qualità, come l'errata etichettatura, che rendono necessaria la rimozione di campioni specifici per mantenere l'affidabilità del modello. Riaddestrare questi modelli da zero ogni volta che un dato deve essere eliminato è computazionalmente inefficiente, creando la necessità di un approccio MU specificamente adattato a XGBoost e ai dati tabulari NID.

Metodologia: XGBoost-Forget
Per colmare questa lacuna, gli autori propongono XGBoost-Forget, un approccio di unlearning adattato dal framework SISA (Sharded, Isolated, Sliced, Aggregated). La metodologia opera come segue:

1. Partizionamento dei Dati: Il dataset di addestramento viene diviso in molteplici shard indipendenti.
2. Slicing e Checkpointing: All'interno di ogni shard, i dati sono ulteriormente divisi in piccoli slice (fette). Un modello XGBoost indipendente viene addestrato per ogni shard. L'addestramento avviene incrementalmente attraverso gli slice; dopo che ogni slice è stato elaborato, lo stato del modello (parametri) viene salvato come checkpoint.
3. Inferenza: Le previsioni finali vengono generate aggregando gli output dai modelli degli shard.
4. Processo di Unlearning: Quando arriva una richiesta di dimenticare dati specifici, il sistema identifica lo(i) shard contenente(enti) i campioni target. Solo gli slice all'interno di quegli shard interessati che includono i dati da rimuovere vengono riaddestrati. Gli slice che non contengono i dati target vengono riutilizzati dalla cache. Il modello dello shard interessato viene ricostruito utilizzando i dati rimanenti e gli slice successivi, mentre gli altri shard rimangono intatti.

Contributi Chiave

• Primo Approccio di Unlearning per XGBoost: Questo lavoro introduce il primo metodo di unlearning noto progettato specificamente per il modello XGBoost, un algoritmo dominante nell'analisi dei dati tabulari.
• Adattamento alla NID Tabulare: Lo studio colma il divario tra la ricerca sul MU e la Rilevazione delle Intruzioni di Rete applicando la tecnica a dataset tabulari reali (IoT-23 e GeNIS).
• Valutazione Comprensiva: L'approccio è valutato utilizzando una suite di metriche che coprono l'utilità del modello (Accuratezza, Precisione, Recall, F1-Score), l'efficienza dell'unlearning (Tempo di Esecuzione) e la qualità dell'unlearning (Tasso di Successo dell'Attacco e Divergenza di Jensen–Shannon).

Risultati Sperimentali
Lo studio ha valutato XGBoost-Forget su due dataset: IoT-23 (traffico reale malware/benigno IoT) e GeNIS (sequenze di attacco pianificate). I risultati sono stati confrontati con un baseline di riaddestramento completo (XGB-R) e con il framework SISA implementato con una Rete Neurale (NN).

• Performance Predittiva: XGBoost-Forget (XGB-FU) ha mantenuto una performance predittiva quasi identica al modello originale e al baseline riaddestrato. In entrambi i dataset, XGB-FU ha raggiunto valori di Accuratezza, Precisione, Recall e F1-Score comparabili al modello completo, con un degrado trascurabile.
• Efficienza (Tempo di Esecuzione): XGBoost-Forget ha dimostrato tempi di unlearning significativamente più rapidi rispetto al riaddestramento completo. Ad esempio, sul dataset GeNIS, l'unlearning ha richiesto circa 0,5–0,7 secondi rispetto ai ~4 secondi del riaddestramento completo. Ha inoltre superato il baseline SISA-NN in termini di tempo di esecuzione in tutte le configurazioni.
• Qualità dell'Unlearning:
  • Tasso di Successo dell'Attacco (ASR): L'ASR è stato utilizzato per testare la rimozione di dati "avvelenati" (trigger di backdoor). Valutando lo shard infetto isolatamente, l'ASR è sceso significativamente dopo l'unlearning (ad esempio, da ~100% a ~1,5% su GeNIS), avvicinandosi ai livelli del baseline riaddestrato. Ciò indica una rimozione efficace dell'influenza avvelenata. Quando tutti gli shard sono stati aggregati, l'ASR è rimasto basso a causa dell'effetto di diluizione degli shard non infetti.
  • Divergenza di Jensen–Shannon (JSD): La metrica JSD ha prodotto valori vicini allo zero sia nei confronti tra originale vs unlearned che tra riaddestrato vs unlearned. Gli autori osservano che questa metrica non si è comportata come previsto, probabilmente perché il piccolo rapporto di rimozione (0,01% dei dati) non ha indotto cambiamenti distribuzionali sufficienti affinché la JSD catturasse differenze significative.

Significatività e Rivendicazioni
L'articolo sostiene che XGBoost-Forget dimostra con successo che il machine unlearning può essere applicato efficacemente ai modelli tradizionali basati su alberi su dati tabulari senza sacrificare l'accuratezza predittiva. La principale significatività risiede nell'offrire una soluzione che sia sia accurata (mantenendo l'utilità del modello) che efficiente (significativamente più veloce del riaddestramento) per il contesto specifico della Rilevazione delle Intruzioni di Rete.

Gli autori concludono con modestia che, sebbene l'approccio sia ben adatto a dataset tabulari grandi e complessi, il comportamento di metriche di valutazione come la JSD può variare in base alle caratteristiche del dataset e alla dimensione dei dati rimossi. Suggeriscono che sono necessarie ulteriori investigazioni per perfezionare le metriche di valutazione dell'unlearning, in particolare per scenari con piccoli rapporti di rimozione, poiché i risultati attuali indicano che la JSD potrebbe non essere adatta a catturare cambiamenti sottili in questo specifico setting. Il lavoro stabilisce una base per la futura ricerca sul MU in domini non deep learning e tabulari.