Machine Unlearning for the XGBoost Model with Network Intrusion Datasets

Technische Samenvatting: Machine Unlearning voor het XGBoost-model met Netwerkintrusiestatistieken

Probleemstelling
Machine Unlearning (MU) is een cruciale techniek geworden voor het verwijderen van specifieke datapunten uit getrainde modellen zonder de computationele kosten van volledige hertraining, wat inspeelt op privacyregelgeving zoals het "recht om vergeten te worden" onder de GDPR. Echter, bestaand MU-onderzoek richt zich voornelelijk op deep learning en beeldgegevens, waardoor er een aanzienlijk gat ontstaat in het domein van Netwerkintrusiedetectie (NID). NID-systemen vertrouwen zwaar op tabelgegevens en traditionele boomgebaseerde modellen, zoals XGBoost, die bekend staan om hun hoge prestaties in dit domein. Hoewel deze modellen effectief zijn, missen ze gevestigde unlearning-mechanismen. Bovendien lijden NID-datasets vaak aan kwaliteitsaspecten, zoals foutieve labeling, wat de verwijdering van specifieke monsters noodzakelijk maakt om de betrouwbaarheid van het model te waarborgen. Het vanaf nul hertrainen van deze modellen telkens wanneer data verwijderd moet worden, is computationeel inefficiënt, wat de behoefte creëert aan een MU-aanpak die specifiek is afgestemd op XGBoost en tabelvormige NID-data.

Methodologie: XGBoost-Forget
Om dit gat te dichten, stellen de auteurs XGBoost-Forget voor, een unlearning-aanpak die is aangepast van het SISA-framework (Sharded, Isolated, Sliced, Aggregated). De methodologie werkt als volgt:

1. Data Partitionering: De trainingsdataset wordt verdeeld in meerdere onafhankelijke shards.
2. Slicing en Checkpointing: Binnen elke shard wordt de data verder onderverdeeld in kleinere slices. Een onafhankelijk XGBoost-model wordt getraind voor elke shard. De training vindt incrementeel plaats over de slices heen; nadat elke slice is verwerkt, wordt de staat (parameters) van het model opgeslagen als een checkpoint.
3. Inference: Definitieve voorspellingen worden gegenereerd door de outputs van alle shard-modellen te aggregeren.
4. Unlearning Proces: Wanneer een verzoek om specifieke data te vergeten binnenkomt, identificeert het systeem de shard(s) die de doelmonsters bevatten. Alleen de slices binnen die getroffen shards die de te verwijderen data bevatten, worden opnieuw getraind. Slices die de doeldata niet bevatten, worden uit de cache hergebruikt. Het getroffen shard-model wordt opnieuw opgebouwd met de resterende data en de daaropvolgende slices, terwijl de andere shards ongemoeid blijven.

Belangrijkste Bijdragen

• Eerste XGBoost Unlearning Aanpak: Dit werk introduceert de eerste bekende unlearning-methode die specifiek is ontworpen voor het XGBoost-model, een dominant algoritme in de analyse van tabelgegevens.
• Aanpassing aan Tabulaire NID: De studie overbrugt de kloof tussen MU-onderzoek en Netwerkintrusiedetectie door de techniek toe te passen op real-world tabelvormige datasets (IoT-23 en GeNIS).
• Uitgebreide Evaluatie: De aanpak wordt geëvalueerd met behulp van een reeks metrieken die modelutiliteit (Accuracy, Precision, Recall, F1-Score), unlearning-efficiëntie (Running Time) en forgetting-kwaliteit (Attack Success Rate en Jensen–Shannon Divergence) dekken.

Experimentele Resultaten
De studie evalueerde XGBoost-Forget op twee datasets: IoT-23 (echte IoT malware/benigne verkeer) en GeNIS (gestage aanvalsequenties). De resultaten werden vergeleken met een baseline van volledige hertraining (XGB-R) en het SISA-framework geïmplementeerd met een Neuraal Netwerk (NN).

• Voorspellende Prestaties: XGBoost-Forget (XGB-FU) behield een voorspellende prestatie die bijna identiek is aan het originele model en de hertrainde baseline. In beide datasets behaalde XGB-FU waarden voor Accuracy, Precision, Recall en F1-Score die vergelijkbaar zijn met het volledige model, met verwaarloosbare degradatie.
• Efficiëntie (Running Time): XGBoost-Forget demonstreerde aanzienlijk snellere unlearning-tijden vergeleken met volledige hertraining. Op de GeNIS-dataset duurde unlearning bijvoorbeeld ongeveer 0,5–0,7 seconden vergeleken met ~4 seconden voor volledige hertraining. Het presteerde ook beter dan de SISA-NN baseline wat betreft running time in alle configuraties.
• Forgetting Kwaliteit:
  • Attack Success Rate (ASR): ASR werd gebruikt om de verwijdering van "vergiftigde" data (backdoor triggers) te testen. Bij het isoleren van de geïnfecteerde shard daalde de ASR aanzienlijk na unlearning (bijv. van ~100% naar ~1,5% op GeNIS), wat de niveaus van de hertrainde baseline benadert. Dit duidt op een effectieve verwijdering van de vergiftigde invloed. Wanneer alle shards werden geaggregeerd, bleef de ASR laag vanwege het verdunningseffect van de niet-geïnfecteerde shards.
  • Jensen–Shannon Divergence (JSD): De JSD-metriek leverde waarden dicht bij nul op voor zowel de originele versus de unlearned als de retrained versus de unlearned vergelijkingen. De auteurs merken op dat deze metriek niet zoals verwacht gedroeg, waarschijnlijk omdat de kleine verwijderingsratio (0,01% van de data) geen voldoende distributionele veranderingen veroorzaakte voor JSD om betekenisvolle verschillen te vangen.

Betekenis en Claims
Het artikel claimt dat XGBoost-Forget succesvol aantoont dat machine unlearning effectief kan worden toegepast op traditionele boomgebaseerde modellen op tabelgegevens zonder de voorspellende nauwkeurigheid op te offeren. De primaire betekenis ligt in het bieden van een oplossing die zowel accuraat (het behouden van modelutiliteit) als efficiënt (aanzienlijk sneller dan hertraining) is voor de specifieke context van Netwerkintrusiedetectie.

De auteurs concluderen bescheiden dat hoewel de aanpak goed geschikt is voor grote en complexe tabelvormige datasets, het gedrag van evaluatiemetrieken zoals JSD kan variëren op basis van datasetkenmerken en de omvang van de verwijderde data. Ze suggereren dat verder onderzoek nodig is om unlearning-evaluatiemetrieken te verfijnen, met name voor scenario's met kleine verwijderingsratio's, aangezien de huidige resultaten aangeven dat JSD mogelijk niet geschikt is om subtiele veranderingen in deze specifieke setting te vangen. Dit werk legt een fundament voor toekomstig MU-onderzoek in niet-deep learning, tabelvormige domeinen.