Technische Samenvatting: Evaluatie en Bestrijding van de Impact van Concept Drift op Machine Learning-gebaseerde Phishing Detectiesystemen

1. Probleemstelling

Het artikel behandelt de kwetsbaarheid van machine learning (ML)-gebaseerde phishingdetectiesystemen voor concept drift. Omdat phishingtechnieken snel evolueren om bestaande filters te omzeilen, verandert de statistische distributie van phishingdata over de tijd ($P(x, y)$), wat ertoe leidt dat modellen die getraind zijn op historische data in prestaties achteruitgaan. Hoewel ML-methoden een hoge initiële nauwkeurigheid hebben bereikt, worden ze vaak verouderd naarmate aanvallers zich aanpassen. Bestaande oplossingen vertrouwen vaak op hertraining of hybride benaderingen die mogelijk de continue evolutie van aanvalsvectoren niet volledig aanpakken. De auteurs identificeren een gat in het toepassen van wiskundige kaders, die voorheen succesvol waren in ransomwaredetectie (bijv. het FeSAD-framework), op het phishingdomein om deze effecten van drift te mitigeren zonder constante hertraining.

2. Methodologie

De auteurs stellen een statistisch framework voor dat algoritme-agnostisch is en ontworpen is om naast standaard ML-classifiers te kunnen opereren om concept drift te detecteren en te compenseren. De methodologie bestaat uit de volgende kerncomponenten:

2.1 Feature Selectie

Een aangepast genetisch algoritme wordt ingezet om features met een hoge informatiewinst te selecteren. Dit proces heeft als doel feature-sets te identificeren die robuust zijn tegen concept drift, waarbij driftwaarden op trainingsdata worden berekend om onderscheid te maken tussen acceptabele en abnormale driftniveaus.

2.2 Drift Berekeningsmetrieken

Het framework berekent "steekproefdrift" door wiskundige afstandmetrieken te combineren met algoritmische voorspellingskansen.

• Afstandsratio ($dist_i$): Meet de ratio van de afstand van een steekproef tot malafide (phishing) samples versus benigne (legitieme) samples met behulp van de Heterogeneous Euclidean Overlap Metric (HEOM). HEOM is gekozen vanwege het vermogen om zowel continue als nominale attributen te verwerken.
  • $dist_m$: Gemiddelde afstand tot malafide samples.
  • $dist_b$: Gemiddelde afstand tot benigne samples.
  • $dist_i = dist_m / dist_b$.
• Voorspellingsgewichten: Gewichten ($w_m, w_b$) worden berekend door de voorspellingskans van de steekproef te delen door de gemiddelde onjuiste voorspellingskans voor die klasse in de trainingsset.
• Gewogen Afstand: Combineert de afstandsratio en voorspellingsgewichten om een metriek ($dw$) te creëren die de scheiding tussen klassen vergroot wanneer de classifier een hoge mate van zekerheid heeft.

2.3 Drift Drempelwaarden en Kalibratie

Het systeem stelt drempelwaarden vast om drift te categoriseren:

• Verwachte Drift ($D_e$): Berekend met behulp van een kalibratieset om het normale bereik van drift tussen distributies te bepalen (bijv. training vs. nieuwere data).
• Drift Grenswaarde ($D_{max}$): Gedefinieerd als het middelpunt tussen de gemiddelde gewogen afstand van correcte classificaties en incorrecte classificaties. Als de drift van een steekproef $D_{max}$ overschrijdt, wordt deze beschouwd als een misclassificatie en opnieuw geëvalueerd.
• Abnormale Drift: Steekproeven die drift vertonen die de verwachte drempel overschrijdt maar binnen de maximale grens valt, worden gemarkeerd. Als een gebruikersgedefinieerd aantal ($z$) van dergelijke steekproeven zich ophoopt, triggert het systeem een hertrainingswaarschuwing.

2.4 Experimentele Opzet

• Datasets: De studie maakt gebruik van phishingdatasets verspreid van 2016 tot 2024 om concept drift te simuleren. Ongeveer 10.000 steekproeven werden uit elk dataset getrokken om proportionele testen te waarborgen.
• Algoritmen: Drie classifiers werden getest: Random Forest, Bayesian Network en Multi-Layer Perceptron (MLP).
• Configuratie: Het framework werd geïmplementeerd in Java met behulp van de WEKA API. Experimenten omvatten het trainen op oudere data (bijv. 2016) en het testen op nieuwere data (bijv. 2021, 2024) om degradatie en herstel te meten.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Toepassing van een Statisch Framework op Phishing: De auteurs passen een wiskundig framework (vergelijkbaar met FeSAD) van het ransomwaredomein aan voor phishingdetectie, met de hypothese dat dit de levensduur van ML-detectiesystemen onder concept drift kan verlengen.
2. Kwantificering van Concept Drift: Het framework leidt numerieke waarden af om drift te kwantificeren, waardoor de evaluatie van datasetkwaliteit en feature-robuustheid mogelijk wordt. Het identificeert welke features de meest onderscheidende verschillen bieden tussen benigne en phishing URL's, ondanks evolutie.
3. Prestatieverbetering onder Drift: De studie toont aan dat het combineren van een gelijkenis-index (HEOM) met classificatie-algoritmen de detectiepercentages kan verbeteren en het aantal fout-positieven kan verminderen wanneer modellen worden blootgesteld aan geëvolueerde phishing-samples.

4. Resultaten

De experimenten leverden de volgende bevindingen op:

• Baseline Degradatie: Zonder het framework nam de detectiegraad aanzienlijk af bij het testen op nieuwere data. Zo daalde de detectiegraad van Random Forest bijvoorbeeld van 86,3% (2016 data) naar 78,4% (2021 data), waarbij het aantal fout-positieven (FPR) steeg van 10,8% naar 16,9%.
• Effectiviteit van het Framework:
  • Random Forest: Het framework verbeterde de prestaties consistent in alle scenario's. Wanneer getraind op 2016 data en getest op 2024 data, behield het framework een detectiegraad van ~74,1% (vergeleken met 56,9% zonder het framework) en verminderde het de FPR van 19,3% naar 10,3%.
  • Andere Algoritmen: Het framework liet significante verbeteringen zien voor Bayesian Networks en MLPs, met name in scenario's van zware degradatie. Zo verbeterde de detectiegraad van het Bayesian Network op 2024 data van 56,9% naar 74,2% toen het framework werd toegepast.
  • Reductie van Abnormale Drift: De kalibratiecomponent verminderde het aantal steekproeven dat als "abnormaal" werd gemarkeerd met ongeveer 45%, wat aangeeft dat het systeem erin slaagde om onderscheid te maken tussen normale evolutie en echte uitschieters.
• Evaluatie van Datasetkwaliteit: Het framework werd gebruikt om de statistische onderscheidbaarheid van drie externe datasets (Kagde, Maribor, Badji Mokhtar) te evalueren. De Maribor dataset vertoonde de hoogste driftverschillen tussen benigne en phishing samples (1,17), wat correleerde met de hoogste prestatiewinsten (Random Forest detectie sprong van 93,9% naar 97,8%).

5. Betekenis en Claims

De auteurs claimen bescheiden dat hun onderzoek de levensvatbaarheid aantoont van het gebruik van gelijkenis-indices gecombineerd met ML-classifiers om phishingdetectiesystemen te verharden tegen concept drift.

• Verlengde Levensduur: Het framework stelt detectiesystemen in staat om een consistente prestatie te behouden over verschillende datadistributies (tijdperioden) heen zonder onmiddellijke hertraining.
• Inzicht in Datasets: De drift-metrieken bieden een objectieve, statistische methode om de kwaliteit van phishing-datasets en de robuustheid van specifieke features te evalueren, onafhankelijk van het vertrouwen van individuele ML-algoritmen.
• Beperkingen: Het artikel erkent dat hoewel het framework de detectiepercentages verbetert, het het probleem van een hoog aantal fout-positieven in alle gevallen niet volledig oplost. De auteurs suggereren dat URL-gebaseerde benaderingen alleen inherente beperkingen kunnen hebben met betrekking tot fout-positieven die in de loop van de tijd evolueren.

Concluderend stelt het artikel dat wiskundige kaders effectief kunnen zijn om de effecten van concept drift in phishingdetectie te mitigeren, waarbij ze een mechanisme bieden om te identificeren wanneer hertraining noodzakelijk is en de robuustheid van bestaande ML-modellen te verbeteren.