💻 computer science

Evaluating and Combating the Impact of Concept Drift on the Performance of Machine Learning-Based Phishing Detection Systems

Diese Arbeit bewertet, wie die schnelle Evolution von Spam- und Phishing-E-Mails (Concept Drift) die Leistungsfähigkeit maschineller Lernsysteme zur Erkennung verschlechtert, und untersucht Strategien zur Abmilderung dieses Leistungsabfalls.

Ursprüngliche Autoren: Warren Fernando, Nikos Komninos

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Warren Fernando, Nikos Komninos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „beweglichen Ziels“

Stellen Sie sich vor, Sie sind ein Sicherheitswachmann in einem Club (das E-Mail-System). Ihre Aufgabe ist es, die Bösewichte (Phishing-E-Mails) draußen zu halten, während die Guten (legitime E-Mails) hindurchgelassen werden.

Lange Zeit hatten Sie ein Regelwerk: „Wenn die Person einen roten Hut trägt, ist sie ein Bösewicht.“ Das funktionierte eine Zeit lang sehr gut. Aber dann fingen die Bösewichte an, blaue Hüte zu tragen. Ihr Regelwerk änderte sich nicht, also ließen Sie sie rein. Dann fingen sie an, grüne Hüte zu tragen. Sie ließen sie weiterhin rein.

In der Welt der Computer nennt man das Concept Drift (Konzeptdrift). Es beschreibt den Zustand, wenn die „Bösewichte“ (Phisher) ihre Tricks so schnell entwickeln und verändern, dass die Computerprogramme (Maschinelles Lernen), die sie abfangen sollen, veraltet werden und anfangen, zu versagen.

Das Problem: Alte Karten funktionieren auf neuen Straßen nicht

Die Autoren dieser Arbeit stellten fest, dass Standard-Computerprogramme zur Erkennung von Phishing-E-Mails wie alte Landkarten sind. Wenn sich die Stadt verändert (neue Phishing-Tricks erscheinen), sagt die alte Karte Ihnen, dass Sie gegen eine Wand fahren sollen.

Das Problem: Da Phishing-E-Mails immer klüger werden, werden die Computermodelle „verwirrt“. Sie fangen an, schlechte E-Mils für gut zu halten, oder sie werden so paranoid, dass sie gute E-Mails blockieren.
Das Ziel: Die Forscher wollten ein System bauen, das sich nicht nur auf ein statisches Regelwerk verlässt, sondern „fühlen“ kann, wenn die Bösewichte ihren Stil ändern, und seine Wachaufgaben entsprechend anpasst.

Die Lösung: Das „Drift-Detektor“-Framework

Die Forscher schlugen ein neues Framework (eine Menge mathematischer Regeln) vor, das dem Computer hilft, wachsam zu bleiben. Stellen Sie sich dieses Framework wie einen intelligenten Assistenten vor, der neben dem Sicherheitswachmann steht.

So funktioniert der Assistent, unterteilt in einfache Schritte:

1. Messen der „Distanz“ (Das Lineal)

Stellen Sie sich vor, Sie haben einen Haufen „guter“ Äpfel und einen Haufen „schlechter“ Äpfel.

Der Computer betrachtet einen neuen Apfel.
Er fragt: „Wie weit ist dieser Apfel vom ‚schlechten‘ Haufen entfernt? Wie weit ist er vom ‚guten‘ Haufen entfernt?“
Dies wird als Distance Ratio (Distanzverhältnis) bezeichnet. Wenn der neue Apfel physisch näher am „schlechten“ Haufen liegt, ist er wahrscheinlich schlecht. Wenn er näher am „guten“ Haufen liegt, ist er wahrscheinlich sicher.

2. Überprüfung der Konfidenz (Der Bauchgefühl-Check)

Der Computer fragt auch: „Wie sicher bin ich mir?“

Wenn der Computer zu 99 % sicher ist, dass eine E-Mail schlecht ist, vertraut der Assistent ihm.
Wenn der Computer sich nur zu 5 % sicher ist, wird der Assistent misstrauisch.
Das Framework kombelt die Distanz (wie anders die E-Mail aussieht) mit der Konfidenz (wie sicher sich der Computer ist), um eine endgültige Entscheidung zu treffen.

3. Die „Kalibrierung“ (Das Trainingslager)

Dies ist der wichtigste Teil. Das System verlässt sich nicht nur auf Vermutungen; es besitzt eine Kalibrierungsschicht.

Stellen Sie sich vor, der Sicherheitswachmann hat ein „Trainingslager“, in dem er mit alten und neuen Bösewichten übt.
Das System berechnet, wie „normale“ Veränderungen aussehen. Es lernt, dass „Bösewichte mit blauen Hüten“ eine normale Evolution ist, aber „Bösewichte mit blauen Hüten, die Französisch sprechen“ abnormal ist.
Wenn das System etwas sieht, das zu weit von dem entfernt ist, was es erwartet (selbst wenn es wie ein Bösewicht aussieht), markiert es dies als „Abnormal Drift“ (anormalen Drift). Dies signalisiert dem System: „Hey, die Bösewichte haben sich so sehr verändert, dass unser altes Training nicht mehr funktioniert. Wir müssen nachjustieren!“

Was sie getan haben (Das Experiment)

Die Forscher testeten diese Idee mit echten Daten von 2016 bis 2024.

Der Aufbau: Sie nahmen Computermodelle, die mit alten E-Mails trainiert wurden (z. B. von 2016), und testeten sie auf brandneue E-Mails (z. B. von 2024).
Das Ergebnis ohne Hilfe: Die alten Modelle wurden im Laufe der Zeit schlechter. Sie übersahen mehr schlechte E-Mails und blockierten mehr gute E-Mails.
Das Ergebnis mit Hilfe: Als sie ihr „Intelligenter Assistent“-Framework hinzufügten:
- Blieb die Erkennungsrate hoch, selbst als die E-Mails neuer und hinterlistiger wurden.
- Das System identifizierte korrekt, dass sich die „Bösewichte“ verändert hatten, und passte seine Wachaufgaben an.
- Es reduzierte die Anzahl der „Fehlalarme“ (das Blockieren guter E-Mails).

Die Kernbotschaft

Die Arbeit behauptet, dass man durch das Hinzufügen einer mathematischen Ebene, die misst, wie unterschiedlich eine neue E-Mail im Vergleich zu dem ist, was der Computer bereits weiß, Phishing-Detektoren viel widerstandsfähiger machen kann.

Anstatt nur zu sagen: „Das sieht wie ein Bösewicht aus“, sagt das System: „Das sieht wie ein Bösewicht aus UND es entwickelt sich in einer Weise, die wir erwartet haben, daher sind wir weiterhin sicher.“ Oder: „Das sieht wie ein Bösewicht aus, ABER es hat sich so sehr verändert, dass wir unser Training aktualisieren müssen.“

Kurz gesagt: Sie haben ein System gebaut, das sich nicht nur die Bösewichte auswendig lernt, sondern lernt, wie die Bösewichte sich verändern, was es ermöglicht, sie auch dann zu fangen, wenn sie eine neue Verkleidung tragen.

Technisches Resümee: Evaluierung und Bekämpfung der Auswirkungen von Concept Drift auf auf maschinellem Lernen basierende Phishing-Erkennungssysteme

1. Problemstellung

Die Arbeit befasst sich mit der Anfälligkeit von auf maschinellem Lernen (ML) basierenden Phishing-Erkennungssystemen gegenüber Concept Drift. Da sich Phishing-Techniken schnell entwickeln, um bestehende Filter zu umgehen, ändert sich die statistische Verteilung der Phishing-Daten über die Zeit ( $P(x, y)$ ), was dazu führt, dass Modelle, die auf historischen Daten trainiert wurden, in ihrer Leistungsfähigkeit nachlassen. Während ML-Methoden anfänglich hohe Genauigkeiten erreichen, werden sie oft obsolet, sobald Angreifer sich anpassen. Bestehende Lösungen verlassen sich häufig auf Retraining oder hybride Ansätze, die die kontinuierliche Evolution von Angriffsvektoren möglicherweise nicht vollständig adressieren können. Die Autoren identifizieren eine Lücke in der Anwendung mathematischer Frameworks, die zuvor im Bereich der Ransomware-Erkennung erfolgreich waren (z. B. das FeSAD-Framework), auf die Phishing-Domäne, um diese Drift-Effekte ohne ständiges Retraining zu mildern.

2. Methodik

Die Autoren schlagen ein statistisches Framework vor, das algorithmusagnostisch konzipiert ist und in der Lage ist, neben Standard-ML-Klassifikatoren zu operieren, um Concept Drift zu erkennen und zu kompensieren. Die Methodik besteht aus den folgenden Kernkomponenten:

2.1 Merkmalsauswahl (Feature Selection)

Ein modifizierter genetischer Algorithmus wird eingesetzt, um Merkmale mit hohem Informationsgewinn auszuwählen. Dieser Prozess zielt darauf ab, Merkmalsgruppen zu identifizieren, die robust gegenüber Concept Drift sind, indem Drift-Werte auf Trainingsdaten berechnet werden, um zwischen akzeptablen und abnormalen Drift-Niveaus zu unterscheiden.

2.2 Metriken zur Drift-Berechnung

Das Framework berechnet den „Stichproben-Drift“ (sample drift), indem es mathematische Distanzmetriken mit algorithmischen Vorhersagewahrscheinlichkeiten kombiniert.

Distanzverhältnis ( $dist_i$ ): Misst das Verhältnis der Distanz einer Stichprobe zu malignen (Phishing-)Proben gegenüber benignen (gutartigen) Proben unter Verwendung der Heterogeneous Euclidean Overlap Metric (HEOM). HEOM wurde aufgrund seiner Fähigkeit gewählt, sowohl kontinuierliche als auch nominale Attribute zu verarbeiten.
- $dist_m$ : Durchschnittliche Distanz zu malignen Proben.
- $dist_b$ : Durchschnittliche Distanz zu benignen Proben.
- $dist_i = dist_m / dist_b$ .
Vorhersagegewichte: Gewichte ( $w_m, w_b$ ) werden berechnet, indem die Vorhersagewahrscheinlichkeit der Stichprobe durch die durchschnittliche Wahrscheinlichkeit falscher Vorhersagen für diese Klasse im Trainingssatz geteilt wird.
Gewichtete Distanz: Kombiniert das Distanzverhältnis und die Vorhersagegewichte, um eine Metrik ($dw$) zu erstellen, die die Trennung zwischen Klassen erhöht, wenn der Klassifikator eine hohe Konfidenz aufweist.

2.3 Drift-Schwellenwerte und Kalibrierung

Das System etabliert Schwellenwerte, um Drift zu kategorisieren:

Erwarteter Drift ( $D_e$ ): Wird mithilfe eines Kalibrierungs-Sets berechnet, um den normalen Driftbereich zwischen Verteilungen (z. B. Training vs. neuere Daten) zu bestimmen.
Drift-Grenzwert ( $D_{max}$ ): Definiert als der Mittelpunkt zwischen der durchschnittlichen gewichteten Distanz korrekter Klassifizierungen und falscher Klassifizierungen. Wenn der Drift einer Stichprobe $D_{max}$ überschreitet, wird sie als Fehlklassifizierung betrachtet und neu bewertet.
Abnormaler Drift: Stichproben, die einen Drift aufweisen, der über den erwarteten Schwellenwert hinausgeht, aber innerhalb der maximalen Grenze liegt, werden markiert. Wenn sich eine benutzerdefinierte Anzahl ( $z$ ) solcher Stichproben ansammelt, löst das System einen Retraining-Alarm aus.

2.4 Experimenteller Aufbau

Datensätze: Die Studie nutzt Phishing-Datensätze von 2016 bis 2024, um Concept Drift zu simulieren. Ungefähr 10.000 Stichproben wurden aus jedem Datensatz gezogen, um ein proportionales Testen zu gewährleisten.
Algorithmen: Drei Klassifikatoren wurden getestet: Random Forest, Bayesian Network und Multi-Layer Perceptron (MLP).
Konfiguration: Das Framework wurde in Java unter Verwendung der WEKA-API implementiert. Die Experimente beinhalteten das Training auf älteren Daten (z. B. 2016) und das Testen auf neueren Daten (z. B. 2021, 2024), um Degradation und Erholung zu messen.

3. Zentrale Beiträge

Die Arbeit beansprucht drei primäre Beiträge:

Anwendung eines statistischen Frameworks auf Phishing: Die Autoren passen ein mathematisches Framework (ähnlich FeSAD) aus dem Ransomware-Bereich an die Phishing-Erkennung an und hypothetisieren, dass dies die Lebensdauer von ML-Erkennungssystemen unter Concept Drift verlängern kann.
Quantifizierung von Concept Drift: Das Framework leitet numerische Werte ab, um Drift zu quantifizieren, was die Bewertung der Datenqualität und der Robustheit von Merkmalen ermöglicht. Es identifiziert, welche Merkmale trotz Evolution die unterscheidbarsten Unterschiede zwischen benignen und Phishing-URLs liefern.
Leistungsverbesserung unter Drift: Die Studie zeigt, dass die Kombination eines Ähnlichkeitsindex (HEOM) mit Klassifizierungsalgorithmen die Erkennungsraten verbessern und die Falsch-Positiv-Raten reduzieren kann, wenn Modelle mit evolvierten Phishing-Stichproben konfrontiert werden.

4. Ergebnisse

Die Experimente lieferten die folgenden Erkenntnisse:

Basisliniendegradation: Ohne das Framework sank die Erkennungsrate signifikant, wenn auf neueren Daten getestet wurde. Beispielsweise sank die Erkennungsrate des Random Forest von 86,3 % (2016-Daten) auf 78,4 % (2021-Daten), wobei die Falsch-Positiv-Rate (FPR) von 10,8 % auf 16,9 % anstieg.
Wirksamkeit des Frameworks:
- Random Forest: Das Framework verbesserte die Leistung in allen Szenarien konsistent. Wenn mit 2016-Daten trainiert und mit 2024-Daten getestet wurde, hielt das Framework eine Erkennungsrate von ~74,1 % (im Vergleich zu 56,9 % ohne Framework) aufrecht und reduzierte die FPR von 19,3 % auf 10,3 %.
- Andere Algorithmen: Das Framework zeigte signifikante Verbesserungen für Bayesian Networks und MLPs, insbesondere in Szenarien schwerer Degradation. Beispielsweise verbesserte sich die Erkennungsrate des Bayesian Network auf 2024-Daten von 56,9 % auf 74,2 %, wenn das Framework angewendet wurde.
- Reduktion abnormalen Drifts: Die Kalibrierungskomponente reduzierte die Anzahl der als „abnormal“ markierten Stichproben um etwa 45 %, was darauf hindeutet, dass das System erfolgreich zwischen normaler Evolution und echten Ausreißern unterschieden hat.
Bewertung der Datensatzqualität: Das Framework wurde verwendet, um die statistische Unterscheidbarkeit von drei externen Datensätzen (Kaggle, Maribor, Badji Mokhtar) zu bewerten. Der Maribor-Datensatz zeigte den höchsten Drift-Unterschied zwischen benignen und Phishing-Proben (1,17), was mit den höchsten Leistungssteigerungen korrelierte (Random Forest Erkennung sprang von 93,9 % auf 97,8 %).

5. Bedeutung und Ansprüche

Die Autoren behaupten bescheiden, dass ihre Forschung die Lebensfähigkeit der Nutzung von Ähnlichkeitsindizes in Kombination mit ML-Klassifikatoren aufzeigt, um Phishing-Erkennungssysteme gegen Concept Drift zu härten.

Verlängerte Lebensdauer: Das Framework ermöglicht es Erkennungssystemen, eine konsistente Leistung über verschiedene Datenverteilungen (Zeiträume) hinweg aufrechtzuerhalten, ohne dass ein sofortiges Retraining erforderlich ist.
Einblick in Datensätze: Die Drift-Metriken bieten eine objektive, statistische Methode zur Bewertung der Qualität von Phishing-Datensätzen und der Robustheit spezifischer Merkmale, unabhängig von der Konfidenz einzelner ML-Algorithmen.
Limitierungen: Die Arbeit räumt ein, dass das Framework zwar die Erkennungsraten verbessert, das Problem hoher Falsch-Positiv-Raten in allen Fällen jedoch nicht vollständig löst. Die Autoren deuten an, dass URL-basierte Ansätze allein inhärente Einschränkungen hinsichtlich der sich zeitlich entwickelnden Falsch-Positiv-Raten haben könnten.

Zusammenfassend lässt die Arbeit darauf schließen, dass mathematische Frameworks effektiv dazu beitragen können, die Auswirkungen von Concept Drift in der Phishing-Erkennung zu mildern, indem sie einen Mechanismus zur Identifizierung der Notwendigkeit eines Retrainings bieten und die Robustheit bestehender ML-Modelle verbessern.