Leveraging Graph Neural Networks and Conventional Machine Learning for Phishing URL Detection

Technische Samenvatting: Het benutten van Graph Neural Networks en conventionele Machine Learning voor Phishing URL-detectie

Probleemstelling
Phishing-aanvallen vormen een hardnekkige en escalerende cyberdreiging, waarbij aanvallers legitieme entiteiten nabootsen om vertrouwelijke informatie zoals inloggegevens en financiële gegevens te stelen. Naarmate het internetgebruik groeit, zijn deze aanvallen steeds geavanceerder geworden, waarbij tactieken zoals email-spoofing en misleidende URL's worden gebruikt. Hoewel conventionele detectiemethoden, zoals zwarte lijsten en op regels gebaseerde patroonherkenning, moeite hebben met het identificeren van opkomende dreigingen, bieden machine learning (ML) en deep learning (DL) benaderingen verbeterde detectie door complexe patronen te herkennen. Veel bestaande ML-modellen leunen echter zwaar op statische, individuele URL-kenmerken en vereisen uitgebreide, continu bijgewerkte datasets. Bovendien slagen veel traditionele modellen er niet in om de structurele relaties en onderlinge afhankelijkheden tussen URL's te vatten, die cruciaal zijn voor het detecteren van gecoördineerde of complexe phishingcampagnes.

Methodologie
De auteurs stellen een hybride detectiekader voor dat de topologische leervermogens van Graph Neural Networks (GNNs) integreert met de classificatiekracht van Random Forest (RF). De methodologie verloopt via de volgende fasen:

1. Data-integratie en Feature Engineering:
   De studie aggregeert gegevens uit vier verschillende bronnen: de "Web Page Phishing Detection Dataset" (Kaggle) en drie aanvullende repositories (Mendeley Data en UCI ML Repository). Dit resulteert in een initiële pool van 124 kenmerken (features), waaronder structurele URL-attributen (bijv. lengte, aantal punten), inhoudelijke kenmerken en indicatoren van externe diensten.

   • Preprocessing: De dataset ondergaat Z-score normalisatie voor consistente schaling.
   • Feature Selectie: Om redundantie en multicollineariteit aan te pakken, worden kenmerken met een correlatiecoëfficiënt ≥ 0,5 geanalyseerd, en wordt Recursive Feature Elimination (RFE) toegepast om de set terug te brengen naar de 40 meest onderscheidende kenmerken.

2. Grafenconstructie en GNN-embedding:
   URL's worden gerepresenteerd als knopen (nodes) binnen een webgrafiek om structurele en gedragsmatige relaties te vangen. De auteurs experimenteren met drie strategieën voor de constructie van randen (edges) om verbindingen tussen knopen te definiëren:

   • K-Nearest Neighbors (KNN): Knopen verbinden op basis van nabijheid in de feature-ruimte.
   • Drempelwaarde-gebaseerd (Threshold-based): Randen creëren als de gelijkenis (bijv. cosinus-gelijkenis) een specifieke drempel overschrijdt.
   • Kenmerk-specifiek (Feature-specific): Knopen verbinden op basis van gedeelde categorische kenmerken.
     De GNN werkt de representaties van knopen iteratief bij door informatie te aggregeren van naburige knopen, waardoor embeddings worden gegenereerd die zowel contextuele als structurele inzichten samenvatten.

3. Hybride Classificatie:
   De door de GNN gegenereerde embeddings worden gevoed aan een classifier. Het primair voorgestelde model is GNN-RF, dat GNN-embeddings combineert met een Random Forest classifier. Een secundair vergelijkingsmodel, GNN-LR, maakt gebruik van Logistische Regressie als de classifier. Beiden worden gebenchmarkt tegen traditionele standalone modellen: Logistische Regressie (LR), Decision Tree (DT), K-Nearest Neighbors (KNN) en Random Forest (RF).

4. Implementatie:
   Het best presterende model wordt geïmplementeerd via een Gradio-gebaseerde webinterface, waardoor gebruikers een URL kunnen invoeren en real-time classificatieresultaten ontvangen.

Belangrijkste Bijdragen

• Hybride Architectuur: Het artikel introduceert een nieuw GNN-RF model dat de grafiekgebaseerde leervermogens benut om relationele afhankelijkheden tussen URL's te vangen, waarmee het beperkingen van statische modellen die enkel op kenmerken vertrouwen, aanpakt.
• Uitgebreide Kenmerkenanalyse: De studie compileert en analyseert kenmerken uit vier diverse datasets, waarbij RFE wordt gebruikt om de meest impactvolle attributen voor phishing-classificatie te identificeren.
• Vergelijkende Evaluatie: Het onderzoek biedt een gedetailleerde evaluatie waarbij traditionele ML-modellen, een GNN-LR alternatief en het voorgestelde GNN-RF model worden vergeleken over meerdere metrieken.
• Praktische Implementatie: Het werk overbrugt de kloof tussen theoretische vooruitgang en praktische toepassing door het model te implementeren via een toegankelijke gebruikersinterface.

Experimentele Resultaten
Experimenten werden uitgevoerd op een gebalanceerde dataset van meer dan 11.000 gelabelde URL's (50% phishing, 50% legitiem) met behulp van 5-voudige kruisvalidatie.

• Prestaties: Het GNN-RF model met drempelwaarde-gebaseerde randen behaalde de hoogste prestaties, met een score van 97% nauwkeurigheid (accuracy), 97% precisie, 97% recall en een 97% F1-score, met een ROC-AUC van 0,99. Dit presteerde beter dan alle traditionele modellen (die varieerden van 94% tot 96% nauwkeurigheid) en het GNN-LR alternatief.
• Foutreductie: Het hybride model verminderde het aantal fout-positieven aanzienlijk in vergelijking met de baseline-modellen, wat de betrouwbaarheid voor real-world implementatie verhoogt.
• Computationele Afwegingen: Hoewel het GNN-RF model een superieure nauwkeurigheid vertoonde, bracht het hogere computationele kosten met zich mee. Het verwerken van 1.000 samples duurde ongeveer 0,7255 seconden voor het GNN-RF (threshold) model, vergeleken met 0,0025 seconden voor de standalone Random Forest. Het geheugengebruik bleef echter minimaal over alle modellen (0,00005 MB).
• Alternatieve Modellen: Het GNN-LR model bood snellere verwerkingssnelheden (0,0100 seconden per 1.000 samples) maar een iets lagere nauwkeurigheid (93–94%), wat wijst op een afweging tussen snelheid en voorspellende kracht.

Betekenis en Claims
Het artikel stelt dat de integratie van Graph Neural Networks met ensemble-methoden zoals Random Forest een robuuste en intelligente oplossing biedt voor moderne phishing-dreigingen. De auteurs beweren dat hun aanpak effectief de kritieke beperkingen in de bestaande literatuur aanpakt, specifiek het gebrek aan relationele context en de afhankelijkheid van statische kenmerken. Door de structurele afhankelijkheden tussen URL's te vangen, is het GNN-RF model beter in staat om gecoördineerd phishinggedrag te detecteren dat traditionele modellen mogelijk missen.

De studie concludeert dat hoewel geavanceerde hybride modellen computationele overhead introduceren, de aanzienlijke winst in detectienauwkeurigheid en de reductie van fout-positieven het gebruik ervan rechtvaardigen in scenario's waar hoge precisie essentieel is. De succesvolle implementatie via een Gradio-interface demonstreert de praktische bruikbaarheid van het systeem voor cybersecurity-experts en eindgebruikers. Toekomstig werk dat door de auteurs wordt gesuggereerd, omvat real-time grafenconstructie, online leren voor adaptieve dreigingsdetectie en bredere integratie in cybersecurity-infrastructuren.