AI Powered Image Analysis for Phishing Detection

Titel: AI-gedreven Beeldanalyse voor Phishing-detectie

Auteurs: Kaushal Acharya, Sunil Ale en Rajan Kadel (Melbourne Institute of Technology & National Academy of Professional Studies)

1. Probleemstelling

Traditionele phishing-detectiesystemen vertrouwen voornamelijk op tekstuele analyse of URL-structuur. Moderne aanvallers omzeilen deze systemen echter door visuele imitatie te gebruiken: ze kopiëren logo's, kleurenschema's en lay-outs van legitieme websites om gebruikers te misleiden.

• Beperkingen van bestaande methoden: Tekst- en URL-gebaseerde filters kunnen deze visuele deception niet detecteren, vooral wanneer tekst in afbeeldingen is ingebed.
• Wetenschappelijke lacune: Bestaand onderzoek op het gebied van beeldgebaseerde phishing-detectie focust vaak uitsluitend op nauwkeurigheid (accuracy). Dit is misleidend bij onbalans in datasets (waar legitieme sites vaak oververtegenwoordigd zijn) en negeert de impact van beslissingsdrempels (decision thresholds). Zonder drempeloptimalisatie is het moeilijk om te voorspellen hoe een model zich in de praktijk zal gedragen (bijv. balans tussen valse positieven en gemiste aanvallen).

2. Methodologie

De auteurs hebben een end-to-end framework ontwikkeld voor beeldgebaseerde phishing-detectie met de volgende stappen:

• Dataverzameling:
  • Een Python-pipeline (met Playwright) is ontwikkeld om automatisch screenshots van webpagina's te maken via URL-feeds van OpenPhish.
  • Er zijn 28.876 gelabelde screenshots verzameld (een combinatie van 18.432 nieuw gegenereerde en 10.444 uit de PhishIRIS-dataset).
  • De dataset is gebalanceerd tussen phishing- en legitieme sites.
• Preprocessing:
  • Afbeeldingen zijn herschaald naar 224x224 pixels.
  • Dubbele en corrupte bestanden zijn verwijderd.
  • Data-augmentatie is toegepast (horizontale spiegeling, helderheidsaanpassing, Gaussische blur, random cropping) om de diversiteit te vergroten.
• Modelselectie:
  Twee state-of-the-art visuele modellen werden vergeleken onder dezelfde experimentele omstandigheden:
  1. ConvNeXt-Tiny: Een moderne CNN-architectuur die sterk is in het detecteren van lokale visuele kenmerken (logo's, lay-out details).
  2. Vision Transformer (ViT-Base): Een transformer-architectuur die gebruikmaakt van self-attention om globale context en structurele relaties in de afbeelding te modelleren.
• Training:
  • Beide modellen werden getraind met transfer learning (geinitialiseerd met ImageNet-weights).
  • Gebruik van Binary Cross-Entropy als verliesfunctie en de Adam-optimizer.
• Evaluatie (Kerninnovatie):
  • In plaats van alleen nauwkeurigheid te rapporteren, werd een drempelbewuste evaluatie uitgevoerd.
  • De modellen werden getest bij verschillende beslissingsdrempels (van 0.1 tot 0.9) om Precision, Recall en F1-score te analyseren.
  • Het doel was het vinden van het optimale operationele punt dat de balans tussen detectiekracht en het minimaliseren van valse alarmen optimaliseert.

3. Belangrijkste Bijdragen

1. Drempelbewuste Evaluatiemethodologie: Een nieuwe aanpak die de prestaties van modellen analyseert over een reeks drempels in plaats van een enkelvoudige "beste" score, wat realistischer is voor echte implementaties.
2. Vergelijkende Analyse: Een directe vergelijking tussen een CNN-architectuur (ConvNeXt-Tiny) en een Transformer-architectuur (ViT-Base) specifiek voor visuele phishing-detectie.
3. End-to-End Framework: Een reproduceerbaar systeem dat datacollectie, preprocessing, training en drempeloptimalisatie integreert.
4. Open Data: De auteurs kondigen aan dat de verzamelde, curateerde dataset openbaar gemaakt zal worden om reproduceerbaarheid en verder onderzoek te stimuleren.

4. Resultaten en Analyse

De experimenten leverden de volgende inzichten op:

• Prestaties per Model:
  • ConvNeXt-Tiny presteerde over het algemeen beter. Bij de geoptimaliseerde drempel van 0.8 behaalde het een F1-score van 0.992, met een precisie van 0.997 en een recall van 0.984.
  • ViT-Base behaalde een lagere F1-score van 0.900 (bij dezelfde drempel), met een lagere recall (0.880), wat betekent dat het meer phishing-sites miste dan ConvNeXt-Tiny.
• Invloed van Drempels:
  • De prestaties van ConvNeXt-Tiny waren stabiel over verschillende drempels; de veranderingen in precisie en recall waren geleidelijk.
  • ViT-Base toonde meer gevoeligheid voor drempelveranderingen, wat wijst op minder stabiliteit in wisselende operationele omstandigheden.
• Efficiëntie:
  • ConvNeXt-Tiny is computatie-efficiënter en heeft een lagere inferentiekost vanwege zijn kleinere parametergrootte en eenvoudige convolutie-ontwerp.
  • ViT-Base is zwaarder en duurder om uit te voeren, wat minder ideaal is voor real-time implementaties.

5. Betekenis en Conclusie

Dit paper benadrukt dat voor visuele phishing-detectie CNN-architecturen (zoals ConvNeXt) momenteel superieur zijn aan Transformer-architecturen (zoals ViT) in termen van een combinatie van nauwkeurigheid, stabiliteit en rekenefficiëntie.

De belangrijkste conclusie is dat het rapporteren van alleen "nauwkeurigheid" ontoereikend is voor cybersecurity-toepassingen. Door drempeloptimalisatie toe te passen, kunnen systemen worden afgestemd op specifieke behoeften:

• Hoge veiligheid: Drempel verlagen om recall te maximaliseren (minder gemiste aanvallen, maar meer valse alarmen).
• Gebruikerservaring: Drempel verhogen om precisie te maximaliseren (minder valse alarmen, maar risico op gemiste aanvallen).

Het onderzoek biedt een robuust, reproduceerbaar kader voor het bouwen van toekomstige phishing-detectiesystemen die bestand zijn tegen visuele manipulatie en dynamische aanvalsmethoden.