A Robust and Explainable Transformer-Based Framework for Phishing Email Detection

Technische Samenvatting: Een Robuust en Verklaarbaar Transformer-gebaseerd Framework voor Phishing-e-maildetectie

Probleemstelling
Phishing-aanvallen blijven een hardnekkige en geavanceerde cyberdreiging, waarbij steeds vaker AI wordt ingezet om vertrouwde bronnen na te bootsen en menselijke kwetsbaarheden uit te buiten. Hoewel Transformer-gebaseerde modellen (bijv. BERT, DistilBERT) een superieur vermogen hebben getoond in het vastleggen van contextuele linguïstische patronen voor phishing-detectie, kampen ze met twee kritieke beperkingen: een gebrek aan interpreteerbaarheid (het opereren als "black boxes") en een kwetsbaarheid voor adversariële perturbaties. Recente adversariële aanvallen, waaronder kleine wijzigingen op karakterniveau en manipulaties op embedding-niveau, kunnen standaard detectiemechanismen gemakkelijk omzeilen. Bovendien behandelt recent onderzoek robuustheid en verklaarbaarheid vaak in isolatie, waardoor er een kloof ontstaat tussen de betrouwbaarheid van het model en het vertrouwen van de gebruiker.

Methodologie
Het artikel stelt een verenigd, lichtgewicht, end-to-end framework voor dat gecentreerd is rond DistilBERT (een gedestilleerde, efficiënte variant van BERT) om deze uitdagingen aan te pakken via drie geïntegreerde componenten:

1. Hybride Robuustheidstraining:
   Om de veerkracht tegen zowel aanvallen op embedding-niveau als op oppervlakteniveau te vergroten, gebruikt de auteur een duale strategie voor training:

   • Adversariële Training op Embedding-niveau: Met behulp van de Fast Gradient Method (FGM) wordt het model getraind met gradiënt-gebaseerde perturbaties die direct worden toegepast op de token-embeddings. Dit vlakt de beslissingsgrens af in de continue embedding-ruimte.
   • Karakter-niveau Ruisaugmentatie: Stochastische perturbaties (invoeging, verwijdering en vervanging van karakters, inclus�ien visueel gelijke vervangingen zoals 'o'→'0') worden toegepast op 30% van de trainingsvoorbeelden voorafgaand aan de tokenisatie. Dit simuleert evasie-tactieken uit de echte wereld en dwingt het model om robuuste subwoord- en contextuele representaties te leren.
   • Optimalisatie: Het model minimaliseert een samengestelde verliesfunctie ($L_{total} = L_{clean} + \lambda L_{adv}$) waarbij $\lambda=0,5$, wat een balans vindt tussen standaard classificatienauwkeurigheid en adversariële veerkracht.

2. Integratie van Explainable AI (XAI):
   Om transparantie te verbeteren, integreert het framework drie lokale attributiemethoden: LIME (Local Interpretable Model-agnostic Explanations), SHAP (SHapley Additive exPlanations) en IG (Integrated Gradients). Deze methoden kwantificeren het belang van specifieke tokens in het besluitvormingsproces van het model. De studie voert een vergelijkende evaluatie van deze methoden uit onder input-perturbaties om de stabiliteit van de verklaringen te beoordelen.

3. Generatie van Natuurlijke Taalverklaringen:
   Om de kloof tussen technische feature-attributies en het begrip van de gebruiker te overbruggen, gebruikt het framework Flan-T5-Small, een lichtgewicht, instructie-getunede sequence-to-sequence transformer. De door LIME afgeleide meest invloedrijke tokens, hun attributiescores en de voorspellingszekerheid van het model worden geformatteerd in gestructureerde, op regels gebaseerde prompts. Flan-T5-Small genereert vervolgens beknopte, in gewone taal geformuleerde, op bewijs gebaseerde narratieven die uitleggen waarom een e-mail als phishing of legitiem is gemarkeerd.

Belangrijkste Bijdragen
Het artikel beschrijft vier primaire bijdragen:

• Verbeterde Hybride Robuustheid: Toont aan dat het combineren van FGM-gebaseerde embedding-training met karakter-niveau ruisaugmentatie de veerkracht van DistilBERT tegen karakter-niveau perturbatie-aanvallen aanzienlijk verbetert, wat een computationeel efficiënt alternatief biedt voor multi-step adversariële defensies.
• Vergelijkende XAI-Evaluatie: Biedt een systematische vergelijking van LIME, SHAP en IG onder realistische input-distorties, waarbij de interpreteerbaarheid en kwalitatieve robuustheid van attributiemethoden worden gekwantificeerd.
• Op Bewijs Gebaseerde Verklaringen: Vestigt een laag die technische feature-attributies omzet in menselijk leesbare narratieven met behulp van Flan-T5-Small, waarbij verklaringen direct worden gegrond in de bewijsvoering van het model in plaats van in statische meldingen.
• End-to-End Framework: Verenigd robuuste training, XAI en natuurlijke taal-rationalisatie in een inzetbare pipeline die de afweging tussen modelrobuustheid en gebruikersvertrouwen aanpakt.

Experimentele Resultaten
Het framework werd geëvalueerd op een publieke phishing-e-mail dataset (ca. 18.650 samples) en gevalideerd op een cross-domein dataset (CEAS 08 subset).

• Robuustheid: Onder toenemende karakter-niveau ruis (tot 20% corruptie) behield het voorgestelde framework een nauwkeurigheid van 93,2%, een drastische verbetering ten opzien van de baseline DistilBERT, die daalde naar 54,5%. De hybride aanpak verminderde de daling in nauwkeurigheid van schone data naar 20% ruis tot slechts 4,9 procentpunt, vergeleken met 43,5 punten voor de baseline.
• Stabiliteit van Verklaringen: Kwalitatieve analyse toonde aan dat terwijl baseline-modellen volatiele token-attributies en polariteitsomkeringen vertoonden onder kleine tekstwijzigingen, het voorgestelde framework stabiele attributiepatronen behield, waarbij het vertrouwde op semantisch betekenisvolle indicatoren in plaats van fragiele oppervlakkige kenmerken.
• Gebruikersstudie: Een pilotstudie met 30 deelnemers die gebruikmaakten van een web-gebaseerde prototype leverde hoge scores op voor Beslissingshelderheid (Gemiddeld: 4,34/5) en Informatiefocus (Gemiddeld: 4,22/5), wat aangeeft dat de gegenereerde verklaringen als duidelijk en relevant werden ervaren.
• Cross-Domein Generalisatie: Op de CEAS-dataset behield het voorgestelde framework een nauwkeurigheid van 95,7% bij 20% ruis, vergeleken met de 67,6% van de baseline, wat een sterke generalisatiecapaciteit aantoont.

Significantie en Claims
De auteurs claimen dat deze geïntegreerde aanpak effectief de kloof tussen modelbetrouwbaarheid en gebruikersvertrouwen overbrugt. Door tegelijkertijd adversariële robuustheid en interpreteerbaarheid aan te pakken, brengt het framework transparante phishing-detectie vooruit. Het artikel benadrukt dat de voorgestelde methode niet louter een detectietool is, maar een besluitvormingsondersteunend systeem dat transparantie vergroot, waardoor gebruikers de rationale achter beveiligingsmeldingen kunnen begrijpen. De auteurs merken bescheiden op dat hoewel het framework de veerkracht tegen veelvoorkomende obfuscatie-tactieken verbetert, het niet volledig in staat is geoptimaliseerde adversariële aanvallen of geavanceerde semantische parafrasering te vatten, en dat toekomstig werk nodig is om deze evoluerende dreigingen aan te pakken. De studie positioneert de voorgestelde adversariële technieken strikt als defensieve maatregelen om de systeemveerkracht tegen kwaadwillende actoren te versterken.