💻 computer science

An Explainable Agentic RAG Framework for Zero-Shot Phishing and Web Attack Detection

Het artikel introduceert XAR-Detect, een uitlegbare agentic RAG-framework die een DeBERTa-encoder, dynamische retrieval van dreigingssignatures en autonome redenering inzet om met hoge nauwkeurigheid en zero-shot detectie van phishing en webaanvallen met transparante rechtvaardigingen te bereiken, waarbij het bestaande state-of-the-art methoden aanzienlijk overtreft zonder hertraining te vereisen.

Oorspronkelijke auteurs: Mohammad Zahangir Alam, Mahdi H Miraz, Elhan Ayath, Sharmin Sultana, Nowshad Amin

Gepubliceerd 2026-09-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Zahangir Alam, Mahdi H Miraz, Elhan Ayath, Sharmin Sultana, Nowshad Amin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de digitale wereld komen de meest hardnekkige dreigingen vaak vermomd aan als alledaagse berichten of routinematige websiteverzoeken. Phishing-e-mails, ontworpen om wachtwoorden te stelen, en webaanvallen, die proberen in te breken op servers, zijn zo geavanceerd geworden dat ze met angstwekkende nauwkeurigheid legitieme communicatie kunnen nabootsen. Decennialang hebben beveiligingssystemen vertrouwd op een strategie van herkenning: ze zijn getraind op enorme bibliotheken van bekende slechte voorbeelden, waarbij ze leren om de specifieke vingerafdrukken van het verleden te herkennen. Deze aanpak heeft echter een fundamentele zwakte. Wanneer aanvallers een nieuwe truc verzinnen, een truc die nog nooit eerder is gezien, falen deze statische systemen vaak omdat ze geen referentiepunt hebben voor het onbekende. Om dit op te lossen, verkennen onderzoekers nu een ander pad, een pad dat de mogelijkheid combineert om te leren van context met de kracht om in realtime verse informatie op te zoeken, vergelijkbaar met een beveidsbeambte die niet alleen bekende criminelen herkent, maar ook een live feed van actuele waarschuwingen bij zich draagt om een vreemde in de menigte te identificeren.

Een team van onderzoekers heeft een nieuw systeem ontwikkeld genaamd XAR-Detect, dat probeert deze kloof tussen statische training en dynamische realiteit te overbruggen. In plaats van uitsluitend te vertrouwen op een vooraf getraind model dat zijn kennis bevriest op het moment dat het klaar is met leren, fungeert dit framework meer als een intelligente rechercheur. Het neemt een verdacht e-mailbericht of een webverzoek en analyseert eerst de inhoud om de structuur en betekenis ervan te begrijpen. Vervolgens, in plaats van een gok te wagen op basis van wat het heeft onthouden, reikt het onmiddellijk uit naar een live database van wereldwijde dreigingsinformatie. Deze database wordt constant bijgewerkt met informatie uit belangrijke beveiligingsrepositories, die miljoenen records bevatten over bekende phishing-links, kwaadaardige code en recente kwetsbaarheden. Het systeem haalt de meest relevante waarschuwingen op uit deze live feed en gebruikt deze om de beslissing te onderbouwen. Als het binnenkomende bericht kenmerken deelt met een recent gerapporteerde dreiging, kan het systeem dit als gevaarlijk markeren, zelfs als het systeem zelf niet expliciet is getraind op dat specifieke type aanval.

De kerninnovatie ligt in de manier waarop het systeem deze informatie verwerkt. Het voegt de nieuwe gegevens niet simpelweg toe aan de oude; het maakt gebruik van een autonome redeneeragent die optreedt als een kritische denker. Deze agent weegt het bewijs uit het bericht zelf af tegen de verse intelligentie die het zojuist heeft opgehaald. De agent vraagt zich af of de patronen overeenkomen, overweegt de context en vormt vervolgens een hypothese over de vraag of het bericht veilig of kwaadaardig is. Dit meerstaps-proces stelt het systeem in staat om zich aan te passen aan nieuwe aanvalsstrategieën zonder dat het vanaf nul opnieuw getraind hoeft te worden. In hun experimenten testten de onderzoekers deze aanpak op een verscheidenheid aan real-world datasets, inclusief duizenden phishing-e-mails en miljoenen records van webverkeer. Ze ontdekten dat het systeem bekende aanvallen correct kon identificeren met een nauwkeurigheid van bijna 98 procent, een prestatieniveau dat bestaande methoden met een aanzienlijke marge overtrof. Belangrijker nog, toen het werd getest op volledig nieuwe soorten aanvallen die verborgen waren voor de trainingsdata, slaagde het systeem er nog steeds in om deze te detecteren met een nauwkeurigheid van 88,3 procent. Dit suggereert dat het vermogen om actuele dreigingen in realtime op te zoeken een krachtig vangnet biedt tegen het onbekende.

Naast het vangen van kwaadwillenden, maakten de onderzoekers zich zorgen over het "black box"-probleem, waarbij complexe computersystemen beslissingen nemen die mensen niet kunnen begrijpen. In situaties met hoge inzet is weten waarom een systeem een bericht heeft gemarkeerd net zo belangrijk als de markering zelf. XAR-Detect pakt dit aan door een duidelijke, twee-laagse uitleg te geven bij elke beslissing die het neemt. Ten eerste benadrukt het welke specifieke kenmerken van het bericht — zoals een vreemde link of een ongebruikelijke woordkeuze — het meest hebben bijgedragen aan de verdenking. Ten tweede laat het zien welke stukken externe dreigingsinformatie werden gebruikt om tot de conclusie te komen. Deze transparantie stelt menselijke beveiligingsanalisten in staat om de logica van het systeem te verifiëren, waardoor wordt gewaarborgd dat de detectie gebaseerd is op solide bewijslast in plaats van een willekeurige gok. De onderzoekers maten hoe betrouwbaar deze verklaringen waren en vonden ze zeer consistent, wat betekent dat het systeem een stabiele reden geeft voor zijn keuzes, zelfs wanneer de input licht is geherformuleerd.

De studie onthulde ook de beperkingen van deze aanpak. Het vermogen van het systeem om nieuwe dreigingen op te sporen, hangt volledig af van de kwaliteit en de dekking van de live database die het raadpleegt. Als er een volledig nieuwe aanval verschijnt die nog niet is opgenomen in een enkele wereldwijde dreigingsrepository, kan het systeem deze niet opzoeken, en kan de prestatie dalen. De onderzoekers erkennen dat, hoewel het systeem een grote stap voorwaarts is, het geen perfect schild is tegen elke mogelijke toekomstige dreiging. Bovendien, omdat het redeneerdeel van het systeem vertrouwt op krachtige externe computingdiensten, zijn er praktische overwegingen met betrekking tot snelheid en kosten die in real-world implementaties beheerd moeten worden. Ondanks deze beperkingen laten de resultaten een levensvatbaar pad voorwaarts zien voor cyberdefensie. Door diepgaand begrip van taal te combineren met het vermogen om toegang te krijgen tot live intelligentie, biedt XAR-Detect een manier om dreigingen te detecteren die nog nooit eerder zijn gezien, en biedt het een flexibeler en transparanter verdedigingsmechanisme voor de digitale wereld.

Technische Samenvatting: Een Verklaraal Agentic RAG-framework voor Zero-Shot Phishing en Web Attack Detectie

1. Probleemstelling

Phishing en webgebaseerde aanvallen (bijv. SQL-injectie, XSS) blijven kritieke dreigingen voor industriële en enterprise-systemen, waarbij het volume en de snelheid van aanvallen significant toenemen en snel evolueren. Bestaande detectieframeworks kampen met drie primaire beperkingen:

Statische Generalisatie: De meeste supervised en self-supervised modellen vertrouwen op vaste trainingsdistributies. Eenmaal getraind, kunnen ze niet generaliseren naar onbekende aanvalspatronen zonder hertraining of fine-tuning.
Data-intensiteit: High-performance modellen vereisen vaak grote hoeveelheden handmatig gelabelde data, die schaars zijn voor opkomende dreigingen.
Gebrek aan Transparantie: Veel adaptieve methoden, zoals Reinforcement Learning (RL) of standalone Large Language Model (LLM) classificators, opereren als "black boxes" en missen de verklaarbaarheid die vereist is voor regelgevende naleving (bijv. GDPR, NIS2) en het vertrouwen van analisten.

Huidige benaderingen pakken doorgaans slechts één aspect van deze uitdaging aan (bijv. adaptiviteit zonder verklaarbaarheid, of verklaarbaarheid zonder zero-shot capaciteit). Er is een gat voor een verenigd framework dat zero-shot generalisatie, agentic adaptieve redenering, real-time dreigingskennis-grounding en transparante verklaarbaarheid combineert.

2. Methodologie: XAR-Detect

De auteurs stellen XAR-Detect (eXplainable Agentic Retrieval-Augmented Detection) voor, een framework ontworpen om te opereren in een "open-world" setting waar het aanvalsklassen moet detecteren die niet aanwezig waren in de trainingsdata. Het systeem integreert vier kerncomponenten:

A. Contextuele Codering

Ruwe e-mail- en HTTP-verzoekdata worden verwerkt met behulp van DeBERTa-v3, gekozen vanwege de disentangled attention-mechanisme en relatieve positie-encodering. Deze encoder genereert rijke contextuele representaties ( $e_i$ ) van de inputtekst, waarbij zowel semantische inhoud als structurele attributen worden vastgelegd.

B. Retrieval-Augmented Generation (RAG)

Om de beperkingen van statische trainingsdistributies te overwinnen, gebruikt XAR-Detect een RAG-module. Tijdens de inferentie dient de contextuele representatie als query om de top- $K$ semantisch overeenkomende dreigingssignatures te extraheren uit een live kennisbank ( $\mathcal{E}$ ). Deze kennisbank aggregeert data van:

PhishTank (phishing URL's)
VirusTotal (malware signatures)
CVE (Common Vulnerabilities and Exposures)

De geëxtraheerde signatures ( $\mathcal{R}_i$ ) worden geaggregeerd via attention-weighted mechanismen en gefuseerd met de lokale encoder-representatie om een augmented input ( $\tilde{x}_i$ ) te creëren. Dit stelt het systeem in staat om externe dreigingsinformatie te benutten voor aanvallen die uitgesloten zijn van de trainingsset.

C. Agentic Reasoning

In tegen tegenstelling tot standaard RAG-pipelines die context passief concateneren, maakt XAR-Detect gebruik van een autonome LLM-gebaseerde reasoning agent (specifiek GPT-4o) om de augmented bewijslast te verwerken. De agent voert een gestructureerd, multi-step inferentieproces uit:

Evidence Assessment: Evalueert de consistentie tussen lokale kenmerken en geëxtraheerde dreigingssignatures.
Hypothesis Formation: Genereert kandidaat-labels (Benign, Phishing, Web Attack) met betrouwbaarheidsschattingen.
Decision Consolidation: Lost concurrerende hypothesen op om een definitieve voorspelling te produceren.

Dit iteratieve proces stelt het model in staat om de beslissing te verfijnen op basis van geëxtraheerd bewijs zonder de policy-trainingscycli die geassocieerd worden met Reinforcement Learning.

D. Dual-Layer Explainability

Om transparantie te garanderen, biedt het framework twee lagen van uitleg:

Global Attribution: Gebruikt SHAP (SHapley Additive exPlanations) om de marginale bijdrage van specifieke kenmerken en geëxtraheerde dreigingsdimensies aan de voorspelling over de populatie heen te bepalen.
Instance-Level Attribution: Aggregeert token-level attention maps over encoder-lagen en heads om casus-specifieke rechtvaardigingen te bieden, waarbij wordt gehighlight welke delen van de input en het geëxtraheerde bewijs de beslissing hebben beïnvloed.

3. Belangrijkste Bijdragen

Het paper beschrijft vijf primaire bijdragen:

Verenigd Framework: De voorstel van XAR-Detect, dat LLM-gebaseerde redenering, dynamische dreigingsinformatie-retrieval en dual-layer verklaarbaarheid integreert voor zowel phishing- als web attack detectie.
Zero-Shot Mechanisme: Een RAG-enhanced architectuur die detectie van voorheen onziene aanvalsvarianten mogelijk maakt zonder hertraining of fine-tuning.
Autonome Reasoning Agent: Een agent die lokale feature-representaties synthetiseert met geëxtraheerd bewijs via multi-step inferentie, waarmee het agentic RAG-paradigma wordt uitgebreid naar verenigde dreigingsdetectie.
Dual-Layer Transparantie: De implementatie van globale SHAP-analyse gecombineerd met instance-level attention attribution om zowel modelbrede als casus-specifieke interpreteerbaarheid te bieden.
Empirische Validatie: Uitgebreide evaluatie die superieure prestaties aantoont ten opzichte van state-of-the-art baselines in gebalanceerde, ongebalanceerde en zero-shot scenario's.

4. Experimentele Resultaten

Het framework werd geëvalueerd op drie phishing corpora (Nazario, Enron, Subhadeep) en de SR-BH web attack benchmark.

Algemene Prestaties (Gebalanceerd): XAR-Detect behaalde een F1-score van 97,8% en een False Positive Rate (FPR) van 2,1%. Dit presteerde beter dan de beste self-supervised baseline (SSL Ensemble) met 2,4 procentpunt in F1 en verminderde de FPR met 2,7 punten.
Robuustheid (Ongebalanceerd): Onder een realistische distributie waarbij aanvallen ongeveer 15% van de data besloegen, behield XAR-Detect een F1 van 96,2% met een FPR van 3,8%, wat aanzienlijk minder prestatieverlies vertoonde dan de baselines.
Zero-Shot Generalisatie: Wanneer getest op aanvalsklassen die volledig uitgesloten waren van training, behaalde XAR-Detect een F1 van 88,3%. Dit overtrof de SSL Ensemble met 34,2 procentpunt en CyberRAG met 14,1 punten, wat de effectiviteit van retrieval-augmented reasoning voor onziene dreigingen aantoont.
Ablatie Studies: Het verwijderen van de RAG-module verlaagde de F1 met 1,7 punten; het verwijderen van de agent verlaagde deze met 2,1 punten. De combinatie van beide leverde een winst van 3,0 punten op ten opzichte van de encoder-only baseline, wat hun complementaire aard bevestigt.
Explainability Metrics: Het framework vertoonde een hoge verklarende trouw (faithfulness) van 0,847 en stabiliteit van 0,913 vergeleken met post-hoc baselines.

5. Betekenis en Claims

Het paper claimt dat XAR-Detect een praktisch, interpreteerbaar en label-efficiënt pad biedt naar intelligente cyberdreigingsdetectie. De betekenis ligt in het adresseren van de "closed-world" beperking van traditionele modellen door beslissingen te funderen in live externe dreigingsinformatie in plaats van bevroren trainingsdistributies.

De auteurs benadrukken dat het framework federated-ready is, aangezien de reasoning module opereert op geëncodeerde representaties en publieke intelligentie, wat gedistribueerde uitrol over privacygevoelige organisaties ondersteunt. Het paper behoudt echter een bescheiden houding met betrekking tot beperkingen:

Dekkingsafhankelijkheid: De zero-shot prestaties zijn begrensd door de dekkingstichtheid ( $\rho$ ) van de externe kennisbank; volledig nieuwe aanvalsfamilies zonder vergelijkbare signatures in de repository kunnen nog steeds resulteren in hoge foutpercentages.
Operationele Beperkingen: De afhankelijkheid van GPT-4o introduceert API-afhankelijkheid, inferentie-latentie en potentiële kosten, wat real-time high-throughput deployment kan beperken.
Analist Validatie: Hoewel de technische metrieken voor verklarende trouw sterk zijn, merkt het paper op dat de praktische bruikbaarheid van deze verklaringen voor security analisten (bijv. het verminderen van triage-tijd) nog niet is gevalideerd door middel van menselijke studies.

Concluderend vertegenwoordigt XAR-Detect een verschuiving van statische, data-intensieve detectie naar adaptieve, kennis-gegronde en transparante systemen die in staat zijn om de evoluerende landschap van cyberdreigingen aan te kunnen.