Technische Samenvatting: Benchmarking van Large Language Models voor Zero-shot en Few-shot Phishing URL Detectie

Probleemstelling

Phishing-aanvallen zijn geëvolueerd tot een geraffineerde cybersecurity-dreiging, waarbij steeds vaker generatieve AI wordt ingezet om contextbewuste, misleidende URL's te creëren die moeilijk te onderscheiden zijn voor gebruikers en traditionele detectietools. Hoewel reactieve bescherming zoals HTTPS bestaat, ontbreken er in de URL-structuur zelf inherente mechanismen voor veiligheid of veerkracht tegen fraude. Traditionele detectiesystemen, met name die afhankelijk zijn van blacklists of handmatig ontworkte lexicale kenmerken, hebben moeite met nieuw gegenereerde of geobfusceerde URL's vanwege hun afhankelijkheid van voorkennis. Bovale de snelle escalatie van phishing-tactieken—aangetoond door een volumetoename van 4.000% sinds 2022—overtreft de snelheid waarmee de benodigde gelabelde data voor supervised learning wordt geproduceerd. Dit creëert een kritieke behoefte aan detectiemethoden die in staat zijn te generaliseren naar ongeziene of adversariële voorbeelden met minimale supervisie.

Methodologie

De auteurs presenteren een uitgebreide benchmark die drie propriëtaire Large Language Models (LLM's) evalueert—GPT-4o (OpenAI), Claude-3.7-sonnet-20250219 (Anthropic) en Grok-3-Beta (xAI)—op de taak van phishing URL-classificatie. De studie maakt gebruik van een verenigd prompting-framework om de prestaties te beoordelen onder zowel zero-shot als few-shot instellingen.

Experimentele Opzet

• Dataset: De evaluatie maakt gebruik van de PhiUSIIL Phishing URL dataset.
  • Gebalanceerde Evaluatie: Een corpus van 10.000 URL's (5.000 phishing, 5.000 legitiem) werd geconstrueerd met behulp van random sampling.
  • Imbalanced Evaluatie: Testsets van 1.000 URL's werden gemaakt met phishing-ratio's van 1% en 10% om realistische klassenverdelingen te simuleren.
• Prompt Constructie:
  • Zero-shot ($P_{ZS}$): Bestaat uit een taakinstructie ($I$) en een query ($Q(u)$). De instructie definieert het model als een cybersecurity-expert en vraat om een binaire respons (0 voor phishing, 1 voor legitiem).
  • Few-shot ($P_{FS}$): Bevat de instructie, de query en een set voorbeelden ($E$). In de gebalanceerde experimenten werden 6 voorbeelden (3 phishing, 3 legitiem) gebruikt. In de imbalanced experimenten varieerde het aantal voorbeelden (1, 3 of 9).
• Inference: Alle modellen werden via hun officiële API's benaderd met een temperatuur van 0 en een maximale output van 10 tokens. Responsies werden geparsed om binaire voorspellingen te extraheren.
• Metrieken: Prestaties werden gekwantificeerd met zes metrieken: Accuracy, Macro-averaged Precision, Recall, F1-score, AUROC en AUPRC.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen aan de cybersecurity en AI-onderzoeksgemeenschap:

1. Verenigde Benchmark: Het vestigt een gestandaardiseerde benchmark voor instruction-tuned propriëtaire LLM's in phishing URL-detectie, waarbij de zero-shot en few-shot capaciteiten van meerdere modellen worden vergeleken.
2. Gecontroleerde Evaluatie: De studie evalueert modellen op een gebalanceerde dataset met consistente, model-agnostische prompt-ontwerpen, waarmee het gebrek aan eerlijke vergelijking in eerdere literatuur wordt aangepakt waar datasets of metrieken vaak varieerden.
3. Reproduceerbaarheid: De auteurs stellen hun codebase beschikbaar om verdere research en reproduceerbaarheid te faciliteren.

Experimentele Resultaten

Gebalanceerde Dataset (10.000 URL's)

Few-shot prompting met zes voorbeelden verbeterde de prestaties aanzienlijk voor alle modellen vergeleken met de zero-shot baselines.

• Grok-3-Beta kwam als beste uit de bus in de few-shot setting, met de hoogste Accuracy (0.9405), Precision (0.9492), F1-score (0.9399), AUROC (0.9405) en AUPRC (0.9573). Het vertoonde een opmerkelijke verschuiving in de precision-recall trade-off, waarbij de precision toenam van 0.8361 naar 0.9492 terwijl de recall licht afnam.
• Claude-3.7 behaalde de hoogste Recall (0.9526) in de few-shot setting, maar had een lagere precision vergeleken met Grok-3-Beta.
• GPT-4o toonde consistente winst over alle metrieken, maar bleef achter bij de andere twee modellen qua algehele prestaties.
• Confusion Matrices: Few-shot prompting verminderde fout-negatieven (false negatives) bij alle modellen. Grok-3-Beta verminderde de fout-negatieven van 950 (zero-shot) naar 248 (few-shot).

Imbalanced Dataset (1% en 10% Phishing Ratio's)

• Zero-Shot Prestaties: Grok-3-Beta demonstreerde sterke zero-shot capaciteiten, met een accuracy van 0.976 en een recall van 0.938 bij een 10% phishing ratio.
• Few-Shot Sensitiviteit: De impact van het aantal voorbeelden varieerde per model:
  • Grok-3-Beta: Bereikte een piek met slechts 1 voorbeeld (F1: 0.906) en de prestaties namen licht af met 3 of 9 voorbeelden.
  • Claude-3.7: Toonde een gestage verbetering naarmate het aantal voorbeelden toenam, waarbij het de beste F1-score (0.876) bereikte met 9 voorbeelden.
  • GPT-4o: Demonstreerde consistente winsten van 1 voorbeeld (F1: 0.709) naar 9 voorbeelden (F1: 0.861).
• Robuustheid: Modellen behielden een robuuste prestatie over verschillende random seeds (S123, S456), waarbij de verschillen in F1-score onder de 0.05 bleven bij een 10% imbalance.

Betekenis en Claims

Het artikel betoogt dat naarmate phishing-tactieken sneller evolueren dan de productie van gelabelde data kan plaatsvinden, zero-shot en few-shot learning met LLM's een tijdige en aanpasbare oplossing biedt. De studie concludeert dat few-shot prompting de detectieprestaties effectief verbetert over meerdere propriëtaire LLM's, wat generalisatie met minimale supervisie mogelijk maakt.

Specifiek beweren de auteurs dat:

• Prompt-gebaseerde benaderingen effectief phishing URL's kunnen detecteren met zeer weinig voorbeelden (bijv. Grok-3-Beta die goed presteert met een enkel voorbeeld).
• Er duidelijke operationele trade-offs bestaan tussen modellen; sommige (zoals Grok-3-Beta) blinken uit met minimale voorbeelden en hoge precision, terwijl anderen (zoals Claude-3.7) mogelijk baat hebben bij meer voorbeelden om de recall te maximaliseren.
• Het huidige landschap een gebrek heeft aan verenigde benchmarking voor LLM's in dit domein, en dit werk vult dat gat door een consistent evaluatiekader te bieden.

De auteurs houden een bescheiden reikwijdte aan en merken op dat toekomstig werk vereist is om deze bevindingen te valideren over diverse datasets, prompt-optimalisatiestrategieën te verkennen en de trade-offs tussen prompt-gebaseerde inference en fine-tuned modellen in operationele omgevingen te onderzoeken.