Eliciting Least-to-Most Reasoning for Phishing URL Detection

Technische Samenvatting: Het oproepen van Least-to-Most Redeneren voor Phishing URL-detectie

Probleemstelling
Phishing blijft een primaire vector voor cyberaanvallen en datalekken. Hoewel traditionele detectiemethoden (machine learning, deep learning en URL-gebaseerde benaderingen) een hoge nauwkeurigheid bieden, functioneren ze vaak als "black boxes", waarbij een gebrek is aan interpreteerbaarheid over waarom een specifieke URL als onschadelijk of kwaadaardig wordt geclassificeerd. Bovendien vereisen deze gesuperviseerde modellen doorgaans grote, gelabelde datasets en hebben ze moeite met generalisatie over verschillende datasets. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken voor phishing-detectie via few-shot prompting, behandelen bestaande benaderingen het redeneerproces van het model vaak als een eenstaps-proces of een black box, waarbij wordt nagelaten te analyseren hoe het redeneerproces zelf de uiteindelijke voorspelling beïnvloedt.

Methodologie
De auteurs stellen een Least-to-Most prompting framework voor die specifiek is afgestemd op phishing URL-detectie. In tegen tegenstelling tot standaard prompting-strategieën (zoals One-shot of Chain-of-Thought) die voorspellingen genereren in een enkele prompt of een enkele keten, instrueert dit framework de LLM om het classificatieprobleem te deconstrueren in kleinere, iteratieve subproblemen.

Een nieuw component van dit werk is het "answer sensitivity" mechanisme. In dit iteratieve proces:

1. Genereert de LLM een subvraag met betrekking tot een specifiek kenmerk van de URL (bijv. de domeinstructuur, directorynamen).
2. Beantwoordt het model de subvraag en geeft het een percentage-inschatting van de waarschijnlijkheid dat de URL phishing is (0% = onschadelijk, 100% = phishing).
3. Dit percentage dient als gids voor de iteratie. Het proces gaat door totdat de sensitiviteitsscore een door de gebruiker gedefinieerde drempelwaarde overschrijdt (bijv. ≥90% voor phishing of ≤10% voor onschadelijk).
4. Om oneindige lussen te voorkomen, beperkt het framework het aantal iteraties programmatisch tot 10. Als de drempelwaarde na de 10e iteratie nog niet is overschreden, wordt de URL conservatief geclassificeerd op basis van de laatste score.

Belangrijkste Bijdragen

1. Framework Voorstel: De introductie van een Least-to-Most prompting framework voor phishing URL-detectie dat het probleem expliciet deconstrueert in iteratieve subvragen.
2. Answer Sensitivity Mechanisme: De ontwikkeling van een mechanisme dat het iteratieve redeneerproces stuurt via percentage-gebaseerde betrouwbaarheidsinschattingen, waardoor het model in staat is zijn voorspelling over meerdere stappen te verfijnen in plaats van zich vast te leggen op een single-shot antwoord.
3. Empirische Evaluatie: Een uitgebreide evaluatie met drie publieke URL-datasets (HP, EBBU, ISCX) en vier state-of-the-art LLMs (Gemma 3, Llama 3.1, GPT-4.1, Gemini 2.5-Flash). Het framework werd vergeleken met een One-shot prompting baseline en een gesuperviseerd BERT-gebaseerd model (URLTran).

Resultaten
De experimentele resultaten laten zien dat het Least-to-Most framework consequent beter presteert dan de One-shot baseline en de prestaties van het gesuperviseerde URLTran-model nadert, ondanks het feit dat er geen gelabelde trainingsdata nodig is.

• Prestatiewinst: De Least-to-Most benadering behaalde een gemiddelde F1-score van 0,9040 over alle datasets en modellen, vergeleken met 0,8726 voor de One-shot baseline (een gemiddelde verbetering van 0,03 F1).
• Vergelijking met Gesuperviseerde Modellen: In de best presterende setting (Gemini 2.5-Flash) behaalde het framework een gemiddelde F1 van 0,9621, wat binnen 0,03 F1 ligt van de score van het gesupereviseerde URLTran-model van 0,99.
• Effectiviteit van Iteratie: Analyse toonde aan dat hoewel veel correcte voorspellingen slechts enkele iteraties vereisten, een aanzienlijk aantal correcte voorspellingen alleen mogelijk was na een "outlier" aantal iteraties. Het answer sensitivity mechanisme stelde het model in staat om initiële misclassificaties te corrigeren (bijv. een URL die aanvankelijk een score van 25% phishing had en steeg naar 90% na zes iteraties) die de One-shot methode zou hebben gemist.
• Consistentie: In bijna alle gevallen produceerde Least-to-Most meer unieke correcte voorspellingen en minder onjuiste vo预测ingen dan de One-shot methode, zelfs voor minder presterende modellen zoals Llama.

Significantie
Het artikel beweert dat dit werk de waarde van gestructureerd, meerstaps redeneren in LLMs voor beveiligingstaken aantoont. Door verder te gaan dan single-step prompts, roept het framework sterkere redeneercapaciteiten op die de voorspellingsnauwkeurigheid verbeteren zonder dat er uitgebreide trainingsdata of few-shot voorbeelden nodig zijn. Het "answer sensitivity" mechanisme wordt benadrukt als een cruciale factor bij het drijven van deze winsten, aangezien het het model in staat stelt om de beoordeling van de kwaadaardigheid van een URL iteratief te verfijnen. De auteurs concluderen dat deze eenvoudige maar krachtige prompting-strategie een robuust, interpreteerbaar alternatief biedt voor zowel traditionele gesuperviseerde modellen als standaard prompting-technieken voor phishing-detectie.