Eliciting Least-to-Most Reasoning for Phishing URL Detection

Technische Zusammenfassung: Eliciting Least-to-Most Reasoning für die Erkennung von Phishing-URLs

Problemstellung
Phishing bleibt ein primärer Vektor für Cyberangriffe und Datenschutzverletzungen. Während traditionelle Erkennungsmethoden (maschinelles Lernen, Deep Learning und URL-basierte Ansätze) eine hohe Genauigkeit bieten, fungieren sie oft als „Black Boxes“, denen es an Interpretierbarkeit hinsichtlich der Frage mangelt, warum eine bestimmte URL als harmlos oder bösartig klassifiziert wurde. Darüber hinaus benötigen diese überwachten Modelle typischerweise große, annotierte Datensätze und haben Schwierigkeiten mit der Generalisierung über verschiedene Datensätze hinweg. Obwohl Large Language Models (LLMs) durch Few-Shot-Prompting vielversprechende Ergebnisse bei der Phishing-Erkennung gezeigt haben, behandeln bestehende Ansätze den Denkprozess des Modells oft als einen einstufigen Prozess oder eine Black Box und versäumen es zu analysieren, wie der Prozess des Schlussfolgerns selbst die endgültige Vorhersage beeinflusst.

Methodik
Die Autoren schlagen ein Least-to-Most-Prompting-Framework vor, das speziell auf die Erkennung von Phishing-URLs zugeschnitten ist. Im Gegensatz zu Standard-Prompting-Strategien (wie One-shot oder Chain-of-Thought), die Vorhersagen in einem einzigen Prompt oder einer einzigen Kette generieren, weist dieses Framework das LLM an, das Klassifizierungsproblem in kleinere, iterative Teilprobleme zu zerlegen.

Eine neuartige Komponente dieser Arbeit ist der „Answer Sensitivity“-Mechanismus (Antwortsensitivität). In diesem iterativen Prozess:

1. Generiert das LLM eine Teilfrage zu einem spezifischen Merkmal der URL (z. B. Domänenstruktur, Verzeichnisnamen).
2. Das Modell beantwortet die Teilfrage und gibt eine Prozentschätzung der Wahrscheinlichkeit ab, dass die URL Phishing ist (0 % = harmlos, 100 % = Phishing).
3. Dieser Prozentsatz dient als Leitfaden für die Iteration. Der Prozess setzt sich fort, bis der Sensitivitätswert vordefinierte Schwellenwerte überschreitet (z. B. ≥ 90 % für Phishing oder ≤ 10 % für harmlos).
4. Um Endlosschleifen zu verhindern, begrenzt das Framework die Iterationen programmatisch auf 10. Wenn der Schwellenwert bis zur 10. Iteration nicht überschritten wird, wird die URL konservativ basierend auf dem Endwert klassifiziert.

Wesentliche Beiträge

1. Framework-Vorschlag: Die Einführung eines Least-to-Most-Prompting-Frameworks für die Erkennung von Phishing-URLs, das das Problem explizit in iterative Teilfragen zerlegt.
2. Answer Sensitivity Mechanismus: Die Entwicklung eines Mechanismus, der den iterativen Denkprozess durch prozentbasierte Konfidenzschätzungen leitet, was es dem Modell ermöglicht, seine Vorhersage über mehrere Schritte hinweg zu verfeinern, anstatt sich auf eine einzige Antwort („Single-Shot“) festzulegen.
3. Empirische Evaluierung: Eine umfassende Evaluierung unter Verwendung von drei öffentlichen URL-Datensätzen (HP, EBBU, ISCX) und vier State-of-the-Art LLMs (Gemma 3, Llama 3.1, GPT-4.1, Gemini 2.5-Flash). Das Framework wurde gegen eine One-shot-Prompting-Baseline und ein überwachtes BERT-basiertes Modell (URLTran) verglichen.

Ergebnisse
Die experimentellen Ergebnisse zeigen, dass das Least-to-Most-Framework die One-shot-Baseline konsistent übertrifft und sich der Leistung des überwachten URLTran-Modells annähert, obwohl es keine annotierten Trainingsdaten benötigt.

• Leistungssteigerungen: Der Least-to-Most-Ansatz erreichte einen durchschnittlichen F1-Score von 0,9040 über alle Datensätze und Modelle hinweg, im Vergleich zu 0,8726 für die One-shot-Baseline (eine durchschnittliche Verbesserung um 0,03 F1).
• Vergleich mit überwachten Modellen: In seinem leistungsstärksten Setting (Gemini 2.5-Flash) erreichte das Framework einen durchschnittlichen F1 von 0,9621, was innerhalb von 0,03 F1 des Scores des überwachten URLTran-Modells von 0,99 liegt.
• Effektivität der Iteration: Die Analyse ergab, dass während viele korrekte Vorhersagen nur wenige Iterationen erforderten, eine signifikante Anzahl korrekter Vorhersagen erst nach einer „Ausreißer“-Anzahl von Iterationen möglich war. Der Answer-Sensitivity-Mechanismus ermöglichte es dem Modell, anfängliche Fehlklassifizierungen zu korrigieren (z. B. eine URL, die zunächst mit 25 % Phishing-Wahrscheinlichkeit bewertet wurde und nach sechs Iterationen auf 90 % stieg), die die One-shot-Methode verpasst hätte.
• Konsistenz: In fast allen Fällen produzierte Least-to-Most mehr eindeutige korrekte Vorhersagen und weniger falsche Vorhersagen als die One-shot-Methode, selbst bei leistungsschwächeren Modellen wie Llama.

Bedeutung
Das Paper behauptet, dass diese Arbeit den Wert von strukturiertem, mehrstufigem Denken in LLMs für Sicherheitsaufgaben demonstriert. Durch den Übergang von einstufigen Prompts ermöglicht das Framework stärkere Denkfähigkeiten, die die Vorhersagegenauigkeit verbessern, ohne dass umfangreiche Trainingsdaten oder Few-Shot-Beispiele erforderlich sind. Der „Answer Sensitivity“-Mechanismus wird als kritischer Faktor hervorgehoben, der die Leistungssteigerungen vorantreibt, da er das Modell in die Lage versetzt, seine Einschätzung der Bösartigkeit einer URL iterativ zu verfeinern. Die Autoren kommen zu dem Schluss, dass diese einfache, aber leistungsstarke Prompting-Strategie eine robuste, interpretierbare Alternative sowohl zu traditionellen überwachten Modellen als auch zu Standard-Prompting-Techniken für die Phishing-Erkennung bietet.