🤖 AI

Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection

Dieses Paper präsentiert einen umfassenden Benchmark zur Evaluierung der Wirksamkeit großer Sprachmodelle bei der Erkennung anspruchsvoller, KI-generierter Phishing-URLs durch Zero-Shot- und Few-Shot-Learning und zeigt auf, dass Few-Shot-Prompting die Leistung über mehrere Modelle hinweg signifikant verbessert, um der rasanten Eskalation von Phishing-Bedrohungen und dem Mangel an gelabelten Daten zu begegnen.

Ursprüngliche Autoren: Najmul Hasan, Prashanth BusiReddyGari

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Najmul Hasan, Prashanth BusiReddyGari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet wie eine riesige, geschäftige Stadt vor. Jahrelang haben die Sicherheitskräfte an den Toren (traditionelle Cybersicherheitstools) eine einfache Regel angewandt: „Wenn der Name einer Person auf unserer ‚Schwarzen Liste‘ steht, lassen wir sie nicht rein.“ Das funktioniert hervorragend bei bekannten Unruhestiftern. Aber vor kurzem ist eine neue Art von Kriminellen eingetroffen. Diese Kriminellen nutzen „Generative KI“, um perfekte gefälschte Ausweise zu fälschen und völlig neue, überzeugende Verkleidungen zu erschaffen, die man so noch nie gesehen hat. Die alte „Schwarze Liste“ ist gegen sie nutzlos, weil die Wachen diese Gesichter noch nie gesehen haben.

Dieses Papier ist wie ein Zeugnis für eine neue Art von Sicherheitswächter: Large Language Models (LLMs). Dies sind superintelligente KI-Systeme, die fast alles im Internet gelesen haben. Die Forscher wollten sehen, ob diese KI-Wächter eine gefälschte URL (eine Webadresse) allein durch das Betrachten erkennen können, selbst wenn sie diese spezifische Adresse noch nie zuvor gesehen haben.

So haben sie die Wächter getestet, unter Verwendung einfacher Analogien:

Die zwei Arten, die Wächter zu testen

Die Forscher testeten die KI-Wächter in zwei verschiedenen „Trainingsszenarien“:

Zero-Shot (Das „Kaltlesen“): Stellen Sie sich vor, Sie übergeben einem Wächter das Foto eines Fremden und fragen: „Ist diese Person ein Krimineller?“, ohne ihm vorab irgendwelche Beispiele oder ein Handbuch zu geben. Der Wächter muss sich ganz auf sein allgemeines Wissen und seine Intuition verlassen.
Few-Shot (Das „Zeigen-und-Erzählen“): Stellen Sie sich vor, Sie übergeben dem Wächter dasselbe Foto, aber dieses Mal zeigen Sie ihm zuerst drei Fotos von bekannten Kriminellen und drei Fotos von unschuldigen Menschen. Sie sagen: „Siehst du diese Bösen? Und siehst du diese Guten? Schau dir jetzt diese neue Person an. Ist sie eher wie die Bösen oder wie die Guten?“

Die Kontrahenten

Das Papier stellte drei der berühmtesten KI-Wächter gegeneinander:

GPT-4o (von OpenAI)
Claude-3.7 (von Anthropic)
Grok-3 (von xAI)

Sie testeten diese Wächter mit einer massiven Liste von 10.000 Webadressen (die Hälfte waren echt, die Hälfte Phishing-Fallen), um zu sehen, wer den Unterschied am besten erkennt.

Was sie herausfanden

Die Ergebnisse waren wie ein überraschendes Rennen:

„Zeigen-und-Erzählen“ gewann: In fast allen Fällen schnitten die Wächter viel besser ab, wenn man ihnen zuerst ein paar Beispiele gab (Few-Shot). Es ist so, als würde ein Detektiv besser darin werden, eine Fälschung zu erkennen, nachdem er einige echte Beispiele gesehen hat, worauf er achten muss.
Der Gewinner: Grok-3 war der Champion. Wenn man ihm einige Beispiele gab, erledigte es mit der höchsten Genauigkeit (etwa 94 %). Es war am besten darin, „Nein“ zu schlechten Links zu sagen, ohne versehentlich auch zu guten Links „Nein“ zu sagen.
Der Kompromiss: Es gab einen kleinen Haken. Als die Wächter vom „Kaltlesen“ zum „Zeigen-und-Erzählen“ wechselten, wurden sie strenger. Sie fingen zwar weniger „gute“ Links fälschlicherweise ab (was gut ist), aber sie übersahen auch ein paar mehr „böse“ Links als zuvor, als sie nur geraten haben. Dennoch stieg die Gesamtpunktzahl signifikant an.
Das „Bösewicht“-Problem: Die Forscher testeten auch, was passiert, wenn die Stadt hauptsächlich aus guten Menschen besteht und nur 1 % böse sind (ein realistisches Szenario). Selbst in dieser schwierigen Situation hielten die KI-Wächter stand, besonders Grok-3, das sehr gut darin war, die Bösen selbst ohne jegliche Beispiele zu entdecken.

Das Fazal

Das Papier kommt zu dem Schluss, dass wir diese KI-Wächter nicht immer mit massiven Mengen an neuen Daten neu trainieren müssen, wann immer ein neuer Betrug auftaucht. Stattdessen können wir ihnen einfach ein paar schnelle Beispiele geben (Few-Shot Prompting), und sie können sich sofort anpassen, um neue, raffinierte Phishing-Links zu fangen.

Kurz gesagt: Wenn Sie möchten, dass eine KI eine neue Art von Internetbetrug erkennt, lassen Sie sie nicht einfach nur raten. Zeigen Sie ihr zuerst ein paar Beispiele dafür, wie ein Betrug aussieht, und sie wird zu einem viel schärferen Detektiv.

Technisches Resümee: Benchmarking von Large Language Models für die Zero-shot und Few-shot Erkennung von Phishing-URLs

Problemstellung

Phishing-Angriffe haben sich zu einer hochentwickelten Cybersicherheitsbedrohung entwickelt, die zunehmend generative KI nutzt, um kontextbezogene, täuschende URLs zu erstellen, die für Benutzer und traditionelle Erkennungswerkzeuge schwer zu unterscheiden sind. Während reaktive Schutzmaßnahmen wie HTTPS existieren, weist die URL-Struktur selbst keine inhärenten Mechanismen für Sicherheit oder Resilienz gegen Betrug auf. Traditionelle Erkennungssysteme, insbesondere solche, die auf Blacklists oder handgefertigten lexikalischen Merkmalen basieren, haben aufgrund ihrer Abhängigkeit von Vorwissen Schwierigkeiten mit neu generierten oder obfuskierten URLs. Zudem übertrifft die rasche Eskalation der Phishing-Taktiken – belegt durch eine 4.000 % Volumensteigerung seit 2022 – die Produktion der für das überwachte Lernen erforderlichen gelabelten Daten. Dies schafft einen kritischen Bedarf an Erkennungsmethoden, die in der Lage sind, auf ungesehene oder adversarielle Beispiele mit minimaler Aufsicht zu generalisieren.

Methodik

Die Autoren präsentieren ein umfassendes Benchmark, welches drei proprietäre Large Language Models (LLMs) – GPT-4o (OpenAI), Claude-3.7-sonnet-20250219 (Anthropic) und Grok-3-Beta (xAI) – bei der Aufgabe der Klassifizierung von Phishing-URLs evaluiert. Die Studie verwendet ein einheitliches Prompting-Framework, um die Leistung unter sowohl Zero-shot- als auch Few-shot-Einstellungen zu bewerten.

Experimenteller Aufbau

Datensatz: Die Evaluierung nutzt den PhiUSIIL Phishing URL Datensatz.
- Balancierte Evaluierung: Ein Korpus von 10.000 URLs (5.000 Phishing, 5.000 legitim) wurde mittels Zufallsstichproben erstellt.
- Imbalancierte Evaluierung: Testsets von 1.000 URLs wurden mit Phishing-Anteilen von 1 % und 10 % erstellt, um reale Klassenverteilungen zu simulieren.
Prompt-Konstruktion:
- Zero-shot ( $P_{ZS}$ ): Besteht aus einer Aufgabenanweisung ( $I$ ) und einer Abfrage ( $Q(u)$ ). Die Anweisung definiert das Modell als Experten für Cybersicherheit und fordert eine binäre Antwort an (0 für Phishing, 1 für legitim).
- Few-shot ( $P_{FS}$ ): Beinhaltet die Anweisung, die Abfrage und einen Satz von Beispielen ( $E$ ). In den balancierten Experimenten wurden 6 Beispiele (3 Phishing, 3 legitim) verwendet. In den imbalancierten Experimenten variierte die Anzahl der Beispiele (1, 3 oder 9).
Inferenz: Alle Modelle wurden über ihre offiziellen APIs mit einer Temperatur von 0 und einem maximalen Output von 10 Token aufgerufen. Die Antworten wurden geparst, um binäre Vorhersagen zu extrahieren.
Metriken: Die Leistung wurde anhand von sechs Metriken quantifiziert: Accuracy, Macro-averaged Precision, Recall, F1-Score, AUROC und AUPRC.

Zentrale Beiträge

Das Paper leistet drei primäre Beiträge zur Cybersicherheits- und KI-Forschungsgemeinschaft:

Einheitliches Benchmark: Es etabliert ein standardisiertes Benchmark für instruktionsgesteuerte proprietäre LLMs in der Phishing-URL-Erkennung und vergleicht dabei Zero-shot- und Few-shot-Fähigkeiten über mehrere Modelle hinweg.
Kontrollierte Evaluierung: Die Studie evaluiert die Modelle auf einem balancierten Datensatz unter Verwendung konsistenter, modellagnostischer Prompt-Designs, wodurch der Mangel an fairem Vergleich in der bisherigen Literatur adressiert wird, in der Datensätze oder Metriken oft variierten.
Reproduzierbarkeit: Die Autoren stellen ihren Codebase zur Verfügung, um weitere Forschung und Reproduzierbarkeit zu erleichschen.

Experimentelle Ergebnisse

Balancierter Datensatz (10.000 URLs)

Few-shot-Prompting mit sechs Beispielen verbesserte die Leistung über alle Modelle hinweg signifikant im Vergleich zu den Zero-shot-Baselines.

Grok-3-Beta kristallisierte sich als der leistungsstärkste Akteur im Few-shot-Setting heraus und erreichte die höchste Accuracy (0,9405), Precision (0,9492), F1-Score (0,9399), AUROC (0,9405) und AUPRC (0,9573). Es zeigte einen bemerkenswerten Shift im Precision-Recall-Trade-off, indem es die Precision von 0,8361 auf 0,9492 steigerte, während der Recall leicht sank.
Claude-3.7 erreichte den höchsten Recall (0,9526) im Few-shot-Setting, hatte jedoch eine geringere Precision im Vergleich zu Grok-3-Beta.
GPT-4o zeigte konsistente Gewinne über alle Metriken hinweg, blieb aber hinter den anderen beiden Modellen in der Gesamtleistung zurück.
Konfusionsmatrizen: Few-shot-Prompting reduzierte False Negatives bei allen Modellen. Grok-3-Beta reduzierte False Negatives von 950 (Zero-shot) auf 248 (Few-shot).

Imbalancierter Datensatz (1 % und 10 % Phishing-Anteile)

Zero-Shot-Leistung: Grok-3-Beta demonstrierte starke Zero-shot-Fähigkeiten und erreichte eine Accuracy von 0,976 und einen Recall von 0,938 bei einem Phishing-Anteil von 10 %.
Few-Shot-Sensitivität: Der Einfluss der Anzahl der Beispiele variierte je nach Modell:
- Grok-3-Beta: Erreichte seinen Höhepunkt mit nur 1 Beispiel (F1: 0,906), und die Leistung sank mit 3 oder 9 Beispielen leicht ab.
- Claude-3.7: Zeigte eine stetige Verbesserung mit zunehmender Anzahl an Beispielen und erreichte seinen besten F1-Score (0,876) mit 9 Beispielen.
- GPT-4o: Demonstrierte konsistente Gewinne von 1 Beispiel (F1: 0,709) bis zu 9 Beispielen (F1: 0,861).
Robustheit: Die Modelle behielten eine robuste Leistung über verschiedene Random Seeds (S123, S456) bei, wobei die Differenzen im F1-Score bei 10 % Imbalance unter 0,05 lagen.

Signifikanz und Behauptungen

Das Paper argumentiert, dass da sich Phishing-Taktiken schneller entwickeln, als gelabelte Daten produziert werden können, Zero-shot- und Few-shot-Learning mit LLMs eine zeitgemäße und anpassungsfähige Lösung bietet. Die Studie kommt zu dem Schluss, dass Few-shot-Prompting die Erkennungsleistung über mehrere proprietäre LLMs hinweg effektiv verbessert und eine Generalisierung mit minimaler Aufsicht ermöglicht.

Speziell behaupten die Autoren:

Prompt-basierte Ansätze können Phishing-URLs effektiv mit sehr wenigen Beispielen erkennen (z. B. erreicht Grok-3-Beta mit einem einzigen Beispiel eine gute Leistung).
Es existieren distinkte operationale Trade-offs zwischen den Modellen; einige (wie Grok-3-Beta) glänzen mit minimalen Beispielen und hoher Precision, während andere (wie Claude-3.7) möglicherweise von mehr Beispielen profitieren, um den Recall zu maximieren.
Die aktuelle Landschaft mangelt an einem einheitlichen Benchmarking für LLMs in diesem Bereich, und diese Arbeit schließt diese Lücke durch Bereitstellung eines konsistenten Evaluierungsrahmens.

Die Autoren halten den Umfang moderat und merken an, dass zukünftige Arbeiten erforderlich sind, um diese Ergebnisse über diverse Datensätze hinweg zu validieren, Strategien zur Prompt-Optimierung zu untersuchen und die Trade-offs zwischen Prompt-basierter Inferenz und fein abgestimmten (fine-tuned) Modellen in operativen Umgebungen zu untersuchen.