🤖 AI

Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection

Cet article présente un benchmark complet évaluant l'efficacité des grands modèles de langage dans la détection d'URLs de phishing sophistiquées, générées par IA, via l'apprentissage zero-shot et few-shot, démontrant que le prompting few-shot améliore significativement les performances de plusieurs modèles pour faire face à l'escalade rapide des menaces de phishing et à la rareté des données étiquetées.

Auteurs originaux : Najmul Hasan, Prashanth BusiReddyGari

Publié 2026-02-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Najmul Hasan, Prashanth BusiReddyGari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une ville géante et bouillonnante. Pendant des années, les gardes de sécurité aux portes (les outils de cybersécurité traditionnels) ont utilisé une règle simple : « Si le nom d'une personne est sur notre "Liste Noire", ne la laissez pas entrer. » Cela fonctionne très bien pour les fauteurs de troubles connus. Mais récemment, un nouveau type de criminel est arrivé. Ces criminels utilisent l'« IA Générative » pour forger de fausses pièces d'identité parfaites et créer des déguisements entièrement nouveaux et convaincants, jamais vus auparavant. L'ancienne « Liste Noire » est inutile contre eux car les gardes n'ont jamais vu ces visages.

Ce document est comme le bulletin de notes d'un nouveau type de garde : les Grands Modèles de Langage (LLM). Ce sont des systèmes d'IA super intelligents qui ont lu presque tout ce qui se trouve sur internet. Les chercheurs ont voulu voir si ces gardes d'IA pouvaient repérer une URL (une adresse web) truquée simplement en la regardant, même s'ils n'avaient jamais vu cette adresse spécifique auparavant.

Voici comment ils les ont testés, en utilisant des analogies simples :

Les deux façons de tester les gardes

Les chercheurs ont testé ces gardes d'IA dans deux scénarios d'« entraînement » différents :

Zero-Shot (La « Lecture à froid ») : Imaginez que vous remettez à un garde la photo d'un inconnu et que vous lui demandez : « Est-ce que cette personne est un criminel ? » sans lui donner d'exemples préalables ou de manuel. Le garde doit compter entièrement sur ses connaissances générales et son intuition.
Few-Shot (Le « Montrer et Dire ») : Imaginez que vous remettez au même garde la même photo, mais cette fois-ci, vous lui montrez aussi trois photos de criminels connus et trois photos de personnes innocentes au préalable. Vous dites : « Voyez ces méchants ? Et voyez ces gens bien ? Maintenant, regardez cette nouvelle personne. Est-elle semblable aux méchants ou aux gens bien ? »

Les prétendants

Le document a opposé trois des gardes d'IA les plus célèbres :

GPT-4o (d'OpenAI)
Claude-3.7 (d'Anthanthropic)
Grok-3 (de xAI)

Ils ont testé ces gardes sur une liste massive de 10 000 adresses web (la moitié étaient réelles, la moitié étaient des pièges de phishing) pour voir qui faisaitait la différence le mieux.

Ce qu'ils ont découvert

Les résultats étaient comme une course surprise :

Le « Montrer et Dire » a gagné : Dans presque tous les cas, les gardes ont bien mieux performé lorsqu'on leur donnait quelques exemples au préalable (Few-Shot). C'est comme un détective qui devient meilleur pour repérer un faux après avoir vu quelques exemples réels de ce qu'il faut chercher.
Le vainqueur : Grok-3 était le champion. Lorsqu'on lui donnait quelques exemples, il accomplissait la tâche avec la précision la plus élevée (environ 94 %). Il était le meilleur pour dire « Non » aux mauvais liens sans accidentellement dire « Non » aux bons liens.
Le compromis : Il y avait un léger bémol. Lorsque les gardes passaient de la « Lecture à froid » au « Montrer et Dire », ils devenaient plus stricts. Ils commençaient à moins attraper de liens « bons » par erreur (ce qui est une bonne chose), mais ils en manquaient aussi quelques « mauvais » de plus qu'ils ne le faisaient en devinant seuls. Cependant, le score global augmentait considérablement.
Le problème du « Méchant » : Les chercheurs ont également testé ce qui se passe lorsque la ville est principalement peuplée de gens bien, et que seulement 1 % sont des méchants (un scénario réaliste). Même dans cette situation délicate, les gardes d'IA ont tenu bon, surtout Grok-3, qui était très doué pour repérer les méchants même sans aucun exemple.

La conclusion

Le document conclut que nous n'avons pas toujours besoin de réentraîner ces gardes d'IA avec de massives quantités de nouvelles données à chaque fois qu'un nouveau scam apparaît. Au lieu de cela, nous pouvons simplement leur donner quelques exemples rapides (prompting Few-Shot), et ils peuvent s'adapter instantanément pour attraper les nouveaux liens de phishing sophistiqués.

En bref : Si vous voulez qu'une IA repère un nouveau type d'arnaque sur internet, ne lui demandez pas simplement de deviner. Montrez-lui d'abord quelques exemples de ce à quoi ressemble une arnaque, et elle deviendra un détective bien plus aiguisé.

Résumé technique : Évaluation de la performance des grands modèles de langage pour la détection d'URL de phishing en zero-shot et few-shot

Énoncé du problème

Les attaques de phishing ont évolué pour devenir une menace de cybersécurité sophistiquée, exploitant de plus en plus l'IA générative pour créer des URL contextuelles et trompeuses, difficiles à distinguer pour les utilisateurs et les outils de détection traditionnels. Bien que des protections réactives comme le HTTPS existent, la structure même de l'URL ne possède aucun mécanisme intrinsèque de sécurité ou de résilience contre la fraude. Les systèmes de détection traditionnels, particulièrement ceux reposant sur des listes noires ou des caractéristiques lexicales artisanales, peinent face aux URL nouvellement générées ou obscurcies en raison de leur dépendance à des connaissances préalables. De plus, l'escalade rapide des tactiques de phishing — illustrée par une augmentation de volume de 4 000 % depuis 2022 — dépasse la production de données étiquetées requises pour l'apprentissage supervisé. Cela crée un besoin critique pour des méthodes de détection capables de se généraliser à des exemples inédits ou adverses avec une supervision minimale.

Méthodologie

Les auteurs présentent un benchmark complet évaluant trois grands modèles de langage (LLM) propriétaires — GPT-4o (OpenAI), Claude-3.7-sonnet-20250219 (Anthropic) et Grok-3-Beta (xAI) — sur la tâche de classification d'URL de phishing. L'étude utilise un cadre de prompting unifié pour évaluer les performances dans des configurations zero-shot et few-shot.

Configuration expérimentale

Dataset : L'évaluation utilise le jeu de données PhiUSIIL Phishing URL.
- Évaluation équilibrée : Un corpus de 10 000 URL (5 000 phishing, 5 000 légitimes) a été construit par échantillonnage aléatoire.
- Évaluation déséquilibrée : Des ensembles de test de 1 000 URL ont été créés avec des ratios de phishing de 1 % et 10 % pour simuler les distributions de classes du monde réel.
Construction du prompt :
- Zero-shot ( $P_{ZS}$ ) : Comprend une instruction de tâche ( $I$ ) et une requête ( $Q(u)$ ). L'instruction définit le modèle comme un expert en cybersécurité et demande une réponse binaire (0 pour phishing, 1 pour légitime).
- Few-shot ( $P_{FS}$ ) : Inclut l'instruction, la requête et un ensemble d'exemples ( $E$ ). Dans les expériences équilibrées, 6 exemples (3 phishing, 3 légitimes) ont été utilisés. Dans les expériences déséquilibrées, le nombre d'exemples variait (1, 3 ou 9).
Inférence : Tous les modèles ont été accédés via leurs API officielles avec une température de 0 et un maximum de sortie de 10 tokens. Les réponses ont été analysées pour extraire les prédictions binaires.
Métriques : La performance a été quantifiée à l'aide de six métriques : Précision (Accuracy), Précision macro-moyenne, Rappel (Recall), Score F1, AUROC et AUPRC.

Principales contributions

L'article apporte trois contributions majeures à la communauté de la recherche en cybersécurité et en IA :

Benchmark unifié : Il établit un benchmark standardisé pour les LLM propriétaires ajustés par instruction dans la détection d'URL de phishing, comparant les capacités zero-shot et few-shot à travers plusieurs modèles.
Évaluation contrôlée : L'étude évalue les modèles sur un jeu de données équilibré en utilisant des conceptions de prompts agnostiques au modèle et cohérentes, répondant au manque de comparaison équitable dans la littérature antérieure où les jeux de données ou les métriques variaient souvent.
Reproductibilité : Les auteurs publient leur code source pour faciliter la recherche ultérieure et la reproductibilité.

Résultats expérimentaux

Jeu de données équilibré (10 000 URL)

Le prompting few-shot avec six exemples a considérablement amélioré les performances de tous les modèles par rapport aux bases zero-shot.

Grok-3-Beta s'est imposé comme le meilleur performeur dans le cadre few-shot, atteignant la précision la plus élevée en termes d'Accuracy (0,9405), de Précision (0,9492), de Score F1 (0,9399), d'AUROC (0,9405) et d'AUPRC (0,9573). Il a démontré un changement notable dans le compromis précision-rappel, augmentant la précision de 0,8361 à 0,9492 tout en réduisant légèrement le rappel.
Claude-3.7 a obtenu le Rappel le plus élevé (0,9526) dans le cadre few-shot mais présentait une précision inférieure à celle de Grok-3-Beta.
GPT-4o a montré des gains constants sur toutes les métriques mais est resté en retrait par rapport aux deux autres modèles en termes de performance globale.
Matrices de confusion : Le prompting few-shot a réduit les faux négatifs pour tous les modèles. Grok-3-Beta a réduit les faux négatifs de 950 (zero-shot) à 248 (few-shot).

Jeu de données déséquilibré (ratios de phishing de 1 % et 10 %)

Performance Zero-Shot : Grok-3-Beta a démontré de solides capacités zero-shot, atteignant une précision de 0,976 et un rappel de 0,938 avec un ratio de phishing de 10 %.
Sensibilité au Few-Shot : L'impact du nombre d'exemples variait selon le modèle :
- Grok-3-Beta : A atteint son sommet avec seulement 1 exemple (F1 : 0,906) et la performance a légèrement décliné avec 3 ou 9 exemples.
- Claude-3.7 : A montré une amélioration constante à mesure que le nombre d'exemples augmentait, atteignant son meilleur score F1 (0,876) avec 9 exemples.
- GPT-4o : A démontré des gains constants, passant de 1 exemple (F1 : 0,709) à 9 exemples (F1 : 0,861).
Robustesse : Les modèles ont maintenu des performances robustes à travers différentes graines aléatoires (S123, S456), les différences de score F1 restant inférieures à 0,05 pour un déséquilibre de 10 %.

Signification et affirmations

L'article soutient qu'à mesure que les tactiques de phishing évoluent plus vite que les données étiquetées ne peuvent être produites, l'apprentissage zero-shot et few-shot avec les LLM offre une solution opportune et adaptable. L'étude conclut que le prompting few-shot améliore efficacement les performances de détection à travers plusieurs LLM propriétaires, permettant une généralisation avec une supervision minimale.

Plus précisément, les auteurs affirment que :

Les approches basées sur le prompt peuvent détecter efficacement les URL de phishing avec très peu d'exemples (par exemple, Grok-3-Beta performant avec un seul exemple).
Il existe des compromis opérationnels distincts entre les modèles ; certains (comme Grok-3-Beta) excellent avec un minimum d'exemples et une haute précision, tandis que d'autres (comme Claude-3.7) peuvent bénéficier de plus d'exemples pour maximiser le rappel.
Le paysage actuel manque de benchmarking unifié pour les LLM dans ce domaine, et ce travail comble cette lacune en fournissant un cadre d'évaluation cohérent.

Les auteurs maintiennent une portée modeste, notant que des travaux futurs sont nécessaires pour valider ces résultats sur des jeux de données divers, explorer les stratégies d'optimisation de prompt et étudier les compromis entre l'inférence basée sur le prompt et les modèles affinés (fine-tuned) dans des contextes opérationnels.