Eliciting Least-to-Most Reasoning for Phishing URL Detection

Résumé technique : Éliciter un raisonnement de type « Least-to-Most » pour la détection d'URLs de phishing

Énoncé du problème
Le phishing demeure un vecteur principal d'attaques cybernétiques et de violations de données. Bien que les méthodes de détection traditionnelles (apprentissage automatique, apprentissage profond et approches basées sur l'URL) offrent une grande précision, elles fonctionnent souvent comme des « boîtes noires », manquant d'interprétabilité quant à la raison pour laquelle une URL spécifique est classée comme bénigne ou malveillante. De plus, ces modèles supervisés nécessitent généralement de grands ensembles de données étiquetées et peinent à se généraliser à différents jeux de données. Bien que les grands modèles de langage (LLM) aient montré des promesses dans la détection de phishing via le prompting de type « few-shot », les approches existantes traitent souvent le raisonnement du modèle comme un processus à étape unique ou une boîte noire, échouant à analyser comment le processus de raisonnement lui-même influence la prédiction finale.

Méthodologie
Les auteurs proposent un cadre de prompting de type « Least-to-Most » spécifiquement adapté à la détection d'URLs de phishing. Contra-rément aux stratégies de prompting standard (telles que le One-shot ou le Chain-of-Thought) qui génèrent des prédictions en un seul prompt ou une seule chaîne, ce cadre instruit le LLM à décomposer le problème de classification en sous-problèmes plus petits et itératifs.

Une composante novatrice de ce travail est le mécanisme de « sensibilité de la réponse » (answer sensitivity). Dans ce processus itératif :

1. Le LLM génère une sous-question concernant une caractéristique spécifique de l'URL (par exemple, la structure du domaine, les noms de répertoires).
2. Le modèle répond à la sous-question et fournit une estimation en pourcentage de la probabilité que l'URL soit un phishing (0 % = bénigne, 100 % = phishing).
3. Ce pourcentage sert de guide pour l'itération. Le processus se poursuit jusqu'à ce que le score de sensibilité franchisse des seuils définis par l'utilisateur (par exemple, ≥ 90 % pour le phishing ou ≤ 10 % pour le bénin).
4. Pour éviter les boucles infinies, le cadre limite programmatiquement les itérations à 10. Si le seuil n'est pas franchi à la 10e itération, l'URL est classée de manière conservatrice sur la base du score final.

Principales contributions

1. Proposition de cadre : L'introduction d'un cadre de prompting Least-to-Most pour la détection d'URLs de phishing qui décompose explicitement le problème en sous-questions itératives.
2. Mécanisme de sensibilité de la réponse : Le développement d'un mécanisme qui guide le processus de raisonnement itératif via des estimations de confiance en pourcentage, permettant au modèle d'affiner sa prédiction sur plusieurs étapes plutôt que de s'engager dans une réponse en une seule étape.
3. Évaluation empirique : Une évaluation complète utilisant trois jeux de données d'URLs publics (HP, EBBU, ISCX) et quatre LLM de pointe (Gemma 3, Llama 3.1, GPT-4.1, Gemini 2.5-Flash). Le cadre a été comparé à une ligne de base de prompting One-shot et à un modèle supervisé basé sur BERT (URLTran).

Résultats
Les résultats expérimentaux démontrent que le cadre Least-to-Most surpasse systématiquement la ligne de base One-shot tout en approchant les performances du modèle supervisé URLTran, malgré l'absence de données d'entraînement étiquetées.

• Gains de performance : L'approche Least-to-Most a obtenu un score F1 moyen de 0,9040 sur tous les jeux de données et modèles, contre 0,8726 pour la ligne de base One-shot (une amélioration moyenne de 0,03 F1).
• Comparaison avec les modèles supervisés : Dans sa configuration la plus performante (Gemini 2.5-Flash), le cadre a atteint un F1 moyen de 0,9621, ce qui est à 0,03 F1 du score du modèle supervisé URLTran (0,99).
• Efficacité de l'itération : L'analyse a révélé que si de nombreuses prédictions correctes nécessitaient peu d'itérations, un nombre significatif de prédictions correctes n'étaient possibles qu'après un nombre d'itérations « atypique ». Le mécanisme de sensibilité de la réponse a permis au modèle de corriger les erreurs de classification initiales (par exemple, une URL initialement scorée à 25 % de phishing passant à 90 % après six itérations) que la méthode One-shot aurait manquées.
• Cohérence : Dans presque tous les cas, le Least-to-Most a produit plus de prédictions correctes uniques et moins de prédictions incorrectes que la méthode One-shot, même pour les modèles les moins performants comme Llama.

Signification
L'article affirme que ce travail démontre la valeur d'un raisonnement structuré et multi-étapes dans les LLM pour les tâches de sécurité. En allant au-delà des prompts à étape unique, le cadre suscite des capacités de raisonnement plus fortes qui améliorent la précision des prédictions sans nécessiter de vastes données d'entraînement ou d'exemples de type few-shot. Le mécanisme de « sensibilité de la réponse » est mis en avant comme un facteur critique de ces gains, car il permet au modèle d'affiner de manière itérative son évaluation de la malveillance d'une URL. Les auteurs concluent que cette stratégie de prompting, simple mais puissante, offre une alternative robuste et interprétable aux modèles supervisés traditionnels ainsi qu'aux techniques de prompting standard pour la détection de phishing.