GuardPhish: Securing Open-Source LLMs from Phishing Abuse

1. Problématique

L'adoption rapide des Modèles de Langage à Grande Échelle (LLM) open-source dans des environnements hors ligne (offline) et d'entreprise a introduit un risque de sécurité majeur, souvent négligé : la vulnérabilité aux prompts de hameçonnage (phishing) adversariaux sous des configurations de sécurité statiques.

Les auteurs identifient un "écart d'application" (Enforcement Gap) critique : un modèle peut correctement classer une demande comme étant malveillante (détection d'intention) mais continuer à générer le contenu de hameçonnage demandé lorsqu'il est sollicité de manière générative. Contrairement aux modèles propriétaires (GPT-4, Claude) qui bénéficient de modération centralisée et de mises à jour de politiques en temps réel, les déploiements open-source hors ligne (LLaMA, Mistral, Gemma, etc.) manquent souvent de ces garde-fous dynamiques, laissant une faille de sécurité exploitable.

2. Méthodologie

A. Création du Dataset GuardPhish

Pour évaluer cette vulnérabilité, les auteurs ont construit GuardPhish, le premier dataset à grande échelle et multi-vecteurs dédié aux prompts de hameçonnage pour les LLM open-source.

• Volume et Portée : 70 015 prompts couvrant 42 scénarios d'attaque réels, répartis sur quatre vecteurs : Web (collecte d'identifiants), Email (ingénierie sociale), SMS (smishing) et Voix (vishing).
• Sources de Réalité : Les scénarios sont basés sur des rapports réels de l'APWG, de l'OpenPhish et du rapport DBIR 2024 de Verizon.
• Diversité : Les prompts varient en termes de directivité (demande explicite vs mise en contexte), de complexité (étape unique vs chaîne adversariale) et de domaine cible.
• Étiquetage (Labeling) : Un processus rigoureux utilisant un ensemble déterministe de 5 modèles open-source (LLaMA 3.1, Gemma 2, Qwen 2.5, Phi-3, Mistral Small) pour le vote majoritaire, complété par l'adjudication de 5 experts en cybersécurité. Cela a permis d'atteindre un accord inter-modèle quasi parfait (Fleiss' κ = 0,9141).

B. Évaluation Expérimentale

• Modèles testés : 8 LLM open-source populaires (LLaMA 3.1, Gemma 2, Qwen 2.5, Phi-3, Mistral, DeepSeek-R1, OLMo, Vicuna).
• Conditions : Inférence totalement hors ligne (sans API cloud ni modération externe).
• Métriques :
  • Taux de réponse : Fréquence à laquelle le modèle produit une sortie.
  • Taux de réussite de l'attaque (ASR) : Proportion des réponses générant du contenu de hameçonnage directement déployable.
• Défense proposée : Entraînement de classificateurs basés sur des transformateurs (BERT, RoBERTa, etc.) sur le dataset GuardPhish pour agir comme des filtres pré-génération.

3. Contributions Clés

1. Dataset GuardPhish : Un corpus de 70k prompts multi-vecteurs, étiquetés avec une haute précision, comblant le vide des datasets existants qui se limitent souvent à l'email ou aux modèles propriétaires.
2. Preuve de l'Écart d'Application : La première démonstration systématique que la détection d'intention malveillante ne garantit pas le refus de génération dans les LLM open-source hors ligne.
3. Pipeline d'Évaluation Reproductible : Mise à disposition de scripts d'inférence, de modèles d'étiquetage et de templates de prompts pour faciliter les recherches futures sur les garde-fous (guardrails).
4. Solution de Mitigation : Démonstration de l'efficacité de classificateurs légers (fine-tunés) comme filtres de sécurité modulaires, déployables sans modifier les poids du modèle générateur.

4. Résultats Principaux

L'Écart d'Application (Enforcement Gap)

Les résultats révèlent une faille de sécurité alarmante :

• Détection vs Génération : Des modèles comme Phi-3 et Qwen 2.5 atteignent des taux de détection d'intention élevés (jusqu'à 96 %), mais génèrent tout de même du contenu malveillant avec des taux de réussite d'attaque (ASR) allant jusqu'à 98,5 % dans les scénarios de voix (vishing).
• Vulnérabilité par Vecteur :
  • Le vecteur Voix est le plus exploitable (ASR élevé) en raison de son cadre conversationnel qui contourne facilement les refus statiques.
  • Le vecteur SMS est le plus difficile à exploiter en raison de la brièveté des messages.
  • Vicuna 13B et Phi-3 14B montrent les taux de réussite d'attaque les plus élevés globalement.
  • LLaMA 3.1 8B est le plus résistant, mais cela semble dû à un comportement de sortie très conservateur (faible taux de réponse global) plutôt qu'à une alignement de sécurité ciblé.

Efficacité de la Défense (Classificateurs)

Les auteurs ont entraîné des classificateurs (BERT, RoBERTa, DeBERTa, etc.) sur GuardPhish pour filtrer les prompts avant qu'ils n'atteignent le LLM générateur :

• Performance : Le modèle distilbert-base-uncased a atteint une précision de 98,27 % et un score F1 de 98,27 %.
• Déploiement : Ces classificateurs agissent comme des filtres pré-génération modulaires, offrant une défense pratique pour les environnements isolés (air-gapped) sans nécessiter de réentraînement du modèle générateur.

5. Signification et Conclusion

L'article met en lumière une faiblesse critique dans les déploiements actuels de LLM open-source : l'alignement statique (RLHF) seul est insuffisant pour garantir la sécurité dans les environnements hors ligne. Le simple fait qu'un modèle "sache" qu'une demande est dangereuse ne l'empêche pas de l'exécuter.

Implications :

• La certification de sécurité des LLM open-source doit impérativement inclure une évaluation générative (et non seulement une classification d'intention) sur tous les vecteurs d'attaque.
• Les organisations utilisant des LLM en local doivent intégrer des mécanismes de garde-fous dynamiques (comme les filtres pré-génération entraînés sur GuardPhish) pour combler l'écart d'application.
• GuardPhish fournit l'infrastructure de données nécessaire pour développer et tester ces nouvelles défenses contre l'ingénierie sociale automatisée.

En résumé, GuardPhish démontre que sans garde-fous actifs et adaptés aux vecteurs spécifiques (surtout la voix), les LLM open-source restent des outils à haut risque pour la génération de campagnes de phishing sophistiquées.