Résumé technique : Évaluation des attaques de phishing par SMS (smishing) générées par IA par rapport à celles rédigées par des humains

Énoncé du problème

Le phishing personnalisé (spear phishing) demeure une menace critique pour la cybersécurité car les messages peuvent être adaptés au travail, aux intérêts et au contexte social spécifiques d'une cible, ce qui les rend extrêmement convaincants. Bien que les modèles de langage étendus (LLM) promettent d'automatiser la création de tels contenus ciblés à grande échelle et à faible coût, il existe une lacune importante dans la littérature empirique concernant la question de savoir si les messages générés par l'IA sont réellement plus convaincants que ceux rédigés par des humains lorsqu'ils sont tous deux adaptés au même individu. De plus, il n'est pas clair si les cibles peuvent distinguer de manière fiable les sources IA et humaines, ou si le texte lui-même conserve des signaux détectables de son origine. Cette étude aborde ces lacunes en comparant des messages de smishing (phishing par SMS) générés par GPT-4 à ceux écrits par des auteurs humains novices pour les mêmes 25 cibles.

Méthodologie

L'étude a employé un plan pilote impliquant 25 participants ayant agi comme cibles. La recherche a utilisé un cadre d'évaluation proposé appelé TRAPD (Threshold Ranking Approach for Personalized Deception), conçu pour permettre des comparaisons contrôlées et éthiques de contenus trompeurs personnalisés sans déployer d'attaques réelles.

Conception expérimentale

1. Recrutement des cibles : 41 individus ont rempli un sondage fournissant des données personnelles (nom, profession, passe-temps, publications récentes sur les réseaux sociaux, etc.). 25 de ces participants sont revenus pour la phase d'évaluation.
2. Génération de messages :
   • Condition IA : GPT-4 (via l'API OpenAI, température 0,7) a généré des messages basés sur une structure de prompt partagée utilisant les données de la cible.
   • Condition Humaine : 99 auteurs novices (étudiants de premier cycle en cybersécurité ou en classes préparatoires) ont écrit des messages sous contrainte de temps (environ 15 minutes) en utilisant la même structure de prompt.
   • Sujets : Les messages ont été générés pour trois contextes spécifiques par cible : lié au travail, lié aux loisirs et lié aux réseaux sociaux.
   • Volume : Chaque cible a reçu 12 messages au total (6 générés par l'IA, 6 rédigés par des humains ; 2 de chaque par sujet).
3. Procédure d'évaluation (TRAPD) :
   • Classement : Les participants ont physiquement disposé les 12 messages du plus au moins susceptible d'induire un clic.
   • Seuil : Les participants ont marqué un seuil sur la liste classée indiquant le point au-dessus duquel ils auraient l'intention de cliquer.
   • Explication qualitative : Les participants ont expliqué leur raisonnement pour les classements et les seuils.
   • Attribution de la source : Les participants ont identifié quels messages ils croyaient être générés par l'IA et ont expliqué leurs critères.
4. Analyse computationnelle : Un classificateur de régression logistique utilisant des plongements sémantiques (embeddings text-embedding-3-small) a été entraîné pour distinguer les deux ensembles de messages. Cette analyse comprenait des tests de sensibilité où les caractéristiques de surface évidentes (URL, emojis, longueur, ponctuation) ont été normalisées pour tester si le classificateur reposait sur des motifs textuels plus profonds.

Contributions clés

1. Comparaison contrôlée : Fournit une comparaison directe, au sein d'une même cible, des messages de smishing personnalisés générés par GPT-4 et rédigés par des humains, une lacune dans la littérature existante qui se concentre largement sur l'e-mail ou le phishing de masse.
2. Évaluation de l'attribution de la source : Documente la précision des cibles humaines pour distinguer les sources IA et humaines et analyse les indices spécifiques (ou l'absence de ceux-ci) sur lesquels elles s'appuient.
3. Analyse des caractéristiques : Identifie les caractéristiques des messages (pertinence, identité de l'expéditeur, structure de l'URL, style, urgence) que les participants associent à la force de persuasion ou à la suspicion.
4. Distinguabilité computationnelle : Démontre que, bien que les humains ne puissent pas distinguer les sources, le texte des ensembles de messages spécifiques à l'étude reste computationnellement distinguable, même après contrôle des caractéristiques de surface.
5. Cadre TRAPD : Présente le cadre TRAPD et documente sa faisabilité et ses limites pour la comparaison contrôlée de contenus trompeurs personnalisés au sein d'une même cible, en échangeant une partie de l'écologie réelle contre un contrôle rigoureux au sein de la cible et des données qualitatives riches.

Résultats

Convaincantness (RQ1 & RQ2)

• IA vs Humain : Les messages générés par GPT-4 ont suscité une intention de cliquer dans 28,0 % des cas, contre 21,3 % pour les messages rédigés par des humains. Cependant, cette différence n'était pas statistiquement fiable (IC à 95 % : -2,9 à 16,3 points de pourcentage ; p = 0,147). L'étude établit ni que l'IA surpasse les humains, ni que les conditions sont équivalentes.
• Impact du sujet : Les messages liés au travail étaient significativement plus convaincants que les messages sur les loisirs ou les réseaux sociaux. 38 % des messages liés au travail ont dépassé le seuil d'intention de clic, contre 19 % pour les loisirs et 17 % pour les réseaux sociaux. Les messages professionnels présentaient des probabilités d'intention de clic nettement plus élevées que les deux autres catégories (p < 0,05 après ajustement de Holm).
• Facteurs qualitatifs : Les participants ont cité la pertinence personnelle (76 %), l'identité de l'expéditeur (68 %) et les caractéristiques de l'URL (64 %) comme facteurs primaires. Une personnalisation précise augmentait la crédibilité, tandis que les décalages (ex: collègues incorrects, sujets non pertinents) augmentaient la suspicion.

Attribution de la source (RQ3 & RQ4)

• Précision humaine : Les participants ont correctement identifié la source (IA vs Humain) seulement 52,0 % du temps, ce qui n'est pas meilleur que le hasard (p = 0,597).
• Indices utilisés : Malgré une faible précision, les participants se sont appuyés sur des indices incohérents tels que le « style » (formalité, ton générique), le « choix des mots » (mots à la mode vs argot), la « grammaire » (perfection vs erreurs) et les « emojis ». De nombreux participants ont exprimé une incertitude, s'appuyant sur des « pressentiments » plutôt que sur des critères concrets.

Attribution de la source computationnelle (RQ5)

• Distinguabilité par machine : Contrairement à la performance humaine, un classificateur computationnel pouvait distinguer les ensembles de messages avec une grande précision, même après une normalisation stricte (suppression des URL, des emojis, standardisation de la longueur/casse).
• Performance : Dans la condition la plus stricte (longueur égalisée, texte normalisé), le classificateur a atteint une précision équilibrée de 88,7 % et un AUC ROC de 0,954 sur des cibles non vues. Cela suggère que les ensembles de messages spécifiques à l'étude contenaient des motifs textuels subtils et distribués, détectables par les machines mais pas par les humains.

Signification et affirmations

L'article affirme que la personnalisation assistée par l'IA, désormais accessible, peut augmenter l'échelle pratique des menaces d'ingénierie sociale, même si les messages individuels de l'IA ne sont pas actuellement supérieurs à ceux des humains. La conclusion clé est qu'un simple prompt peut produire des messages personnalisés qui sont aussi convaincants que ceux écrits par des humains novices testés, dans l'incertitude de ce projet pilote.

L'étude souligne que les prétextes professionnels sont particulièrement puissants dans le smishing, nécessitant une attention particulière dans la formation et la défense. Elle souligne également un décalage critique : alors que les humains ne peuvent pas détecter de manière fiable l'auteur IA, le texte conserve des signaux calculables. Cependant, les auteurs mettent en garde : ces résultats computationnels sont spécifiques aux conditions de l'étude (un modèle, un prompt, des auteurs novices) et ne doivent pas être considérés comme un détecteur d'IA général, étant donné que les attaquants peuvent réviser le texte pour échapper à la détection.

Enfin, l'article positionne TRAPD comme un cadre précieux et éthiquement sain pour la recherche future, permettant des comparaisons contrôlées et des analyses détaillées de raisonnement que les expériences de phishing réelles ne peuvent pas fournir, tout en reconnaissant ses limites concernant la validité écologique et la généralisabilité.