Enhancing User Resilience Against AI-Augmented Phishing: A Two-Stage Framework for Detection and Personalized Training

À l'ère du numérique, la boîte de réception des courriels est devenue un champ de bataille principal pour la sécurité, où les menaces les plus dangereuses ne sont pas seulement des codes malveillants, mais des messages conçus pour tromper l'esprit humain. Depuis des décennies, les défenseurs s'appuient sur deux stratégies principales pour stopper ces attaques : des filtres techniques qui recherchent des schémas malveillants connus, et des programmes éducatifs qui apprennent aux gens à être méfiants. Cependant, le paysage évolue rapidement. Les attaquants modernes utilisent désormais l'intelligence artificielle pour rédiger des courriels grammaticalement parfaits, profondément personnalisés et capables d'imiter de véritables conversations, ce qui les rend bien plus difficiles à déceler que les spams maladroits du passé. Cette évolution a créé une faille où les outils de sécurité traditionnels peinent à suivre le rythme, et où la formation standard échoue souvent à impliquer les utilisateurs ou à traiter les ruses spécifiques auxquelles ils sont confrontés. La question à laquelle les chercheurs sont confrontés n'est plus seulement de savoir comment bloquer les mauvais courriels, mais comment aider les gens à reconnaître et à apprendre des déceptions sophistiquées qui passent entre les mailles du filet.

Pour relever ce défi croissant, une équipe de chercheurs de l'Université de Monmouth a développé une nouvelle approche appelée CyberGLA, un système qui combine la détection automatisée et l'apprentissage personnalisé. Plutôt que de traiter la sécurité comme un mur statique ou un cours magistral ponctuel, ce cadre fonctionne en deux étapes connectées. La première étape implique un outil nommé EmailKnight, qui agit comme un scanner approfondi des messages entrants. Contrairement aux filtres standards qui pourraient seulement examiner l'adresse de l'expéditeur ou vérifier des liens malveillants connus, EmailKnight examine le courriel sous plusieurs angles. Il vérifie les en-têtes techniques pour voir si le message provient réellement de là où il prétend venir, cherche des signes indiquant que le courriel a été acheminé via des serveurs suspects, et analyse le contenu pour détecter les tactiques de pression psychologique souvent utilisées dans les escroqueries. Crucialement, il scanne également les pièces jointes telles que les images et les fichiers audio pour détecter s'ils ont été créés ou modifiés par l'intelligence artificielle, une capacité qui devient essentielle à mesure que la technologie des deepfakes se généralise.

Lorsqu'EmailKnight identifie un message suspect, il ne se contente pas de le supprimer ou de le marquer comme spam. Au lieu de cela, il transmet les conclusions à la deuxième étape du système : un coach de formation personnalisé alimenté par un grand modèle de langage. Ce coach agit comme un guide, prenant les raisons spécifiques pour lesquelles un courriel a été signalé et les transformant en une leçon personnalisée pour l'utilisateur. Si un utilisateur reçoit un message qui semble provenir de sa banque mais qui contient une légère discordance dans l'adresse web, le système ne se contente pas de l'avertir ; il propose immédiatement un module interactif court qui explique exactement ce que cette discordance signifie et comment repérer des ruses similaires à l'avenir. La formation est dynamique, ce qui signifie qu'elle s'adapte aux vulnérabilités spécifiques de l'utilisateur. Si une personne cède de manière répétée aux escroqueries de paiement urgent, le système donne la priorité aux leçons sur ce type spécifique de menace, garantissant que l'éducation est pertinente par rapport aux risques réels auxquels l'utilisateur est réellement confronté.

Les chercheurs ont testé ce cadre en deux étapes pour voir s'il pouvait améliorer à la fois la détection et la sensibilisation des utilisateurs. Ils ont d'abord évalué l'outil EmailKnight par rapport à un ensemble de cinq cents courriels malveillants générés avec l'aide de l'intelligence artificielle, couvrant diverses méthodes d'attaque comme les liens usurpés et le contenu généré par l'IA. L'outil a identifié avec succès les menaces que les autres vérificateurs de sécurité courants avaient manquées, particulièrement celles reposant sur des ruses psychologiques humaines ou des vulnérabilités de réseau ouvertes. Par la suite, l'équipe a mené une étude pilote auprès de cinquante et un étudiants universitaires pour mesurer l'impact éducatif. Les étudiants ont été divisés en groupes : un groupe utilisant le nouveau système CyberGLA, un autre utilisant une plateforme de formation commerciale standard, et un troisième groupe ne recevant aucune formation. Après une courte période d'apprentissage, tous les groupes ont passé un quiz pour tester leurs connaissances.

Les résultats ont suggéré que l'approche personnalisée et basée sur des scénarios était plus efficace que les méthodes traditionnelles. Les étudiants ayant utilisé CyberGLA ont obtenu des scores nettement plus élevés au quiz, atteignant une précision moyenne de plus de quatre-vingt-treize pour cent, contre quatre-vingt-cinq pour cent pour le groupe utilisant la plateforme commerciale et quatre-vingt-deux pour cent pour ceux n'ayant reçu aucune formation. Les retours des participants ont indiqué qu'ils trouvaient les leçons interactives et personnalisées plus mémorables et engageantes que les vidéos statiques ou les conseils génériques. Les chercheurs ont noté que le système a réussi à transformer un moment de danger potentiel en une opportunité d'apprentissage, aidant les utilisateurs à comprendre les mécanismes spécifiques de l'attaque qu'ils venaient de rencontrer. Bien que l'étude ait été limitée à un petit groupe d'étudiants et à un court laps de temps, les conclusions suggèrent que lier la détection technique directement à une éducation adaptative peut renforcer la capacité d'une personne à résister aux tentatives de phishing modernes. L'équipe prévoit d'étendre ce travail pour inclure des groupes plus larges et plus diversifiés, et d'explorer comment ces outils peuvent protéger d'autres populations vulnérables, telles que les personnes âgées, qui sont de plus en plus ciblées par ces déceptions numériques sophistiquées.