💻 computer science

Evaluating and Combating the Impact of Concept Drift on the Performance of Machine Learning-Based Phishing Detection Systems

Cet article évalue comment l'évolution rapide des courriels de spam et de phishing (dérive de concept) dégrade les performances des systèmes de détection basés sur l'apprentissage automatique et explore des stratégies pour atténuer ce déclin de performance.

Auteurs originaux : Warren Fernando, Nikos Komninos

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Warren Fernando, Nikos Komninos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la « cible mouvante »

Imaginez que vous êtes un agent de sécurité dans un club (le système d'e-mails). Votre travail est d'empêcher les méchants (les e-mails de phishing) d'entrer tout en laissant passer les gentils (les e-mails légitimes).

Pendant longtemps, vous aviez un carnet de règles : « Si la personne porte un chapeau rouge, c'est un méchant. » Cela a très bien fonctionné pendant un certain temps. Mais ensuite, les méchants ont commencé à porter des chapeaux bleus. Votre carnet de règles n'a pas changé, donc vous les avez laissés entrer. Puis ils ont commencé à porter des chapeaux verts. Vous avez continué à les laisser entrer.

Dans le monde de l'informatique, on appelle cela le Concept Drift (dérive de concept). C'est lorsque les « méchants » (les auteurs de phishing) évoluent et changent leurs ruses si rapidement que les programmes informatiques (l'apprentissage automatique ou Machine Learning) conçus pour les attraper deviennent obsolètes et commencent à échouer.

Le problème : Les vieilles cartes ne fonctionnent pas sur les nouvelles routes

Les auteurs de cet article ont remarqué que les programmes informatiques standards utilisés pour détecter les e-mails de phishing sont comme de vieilles cartes. Si la ville change (de nouvelles ruses de phishing apparaissent), la vieille carte vous dit de conduire dans un mur.

Le problème : À mesure que les e-mails de phishing deviennent plus intelligents, les modèles informatiques deviennent « confus ». Ils commencent à penser que les mauvais e-mails sont bons, ou ils deviennent si paranoïaques qu'ils bloquent les bons e-mails.
L'objectif : Les chercheurs voulaient construire un système qui ne repose pas seulement sur un carnet de règles statique, mais qui peut « ressentir » quand les méchants changent de style et ajuster ses fonctions de garde en conséquence.

La solution : Le cadre du « Détecteur de dérive »

Les chercheurs ont proposé un nouveau cadre (un ensemble de règles mathématiques) pour aider l'ordinateur à rester vif. Considérez ce cadre comme un assistant intelligent debout à côté de l'agent de sécurité.

Voici comment l'assistant fonctionne, divisé en étapes simples :

1. Mesurer la « distance » (La règle)

Imaginez que vous avez un tas de pommes « Bonnes » et un tas de pommes « Mauvaises ».

L'ordinateur examine une nouvelle pomme.
Il demande : « À quelle distance cette pomme se trouve-t-elle du tas « Mauvais » ? À quelle distance se trouve-t-elle du tas « Bon » ? »
C'est ce qu'on appelle le Ratio de Distance. Si la nouvelle pomme est physiquement plus proche du tas « Mauvais », elle est probablement mauvaise. Si elle est plus proche du tas « Bon », elle est probablement sûre.

2. Vérifier la confiance (Le test d'instinct)

L'ordinateur demande également : « À quel point suis-je sûr de moi ? »

Si l'ordinateur est sûr à 99 % qu'un e-mail est mauvais, l'assistant lui fait confiance.
Si l'ordinateur n'est sûr qu'à 51 %, l'assistant devient suspicieux.
Le cadre combine la distance (à quel point l'e-mail est différent) avec la confiance (à quel point l'ordinateur est sûr) pour prendre une décision finale.

3. La « Calibration » (Le camp d'entraînement)

C'est la partie la plus importante. Le système ne se contente pas de deviner ; il possède une couche de calibration.

Imaginez que l'agent de sécurité a un « camp d'entraînement » où il s'entraîne avec d'anciens méchants et de nouveaux méchants.
Le système calcule ce que les changements « normaux » représentent. Il apprend que « Les méchants portant des chapeaux bleus » est une évolution normale, mais que « Les méchants portant des chapeaux bleus et parlant français » est anormal.
Si le système voit quelque chose qui est trop différent de ce qu'il attend (même si cela ressemble à un méchant), il le signale comme une « Dérive Anormale ». Cela indique au système : « Hé, les méchants ont tellement changé que notre ancien entraînement ne fonctionne plus. Nous devons nous réentraîner ! »

Ce qu'ils ont fait (L'expérience)

Les chercheurs ont testé cette idée en utilisant des données réelles de 2016 à 2024.

La configuration : Ils ont pris des modèles informatiques entraînés sur de vieux e-mails (ex: de 2016) et les ont testés sur de nouveaux e-mails (ex: de 2024).
Le résultat sans aide : Les anciens modèles se sont dégradés avec le temps. Ils ont manqué plus de mauvais e-mails et ont bloqué plus de bons e-mails.
Le résultat avec l'aide : Lorsqu'ils ont ajouté leur cadre d'« Assistant Intelligent » :
- Le taux de détection est resté élevé, même à mesure que les e-mails devenaient plus récents et plus sournois.
- Le système a correctement identifié que les « méchants » avaient changé et a ajusté ses fonctions de garde.
- Il a réduit le nombre de « fausses alertes » (blocage des bons e-mails).

Le point clé à retenir

L'article affirme qu'en ajoutant une couche mathématique qui mesure à quel point un nouvel e-mail est différent de ce que l'ordinateur connaît déjà, on peut rendre les détecteurs de phishing beaucoup plus résilients.

Au lieu de simplement dire « Ceci ressemble à un méchant », le système dit : « Ceci ressemble à un méchant, ET il évolue d'une manière que nous attendions, donc nous sommes toujours confiants. » Ou bien : « Ceci ressemble à un méchant, MAIS il a tellement changé que nous devons mettre à jour notre entraînement. »

En bref : Ils ont construit un système qui ne se contente pas de mémoriser les méchants ; il apprend comment les méchants changent, ce qui lui permet de les attraper même lorsqu'ils portent un nouveau déguisement.

Résumé technique : Évaluation et lutte contre l'impact de la dérive de concept sur les systèmes de détection de phishing basés sur l'apprentissage automatique

1. Énoncé du problème

L'article traite de la vulnérabilité des systèmes de détection de phishing basés sur l'apprentissage automatique (ML) face à la dérive de concept (concept drift). À mesure que les techniques de phishing évoluent rapidement pour contourner les filtres existants, la distribution statistique des données de phishing change au fil du temps ( $P(x, y)$ ), provoquant une dégradation des performances des modèles entraînés sur des données historiques. Bien que les méthodes de ML aient atteint une précision initiale élevée, elles deviennent souvent obsolètes à mesure que les attaquants s'adaptent. Les solutions existantes reposent fréquemment sur le réentraînement ou des approches hybrides qui peuvent ne pas traiter pleinement l'évolution continue des vecteurs d'attaque. Les auteurs identifient une lacune dans l'application de cadres mathématiques, ayant réussi précédemment dans la détection des ransomwares (par exemple, le cadre FeSAD), au domaine du phishing afin d'atténuer ces effets de dérive sans nécessiter un réentraînement constant.

2. Méthodologie

Les auteurs proposent un cadre statistique conçu pour être agnostique vis-à-vis de l'algorithme, capable de fonctionner aux côtés des classifieurs ML standards pour détecter et compenser la dérive de concept. La méthodologie se compose des composantes fondamentales suivantes :

2.1 Sélection de caractéristiques

Un algorithme génétique modifié est employé pour sélectionner des caractéristiques à haut gain d'information. Ce processus vise à identifier des ensembles de caractéristiques robustes face à la dérive de concept, en calculant les valeurs de dérive sur les données d'entraînement pour distinguer les niveaux de dérive acceptables des niveaux anormaux.

2.2 Métriques de calcul de la dérive

Le cadre calcule la « dérive d'échantillon » en combinant des mesures de distance mathématique avec les probabilités de prédiction algorithmiques.

Ratio de distance ( $dist_i$ ) : Mesure le ratio de la distance d'un échantillon par rapport aux échantillons malveillants (phishing) versus les échantillons bénins en utilisant la métrique de recouvrement euclidienne hétérogène (HEOM). La HEOM est choisie pour sa capacité à gérer à la fois les attributs continus et nominaux.
- $dist_m$ : Distance moyenne aux échantillons malveillants.
- $dist_b$ : Distance moyenne aux échantillons bénins.
- $dist_i = dist_m / dist_b$ .
Poids de prédiction : Les poids ( $w_m, w_b$ ) sont calculés en divisant la probabilité de prédiction de l'échantillon par la probabilité de prédiction incorrecte moyenne pour cette classe dans l'ensemble d'entraînement.
Distance pondérée : Combine le ratio de distance et les poids de prédiction pour créer une métrique ($dw$) qui augmente la séparation entre les classes lorsque le classifieur est confiant.

2.3 Seuils de dérive et étalonnage

Le système établit des seuils pour catégoriser la dérive :

Dérive attendue ( $D_e$ ) : Calculée à l'aide d'un ensemble d'étalonnage pour déterminer la plage normale de dérive entre les distributions (par exemple, entraînement vs données plus récentes).
Limite de dérive ( $D_{max}$ ) : Définie comme le point médian entre la distance pondérée moyenne des classifications correctes et incorrectes. Si la dérive d'un échantillon dépasse $D_{max}$ , il est considéré comme une erreur de classification et réévalué.
Dérive anormale : Les échantillons présentant une dérive au-delà du seuil attendu mais à l'intérieur de la limite maximale sont signalés. Si un nombre défini par l'utilisateur ( $z$ ) de ces échantillons s'accumule, le système déclenche une alerte de réentraînement.

2.4 Configuration expérimentale

Jeux de données : L'étude utilise des jeux de données de phishing s'étendant de 2016 à 2024 pour simuler la dérive de concept. Environ 10 000 échantillons ont été tirés de chaque jeu de données pour assurer des tests proportionnels.
Algorithmes : Trois classifieurs ont été testés : Forêt aléatoire (Random Forest), Réseau Bayésien et Perceptron Multicouche (MLP).
Configuration : Le cadre a été implémenté en Java via l'API WEKA. Les expériences ont consisté à entraîner sur des données anciennes (ex. 2016) et à tester sur des données plus récentes (ex. 2021, 2024) pour mesurer la dégradation et la récupération.

3. Principales contributions

L'article revendique trois contributions primaires :

Application d'un cadre statistique au phishing : Les auteurs adaptent un cadre mathématique (similaire à FeSAD) du domaine des ransomwares au domaine de la détection de phishing, en émettant l'hypothèse qu'il peut prolonger la durée de vie des systèmes de détection ML sous l'effet de la dérive de concept.
Quantification de la dérive de concept : Le cadre dérive des valeurs numériques pour quantifier la dérive, permettant d'évaluer la qualité des jeux de données et la robustesse des caractéristiques. Il identifie quelles caractéristiques fournissent les différences les plus distinguables entre les URL bénignes et de phishing malgré l'évolution.
Amélioration des performances sous dérive : L'étude démontre que la combinaison d'un indice de similitude (HEOM) et d'algorithmes de classification peut améliorer les taux de détection et réduire les faux positifs lorsque les modèles sont exposés à des échantillons de phishing évolués.

4. Résultats

Les expériences ont produit les résultats suivants :

Dégradation de la ligne de base : Sans le cadre, les taux de détection ont considérablement chuté lors des tests sur des données plus récentes. Par exemple, le taux de détection de la Forêt Aléatoire est passé de 86,3 % (données 2016) à 78,4 % (données 2021), avec une augmentation des taux de faux positifs (FPR) de 10,8 % à 16,9 %.
Efficacité du cadre :
- Forêt Aléatoire : Le cadre a systématiquement amélioré les performances dans tous les scénarios. Lorsqu'il était entraîné sur des données de 2016 et testé sur des données de 2024, le cadre a maintenu un taux de détection d'environ 74,1 % (contre 56,9 % sans le cadre) et a réduit le FPR de 19,3 % à 10,3 %.
- Autres algorithmes : Le cadre a montré des améliorations significatives pour les réseaux bayésiens et les MLP, particulièrement dans les scénarios de forte dégradation. Par exemple, le taux de détection du réseau bayésien sur les données de 2024 est passé de 56,9 % à 74,2 % après application du cadre.
- Réduction de la dérive anormale : La composante d'étalonnage a réduit le nombre d'échantillons signalés comme « anormaux » d'environ 45 %, indiquant que le système a réussi à distinguer l'évolution normale des véritables valeurs aberrantes.
Évaluation de la qualité des jeux de données : Le cadre a été utilisé pour évaluer la distinction statistique de trois jeux de données externes (Kaggle, Maribor, Badji Mokhtar). Le jeu de données Maribor présentait la plus grande différence de dérive entre les échantillons bénins et de phishing (1,17), ce qui corrèle avec les gains de performance les plus élevés (le taux de détection de la Forêt Aléatoire passant de 93,9 % à 97,8 %).

5. Signification et affirmations

Les auteurs affirment modestement que leur recherche démontre la viabilité de l'utilisation d'indices de similitude combinés à des classifieurs ML pour durcir les systèmes de détection de phishing contre la dérive de concept.

Durée de vie prolongée : Le cadre permet aux systèmes de détection de maintenir des performances constantes à travers différentes distributions de données (périodes temporelles) sans réentraînement immédiat.
Aperçu des jeux de données : Les métriques de dérive fournissent une méthode statistique objective pour évaluer la qualité des jeux de données de phishing et la robustesse de caractéristiques spécifiques, indépendamment de la confiance des algorithmes ML individuels.
Limites : L'article reconnaît que bien que le cadre améliore les taux de détection, il ne résout pas complètement le problème des taux de faux positifs élevés dans tous les cas. Les auteurs suggèrent que les approches basées uniquement sur l'URL peuvent présenter des limitations intrinsèques concernant les faux positifs qui évoluent avec le temps.

En conclusion, l'article soutient que les cadres mathématiques peuvent effectivement atténuer les effets de la dérive de concept dans la détection de phishing, offrant un mécanisme pour identifier quand le réentraînement est nécessaire et améliorant la robustesse des modèles ML existants.