Multi-Criteria Feature Subset Selection for Credit Card Fraud Detection Under Class Imbalance

Résumé technique : Sélection de sous-ensembles de caractéristiques multi-critères pour la détection de la fraude par carte de crédit sous déséquilibre de classes

Énoncé du problème
La détection de la fraude par carte de crédit est un problème de classification binaire d'événements rares où la classe positive (fraude) ne constitue qu'une fraction infime des transactions (0,173 % dans le jeu de données étudié). Dans des scénarios aussi fortement déséquilibrés, l'exactitude (accuracy) standard est une métrique peu fiable, car un modèle prédisant uniquement la classe majoritaire obtiendrait une exactitude élevée tout en échouant à détecter toute fraude. Par conséquent, la performance doit être évaluée à l'aide de métriques telles que la précision, le rappel, le score F1 et l'AUC-ROC. Deux choix de conception critiques influencent la performance du système : la sélection d'un sous-ensemble de caractéristiques interprétable et compact, et la stratégie de gestion du déséquilibre des classes lors de l'entraînement, généralement traitée via des techniques de suréchantillonnage comme SMOTE (Synthetic Minority Over-sampling Technique). Bien que SMOTE soit fréquemment appliqué comme étape par défaut, son bénéfice inconditionnel dans les pipelines de détection de fraude reste une hypothèse qui nécessite une validation rigoureuse et exempte de fuite de données (leakage).

Méthodologie
L'étude utilise le jeu de données ULB European Credit Card Fraud, comprenant 284 807 transactions dont 492 cas de fraude initialement. Après suppression des lignes dupliquées, le jeu de données utilisé pour la division et la modélisation contient 283 726 transactions avec 473 cas de fraude. Le pipeline expérimental est structuré en quatre étapes distinctes :

1. Préparation des données : Le jeu de données est divisé en ensembles d'entraînement (fit), de validation et de test en utilisant une division stratifiée 80/20/20 (préservant le ratio de fraude). La standardisation est appliquée à l'aide d'un scaler ajusté exclusivement sur la partition d'entraînement afin de prévenir toute fuite de données.

2. Sélection de caractéristiques multi-critères : Au lieu de s'appuyer sur une seule méthode de classement, l'auteur combine quatre approches de classement de caractéristiques indépendantes, calculées uniquement sur les données d'entraînement :

   • Information mutuelle (Mutual Information).
   • Corrélation de Pearson absolue avec la cible.
   • Importance Gini de la Forêt Aléatoire (Random Forest Gini Importance).
   • Un score pondéré par les composantes principales (réconciliant les chargements PCA avec la variance expliquée).

   Un algorithme de sélection en "round-robin" fusionne ces quatre classements pour construire un sous-ensemble compact de exactement 15 caractéristiques. Cette méthode garantit qu'aucune stratégie de classement ne domine la sélection, même lorsque les classements se chevauchent de manière significative.

3. Entraînement du modèle : Sept classifieurs (Forêt Aléatoire, Régression Logistique, MLP, SVM Linéaire, KNN, Naive Bayes Gaussien et XGBoost) sont entraînés sous deux régimes distincts :

   • Régime de base (Base Regime) : Entraînement sur la distribution naturelle des classes.
   • Régime SMOTE (SMOTE Regime) : Entraînement sur un jeu de données équilibré généré en appliquant SMOTE à la partition d'entraînement uniquement.

4. Protocole d'évaluation : Un composant critique de la méthodologie est l'optimisation du seuil sans fuite de données. Pour chaque modèle et régime, le seuil de décision est optimisé pour maximiser le score F1 sur l'ensemble de validation mis de côté. Ce seuil optimisé est ensuite appliqué sans modification à l'ensemble de test intact. Ce protocole empêche l'optimisation implicite des métriques de test, une source courante de biais dans les études de classification déséquilibrée.

Résultats clés
L'étude produit deux conclusions principales concernant la sélection de caractéristiques et l'équilibrage des classes :

• Performance du sous-ensemble de caractéristiques : Le sous-ensemble de 15 caractéristiques dérivé de la sélection multi-critères par round-robin soutient une forte performance de détection. Dans le régime de base, les K-plus proches voisins (KNN) ont obtenu le score F1 le plus élevé de 0,833 avec une précision de 0,959, tandis qu'XGBoost a atteint l'AUC-ROC le plus élevé de 0,967 et un score F1 de 0,826.
• SMOTE vs Distribution Naturelle : Contrairement à l'hypothèse commune selon laquelle le suréchantillonnage améliore la performance, chacun des sept classifieurs a moins bien performé sous le régime SMOTE que sous la distribution naturelle une fois les seuils correctement ajustés.
  • La baisse du score F1 variait de 0,009 (XGBoost) à 0,055 (KNN et SVM Linéaire).
  • Ce déclin était constant pour toutes les métriques (Précision, Rappel, F1, AUC-ROC et AUC-PR).
  • Les résultats indiquent que si SMOTE rééquilibre le "prior" de classe, il déplace la calibration des probabilités d'une manière qu'un ajustement de seuil séparé ne peut pleinement compenser, entraînant une réduction de la précision à des niveaux de rappel équivalents.

Signification et Contributions
L'article apporte deux contributions spécifiques au domaine de la détection de fraude :

1. Validation de sous-ensembles compacts multi-critères : Il démontre qu'un petit ensemble de caractéristiques interprtable (15 caractéristiques), construit en agrégeant des méthodes de classement indépendantes, peut atteindre des performances de détection de fraude compétitives (F1 > 0,82, AUC-ROC > 0,96) sans utiliser l'intégralité de l'espace de caractéristiques brutes.
2. Preuve empirique contre l'utilisation inconditionnelle de SMOTE : L'étude fournit une comparaison contrôlée et sans fuite de données montrant que SMOTE dégrade systématiquement la performance par rapport à un entraînement sur la distribution naturelle pour ce jeu de données spécifique et cette famille de modèles. Ce résultat remet en question la pratique consistant à appliquer SMOTE comme une étape par défaut dans les pipelines de classification déséquilibrée sans comparaison contrôlée préalable.

Limites et Portée
L'auteur note que l'étude repose sur une seule division train/validation/test plutôt que sur une validation croisée, ce qui signifie que les métriques rapportées manquent d'estimations de variance. Les conclusions sont spécifiques au jeu de données ULB, qui présente des variables anonymisées par PCA et un ratio de classe spécifique ; l'auteur avertit que les résultats de SMOTE peuvent ne pas se transférer directement à des jeux de données de fraude présentant des structures de caractéristiques ou des distributions de classes différentes. L'étude se concentre sur une contrainte de 15 caractéristiques pour explorer l'interprétabilité et ne prétend pas représenter la limite de performance supérieure de l'espace complet de 30 caractéristiques.