Validation-Stage Combinatorial Fusion Analysis for Imbalanced Credit-Card Fraud Detection

Résumé Technique : Analyse de Fusion Combinatoire en Phase de Validation pour la Détection de Fraude par Carte de Crédit Déséquilibrée

Énoncé du Problème
La détection de fraude par carte de crédit présente un problème d'apprentissage automatique complexe, caractérisé par un déséquilibre extrême des classes, des coûts d'erreurs élevés (tant pour les faux positifs que pour les faux négatifs) et des modèles de fraude non stationnaires. Bien que les modèles robustes basés sur des arbres de décision boostés (ex. : XGBoost, LightGBM) servent déjà de références solides pour les données de transaction structurées, la valeur marginale de méthodes d'ensemble ou de fusion supplémentaires reste souvent incertaine. Cet article examine si l'Analyse de Fusion Combinatoire (CFA — Combinatorial Fusion Analysis) — une méthode qui recherche parmi des sous-ensembles de modèles et des règles de fusion de scores de rang — peut produire des gains de performance fiables par rapport aux meilleurs modèles uniques et aux techniques d'ensemble standards (vote de type soft voting, stacking) sur le benchmark IEEE-CIS Fraud Detection.

Méthodologie
L'étude emploie un protocole expérimental strict, exempt de fuite de données (leakage-free), utilisant une répartition 60/20/20 pour l'entraînement/validation/test.

• Données et Prétraitement : Le jeu de données comprend 590 540 transactions anonymisées avec des types de caractéristiques mixtes. Le prétraitement (gestion des valeurs manquantes, encodage des étiquettes, mise à l'échelle) est appliqué exclusivement sur l'ensemble d'entraînement.
• Classifieurs de Base : Sept modèles distincts servent de bibliothèque de candidats : KNN, LDA, Régression Logistique, Random Forest, XGBoost, LightGBM et TabNet. Les modèles linéaires et le KNN utilisent des caractéristiques réduites par PCA, tandis que les ensembles d'arbres et TabNet utilisent l'ensemble complet des caractéristiques.
• Analyse de Fusion Combinatoire (CFA) :
  • Caractéristique de Score de Rang (RSC) : Chaque modèle est caractérisé par sa fonction RSC, qui associe des positions de rang normalisées à des scores.
  • Mesure de la Diversité : La diversité entre les modèles est quantifiée comme la distance L1 moyenne entre leurs fonctions RSC.
  • Espace de Recherche : Le cadre évalue 120 sous-ensembles de modèles (à partir des 7 apprenants de base) combinés à quatre règles de fusion : Score Moyen (Average Score), Score Pondéré (Weighted Score, pondéré par la diversité), Rang Moyen (Average Rank) et Rang Pondéré (Weighted Rank). Cela donne lieu à 480 configurations de fusion.
  • Stratégie de Sélection : Le sous-ensemble optimal et la règle de fusion sont sélectionnés sur la base des métriques de performance (AUC-ROC, AUPRC, F1) sur l'ensemble de validation. L'ensemble de test est utilisé uniquement pour le rapport final.
• Expériences Auxiliaires : L'étude inclut une expérience d'augmentation par CTGAN pour tester la génération synthétique de fraudes et une étude d'ablation sur les ratios de déséquilibre des classes.

Principales Contributions

1. Évaluation Empirique de la CFA : L'article fournit une évaluation rigoureuse de la CFA sur le benchmark IEEE-CIS, démontant son application tant avec des modèles d'arbres traditionnels qu'avec des apprenants tabulaires profonds (TabNet).
2. Sélection de Sous-ensemble vs Bibliothèque Complète : Il établit que l'ensemble optimal est un sous-ensemble compact de modèles puissants basés sur des arbres (Random Forest, XGBoost, LightGBM) plutôt que la bibliothèque complète de modèles ou l'ensemble le plus diversifié de modèles.
3. Rigueur Statistique : L'étude utilise des intervalles de confiance par bootstrap (1 000 rééchantillonnages) pour distinguer les gains de performance réels du bruit de recherche, confirmant que les améliorations par rapport au meilleur modèle unique sont statistiquement significatives.
4. Résultat Négatif sur l'Augmentation : Elle rapporte un résultat négatif borné concernant l'augmentation par CTGAN, montrant que la génération synthétique de fraudes dégrade les performances dans ce contexte de haute dimensionnalité et de types mixtes.

Résultats

• Performance : La meilleure configuration, DEF WtScore (une fusion de score pondérée par la diversité de Random Forest, XGBoost et LightGBM), a obtenu :
  • AUC-ROC : 0,9405 (contre 0,9343 pour le meilleur modèle unique, LightGBM).
  • AUPRC : 0,6699 (contre 0,6480 pour LightGBM).
  • F1 : 0,6373 (contre 0,6126 pour le meilleur modèle unique, XGBoost).
• Signification Statistique : Les intervalles de confiance par bootstrap pour les différences de performance excluent zéro pour les trois métriques, confirmant que les gains sont fiables.
• Comparaison aux Références :
  • La CFA égale le soft voting sur l'AUC-ROC mais améliore l'AUPRC et le F1.
  • Le stacking a été moins performant que le meilleur modèle unique, probablement en raison de la forte corrélation et de la puissance des apprenants de base.
  • La fusion basée sur les scores a surpassé la fusion basée sur les rangs ; les auteurs notent que remplacer les scores informatifs par des rangs a supprimé une séparation utile dans ce contexte.
• Métriques Opérationnelles : À des points de fonctionnement fixes (ex. : 50 % de rappel), l'ensemble CFA maintient une précision plus élevée que LightGBM, indiquant une utilité pratique pour les équipes de fraude gérant les budgets d'alerte.
• CTGAN & Déséquilibre : L'augmentation par CTGAN a réduit les performances de tous les modèles et de l'ensemble CFA. Concernant le déséquilibre des classes, la CFA a surpassé les modèles uniques pour des ratios de fraude de 1 % et plus, mais a été moins performante à 0,5 %, suggérant une estimation insuffisante des signaux de diversité à une parcimonie extrême.

Signification et Revendications
L'article conclut que la CFA est plus précieuse non pas comme un mécanisme pour combiner chaque classifieur disponible, mais comme une méthode de phase de validation pour sélectionner un petit sous-ensemble complémentaire de modèles puissants et assigner des poids conscients de la diversité. Les conclusions suggèrent que la diversité est bénéfique uniquement lorsque le modèle ajouté apporte des « erreurs utiles » (forces complémentaires) plutôt que simplement des erreurs différentes. L'étude met en garde contre l'utilisation automatique de l'augmentation de données synthétiques (spécifiquement CTGAN) pour les données de fraude à haute cardinalité et souligne que, bien que des modèles uniques bien ajustés (comme LightGBM) puissent suffire pour un classement large, les méthodes d'ensemble offrent des gains significatifs et statistiquement importants pour les compromis précision-rappel et les seuils opérationnels.