📊 statistics

Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

Cette étude démontre que sur les tâches de prédiction de défaut de crédit, le paramètre intégré `scale_pos_weight` d'XGBoost surpasse de manière significative la technique traditionnelle de rééchantillonnage SMOTE en termes de rappel, soulignant que la stratégie optimale pour gérer le déséquilibre des classes dépend du classifieur spécifique utilisé plutôt que d'une méthode de rééchantillonnage universelle.

Auteurs originaux : Atharv Tiwari

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Atharv Tiwari

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de trouver un voleur solitaire caché dans une foule de 100 personnes. Quatre-vingt-douze d'entre elles sont innocentes, et seulement huit sont coupables. Si vous deviez simplement deviner « tout le monde est innocent », vous auriez raison 92 % du temps ! Mais vous attraperiez zéro voleur. Dans le monde de l'informatique, c'est ce qu'on appelle le problème de l'« déséquilibre des classes ». Cela se produit lorsqu'un modèle informatique est entraîné sur des données où un résultat (comme le remboursement d'un prêt) arrive beaucoup plus souvent que l'autre (le défaut de paiement d'un prêt). Parce que l'ordinateur voit tellement d'exemples « bons », il devient paresseux et se contente de prédire « bon » pour tout le monde, échouant ainsi à repérer les rares cas « mauvais ».

Pendant des années, la solution standard pour cela a été une technique appelée SMOTE. Voyez le SMOTE comme une photocopieuse pour les cas rares. Si vous n'avez que huit photos de voleurs, le SMOTE crée de fausses photos synthétiques de nouveaux voleurs en mélangeant et en associant les détails des vrais, dans l'espoir de donner à l'ordinateur assez de pratique pour apprendre le schéma. Mais il existe une autre méthode. Certains modèles informatiques, spécifiquement un type puissant appelé XGBoost, possèdent un « bouton de volume » intégré pour les erreurs. Au lieu de fabriquer de fausses données, vous pouvez simplement dire à l'ordinateur : « Hé, si tu manques un voleur, c'est une énorme erreur ! Si tu manques une personne innocente, c'est une petite erreur. » Cela force le modèle à accorder une attention particulière aux cas rares sans jamais toucher aux données originales.

La grande question est la suivante : vaut-il mieux fabriquer de fausses données d'entraînement (SMOTE), ou simplement monter le volume sur les erreurs (le bouton intégré) ? Une nouvelle étude d'Atharv Tiwari, du Punjab Engineering College, met ces deux approches en compétition pour voir laquelle attrape réellement plus de voleurs dans le monde réel de l'évaluation du crédit.

Le grand duel des cartes de crédit

Dans cette étude, le chercheur a mis en place une expérience massive utilisant un ensemble de données réelles de plus de 300 000 demandes de prêt. Dans cette foule, 92 % des gens ont remboursé leurs prêts et seulement 8 % ont fait défaut. C'était la configuration parfaite pour tester la capacité de différents modèles informatiques à repérer ces 8 % sans être distraits par les 92 %.

Le chercheur n'a pas seulement choisi un modèle ; il a testé trois « détectives » différents :

Régression Logistique : Le détective de la vieille école, fiable, qui suit des règles strictes.
Forêt Aléatoire (Random Forest) : Une équipe de détectives qui examinent chacun les indices différemment et votent sur la réponse.
XGBoost : Un détective super intelligent qui apprend de ses erreurs une par une, devenant de plus en plus affûté à chaque tour.

Chaque détective a reçu trois stratégies d'entraînement différentes :

La stratégie du « Ne rien faire » : Jeter simplement les données brutes et voir ce qui se passe.
La stratégie du « Bouton de Volume » : Utiliser les paramètres intégrés du modèle pour pénaliser lourdement l'omission d'un défaut de paiement (sans fausses données).
La stratégie de la « Photocopieuse » : Utiliser SMOTE pour créer de faux défauts de paiement afin d'équilibrer les données d'entraînement.

Le résultat choc

Les résultats étaient semblables à un rebondissement dans un film de mystère. La stratégie du « Ne rien faire » a échoué lamentablement pour tout le monde, capturant presque aucun défauteur (moins de 2,2 % de rappel). C'était attendu. Mais la bataille entre le « Bouton de Volume » et la « Photocopieuse » est là que les choses sont devenues intéressantes.

Lorsque le chercheur a utilisé XGBoost, la stratégie du « Bouton de Volume » intégré a écrasé la concurrence. Elle a réussi à attraper 64,8 % des véritables défauteurs. La stratégie de la « Photocopieuse » (SMOTE), qui est la solution de référence depuis des décennies, n'en a attrapé que 43,3 %. C'est un écart massif de 21,5 points de pourcentage. Le chercheur a effectué des tests statistiques rigoureux (appelés test de McNemar) et a confirmé qu'il ne s'agissait pas d'un coup de chance ; la différence était si grande qu'elle était statistiquement certaine ( $p < 10^{-6}$ ).

Cependant, l'histoire a complètement changé lorsqu'ils sont passés à la Forêt Aléatoire (Random Forest). Pour ce modèle, la stratégie du « Bouton de Volume » a à peine fonctionné (ne capturant que 7,8 % des défauteurs), tandis que la « Photocopieuse » (SMOTE) a bien mieux performé, capturant 41,2 %.

Cela suggère qu'il n'existe pas de « solution miracle » unique pour corriger un déséquilibre de données. Ce qui fonctionne pour un type de modèle informatique peut échouer pour un autre. L'étude suggère que pour le modèle spécifique et puissant XGBoost, simplement dire au modèle de se soucier davantage des erreurs rares est bien supérieur à le nourrir de données synthétiques et fausses.

Pourquoi la Photocopieuse a échoué (et le Bouton a gagné)

Alors, pourquoi le fait de fabriquer de fausses données a-t-il nui au modèle XGBoost ? Le chercheur explique que lorsque vous avez un ensemble de données complexe avec 192 caractéristiques différentes (comme le revenu, l'âge et l'historique de crédit), créer une personne fictive en mélangeant deux personnes réelles peut donner naissance à un « monstre » qui n'existe pas dans la réalité. C'est comme essayer de mélanger l'image d'un chat et d'un chien pour créer un nouvel animal ; le résultat peut paraître bizarre et confondre l'ordinateur. Le modèle finit par apprendre à partir de bruit plutôt qu'à partir de schémas réels.

Le « Bouton de Volume » évite totalement ce pièmge. Il ne touche pas aux données et ne crée pas d'exemples fictifs. Il change simplement les mathématiques en coulisses pour dire : « Ne manque pas les cas rares ! » Cela a permis de garder l'entraînement propre et a permis à XGBoost de performer à son meilleur niveau.

Le « Pourquoi » derrière le « Qui »

Pour s'assurer que ce modèle gagnant n'était pas simplement une boîte noire faisant des suppositions aléatoires, le chercheur a utilisé un outil appelé SHAP (qui signifie SHapley Additive exPlanations). Voyez SHAP comme une loupe qui montre exactement quels indices le détective a utilisés pour prendre une décision.

L'analyse a révélé que le modèle se comportait de manière logique. L'indice le plus important était le score de bureau externe (un score de crédit provenant d'autres banques). Cela est parfaitement logique : si quelqu'un a un historique de remboursement auprès d'autres prêteurs, il est probable qu'il vous rembourse aussi. Le modèle a également examiné le ratio entre le montant du prêt et le montant du remboursement, ainsi que l'âge de l'emprunteur. Crucialement, le raisonnement du modèle était transparent et défendable, ce qui est un point majeur pour les banques qui doivent expliquer leurs décisions aux régulateurs.

L'essentiel à retenir

L'étude conclut qu'avant de commencer à générer des milliers de points de données fictifs pour corriger un déséquilibre, vous devriez essayer les outils intégrés plus simples dont votre modèle dispose déjà. Pour XGBoost, la pondération intégrée n'était pas seulement plus facile à utiliser ; elle était nettement plus efficace, capturant près de 22 % de défauteurs de plus que la méthode traditionnelle.

Cependant, le chercheur avertit que ce n'est pas une règle universelle. Comme la Forêt Aléatoire a mieux performé avec la méthode de la « Photocopieuse », vous ne pouvez pas supposer qu'une technique fonctionne pour chaque modèle. La meilleure approche dépend entièrement du « détective » que vous utilisez. Dans le monde réglementé de la banque, où attraper les défauteurs est vital mais expliquer les décisions est obligatoire, cette découverte offre une voie plus claire et plus efficace : essayez d'abord le bouton simple, mais vérifiez toujours s'il convient à votre modèle spécifique.

Résumé Technique : Étude d'ablation des techniques de déséquilibre de classes pour la prédiction du défaut de crédit avec analyse d'explicabilité basée sur SHAP

Énoncé du problème
Les ensembles de données de prédiction du défaut de crédit, tels que le jeu de données Home Credit Default Risk, présentent un déséquilibre de classes sévère (environ 92 % de non-défauts contre 8 % de défauts). Dans de tels scénarios, les métriques de précision standard sont trompeuses, car un modèle prédisant « pas de défaut » pour tous les demandeurs obtient une précision élevée mais une utilité nulle. La réponse standard de l'industrie depuis 2002 est la technique de suréchantillonnage synthétique des minorités (SMOTE), qui génère des exemples synthétiques de la classe minoritaire pour rééquilibrer l'ensemble d'entraînement. Cependant, il reste à vérifier si les modèles de boosting de gradient, spécifiquement XGBoost, peuvent gérer ce déséquilibre de manière native via l'ajustement des fonctions de perte (via le paramètre scale_pos_weight) sans introduire de données synthétiques ou de risque de fuite de données (data leakage). De plus, la littérature existante échoue souvent à intégrer la gestion du déséquilibre de classes avec l'explicabilité du modèle, une exigence critique pour la conformité réglementaire dans le secteur financier.

Méthodologie
L'étude réalise une étude d'ablation contrôlée sur trois classifieurs — Régression Logistique, Forêt Aléatoire (Random Forest) et XGBoost — évalués sur 307 511 demandes de prêt comprenant 122 caractéristiques originales (étendues à 192 après ingénierie et prétraitement).

Conception expérimentale : Neuf configurations ont été testées, combinant trois classifieurs avec trois stratégies de déséquilibre :
1. Référence (A) : Aucun rééquilibrage ; hyperparamètres par défaut.
2. Repondération Native (B) : Pondération de classe intégrée (class_weight='balanced' pour RF/LogReg ; scale_pos_weight pour XGBoost).
3. SMOTE + Ajustement de Seuil (C) : SMOTE appliqué à l'ensemble d'entraînement pour atteindre la parité de classe, suivi d'une optimisation du seuil sur la courbe précision-rappel pour maximiser le score F1.
Évaluation : La performance a été mesurée via le Rappel, la Précision, le score F1 et l'AUC-ROC. La signification statistique a été déterminée par le test exact de McNemar sur les comparaisons par paires. La stabilité a été vérifiée via une validation croisée stratifiée en cinq plis (five-fold).
Explicabilité : La meilleure configuration a été analysée à l'aide de SHAP (SHapley Additive exPlanations) pour décomposer les prédictions en contributions par caractéristique, garantissant que la logique du modèle s'aligne sur les exigences de transparence réglementaire.

Résultats Clés
L'étude a produit des conclusions distinctes concernant l'interaction entre l'architecture du modèle et la gestion du déséquilibre :

Supériorité de XGBoost avec pondération native : L'utilisation de XGBoost avec scale_pos_weight (Stratégie B) a atteint un rappel de 64,8 %, surpassant de manière significative l'approche SMOTE (Stratégie C), qui a atteint 43,3 %. L'écart de 21,5 points de pourcentage est statistiquement significatif ( $p < 10^{-6}$ ).
Efficacité dépendante du modèle : Les résultats n'étaient pas uniformes pour tous les modèles. Alors que la pondération native excellait dans XGBoost et la Régression Logistique, elle performait mal dans la Forêt Aléatoire (7,8 % de rappel). Inversement, la Forêt Aléatoire a obtenu ses meilleurs résultats avec SMOTE (41,2 % de rappel). Cela démontre que la gestion du déséquilibre n'est pas une solution « universelle » mais dépend fortement de la famille de classifieurs.
Stabilité : La validation croisée en cinq plis a confirmé la stabilité de l'approche de pondération native de XGBoost, avec un rappel moyen de 64,1 % ( $\pm 0,7 \%$ ) et un AUC-ROC de 0,755 ( $\pm 0,003$ ).
Importance des caractéristiques : L'analyse SHAP a révélé que EXT_SOURCE_AVG (score agrégé des bureaux de crédit externes) était le principal moteur de l'évaluation du risque. Le raisonnement du modèle était monotone et défendable : des scores de bureau plus bas augmentaient la probabilité de défaut. Notamment, le genre (CODE_GENDER_M) est apparu comme la troisième caractéristique la plus importante, identifiée de manière autonome par le modèle.

Signification et Revendications
Le document revendique trois contributions primaires au domaine de la modélisation du risque de crédit :

Remise en question du standard SMOTE : L'étude fournit des preuves empiriques que pour XGBoost, l'ajustement natif de la fonction de perte (scale_pos_weight) est supérieur au SMOTE sur des données de crédit à haute dimensionnalité. Les auteurs soutiennent que le SMOTE peut introduire du bruit dans les espaces de haute dimension en interpolant entre des instances minoritaires qui diffèrent sur de nombreux axes, tandis que la pondération native évite toute modification des données.
Contextualisation des stratégies de déséquilibre : La recherche souligne que l'efficacité d'une technique de déséquilibre est contingente à l'algorithme sous-jacent. Une stratégie validée sur une famille de modèles (ex: SMOTE pour la Forêt Aléaire) ne se transfère pas nécessairement à une autre (ex: XGBoost), incitant les praticiens à valider les stratégies par modèle plutôt que de supposer leur universalité.
Intégration de l'explicabilité : En couplant la gestion de haute performance du déséquilibre avec l'analyse SHAP, l'étude répond au « Gap 3 » où la recherche sur le déséquilibre manque souvent de la couche d'interprétabilité requise pour le déploiement réglementaire (ex: sous les directives provisoires de la RBI). La pile proposée (XGBoost + scale_pos_weight + SHAP) offre une solution déployable qui ne nécessite aucun pipeline de données synthétiques, réduit les risques de fuite de données et fournit une logique de décision transparente.

Limites
Les auteurs reconnaissent que les conclusions sont basées sur un seul ensemble de données publiques et pourraient ne pas se généraliser à des données bancaires propriétaires présentant des distributions de caractéristiques différentes. De plus, l'étude n'a pas incorporé de coûts de classification erronée spécifiques aux affaires, d'analyse d'équité entre les groupes démographiques, ou de fonctions de perte avancées comme la perte focale (focal loss). Le calibrage du seuil pour SMOTE n'était pas imbriqué dans la validation croisée, ce qui pourrait conduire à des estimations de performance légèrement optimistes pour cette stratégie spécifique.