Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

Chaque fois qu'une personne demande une carte de crédit ou un petit prêt, un calcul caché s'opère en arrière-plan. Les banques et les prêteurs doivent décider s'ils peuvent faire confiance à cette personne pour lui confier de l'argent, une décision qui repose sur la prédiction de sa capacité à ne pas échouer dans ses remboursements. Il ne s'agit pas d'une simple supposition ; c'est un jugement financier à enjeux élevés qui détermine qui accède à l'économie et à quel coût. Pour prendre ces décisions, les institutions s'appuient sur des modèles informatiques qui analysent l'historique d'une personne : son revenu, ses factures passées et la manière dont elle a géré ses dettes par le passé. Ces modèles doivent être précis, mais ils doivent également être équitables et transparents. Les lois aux États-Unis exigent que si un prêt est refusé, le prêteur doit expliquer exactement pourquoi. Cela signifie que l'ordinateur ne peut pas simplement dire « non » ; il doit pointer les raisons spécifiques, telles qu'un retard de paiement ou un solde élevé, qui ont conduit à la décision. Si le modèle est une boîte noire que personne ne comprend, cela crée des risques juridiques et des résultats injustes pour les emprunteurs.

Pendant des années, des chercheurs ont tenté de construire de meilleurs modèles pour prédire ces défauts de paiement, utilisant souvent une intelligence artificielle complexe. Cependant, une nouvelle étude suggère que beaucoup de ces tentatives précédentes ont été construites sur des bases fragiles. Les chercheurs ont découvert que les pratiques courantes de test de ces modèles introduisent souvent des erreurs méthodologiques, faisant paraître les ordinateurs plus intelligents qu'ils ne le sont réellement. Ils ont également découvert que certaines astuces populaires utilisées pour corriger les problèmes de données sont en réalité inutiles. En instaurant une méthode de test plus stricte et plus honnête, l'équipe a identifié quels modèles fonctionnent réellement le mieux et comment expliquer leurs décisions sans confusion. Leur travail fournit un nouveau standard fiable pour la manière dont les institutions financières doivent évaluer les outils qui décident de l'octroi du crédit.

L'étude s'est concentrée sur une vaste collection de données réelles provenant d'une société de cartes de crédit à Taïwan, impliquant trente mille clients. Environ vingt-deux pour cent de ces clients ont fini par ne pas payer leurs factures, créant une situation où les cas de « défaut » étaient moins nombreux que les cas « sains ». Ce déséquilibre est courant dans la finance et a conduit de nombreux chercheurs à utiliser une technique appelée suréchantillonnage synthétique. Cette méthode crée des points de données fictifs pour équilibrer les chiffres, dans l'espoir que cela aide l'ordinateur à mieux apprendre. Les chercheurs de cette étude ont toutefois testé si cette étape supplémentaire était réellement nécessaire. Ils ont construit un protocole de test rigoureux qui maintenait strictement la séparation des données, garantissant que l'ordinateur ne voie jamais les réponses du test pendant sa phase d'apprentissage. Ils ont effectué les tests dix fois de suite avec différents points de départ aléatoires pour s'assurer que les résultats étaient stables et n'étaient pas simplement le fruit d'un coup de chance.

Lorsqu'ils ont comparé six types différents de modèles informatiques, les résultats ont été clairs. Les outils les plus puissants sont une famille de modèles connus sous le nom de forêts d'arbres de décision boostées (gradient boosting ensembles). Ce sont des systèmes qui combinent de nombreux arbres de décision simples pour réaliser une prédiction unique et hautement précise. Trois versions spécifiques de ces modèles — XGBoost, LightGBM et CatBoost — ont obtenu des performances presque identiques, formant un niveau supérieur qui surpasse nettement les méthodes plus anciennes et plus simples comme la régression logistique ainsi que les approches récentes de deep learning. Les meilleurs modèles ont correctement classé le risque de défaut environ soixante-dix-neuf pour cent du temps, un chiffre statistiquement indiscernable entre eux, mais nettement supérieur aux alternatives. L'étude a révélé que les différences entre ces trois meilleurs modèles étaient si minimes qu'aucun d'entre eux ne pouvait être déclaré vainqueur absolu ; ils sont simplement tous d'excellents choix pour ce type de problème.

La découverte la plus surprenante concerne les données synthétiques. Les chercheurs ont testé si l'ajout de ces points de données fictifs et équilibrés améliorait les modèles. Ils ont découvert que ce n'était pas le cas. Une fois que les chercheurs ont ajusté le seuil de décision — le point spécifique où l'ordinateur décide de dire « oui » ou « non » — sur la base d'un ensemble de validation distinct, le besoin de données synthétiques a disparu. En fait, pour ce type de données financières modérément déséquilibrées, le simple ajustement du point de décision suffisait à gérer le déséquilibre. La création de points de données fictifs était non seulement redondante, mais pouvait potentiellement introduire du bruit qui confondrait le modèle. Cela suggère que les institutions financières peuvent sauter l'étape complexe de la génération de données synthétiques et se concentrer plutôt sur le calibrage minutieux de leurs règles de décision.

Au-delà de la simple prédiction du défaut de paiement, l'étude a également examiné la capacité de ces modèles à expliquer leurs propres décisions, une exigence de conformité légale. Les chercheurs ont utilisé deux méthodes différentes pour générer ces explications : l'une basée sur la théorie des jeux et l'autre sur des approximations locales. Ils ont constaté que, bien que ces deux méthodes s'accordent généralement sur les facteurs les plus importants, elles ne s'accordent pas toujours sur chaque individu. Pour environ soixante-deux pour cent des cas, les explications étaient raisonnablement cohérentes, mais pour certains individus, les deux méthodes pointaient vers des raisons différentes pour un refus. Ce désaccord constitue un risque critique. Si une banque s'appuie sur une seule méthode pour expliquer à un client pourquoi il a été rejeté, et que cette méthode est instable, la banque pourrait faire face à des contestations juridiques. L'étude conclut que les institutions devraient vérifier l'accord entre les différents outils d'explication et faire appel à des experts humains pour examiner les cas où le raisonnement de l'ordinateur est peu clair.

Les chercheurs ont également testé leurs conclusions sur un ensemble de données plus petit et plus ancien provenant d'Allemagne pour voir si les résultats tenaient la route avec moins de données. Ils ont découvert qu'avec moins d'exemples, l'avantage des modèles complexes sur les plus simples devenait plus difficile à prouver statistiquement, suggérant que la puissance de ces outils avancés dépend de la disponibilité de suffisamment de données pour apprendre. Enfin, l'équipe a vérifié l'équité entre différents groupes, tels que les hommes et les femmes ou les personnes ayant différents niveaux d'éducation. Ils ont constaté de faibles différences dans la manière dont le modèle traitait ces groupes, mais ont noté que pour les groupes très restreints, les données étaient trop éparses pour tirer des conclusions fermes. L'étude souligne que, bien que les modèles aient bien performé globalement, ils sont entraînés sur des données historiques spécifiques et ne peuvent pas être appliqués aveuglément à d'autres populations ou crises économiques sans réévaluation.

Ce travail établit une nouvelle façon plus propre de tester les modèles de notation de crédit. Il prouve que les outils les plus efficaces sont déjà disponibles et qu'ils n'ont pas besoin de ruses de données artificielles pour bien fonctionner. Plus important encore, il souligne que la précision ne suffit pas ; les explications derrière les décisions doivent être cohérentes et fiables. En suivant le protocole strict et exempt de fuite de données décrit dans l'étude, les institutions financières peuvent construire des systèmes qui sont non seulement plus précis, mais aussi plus dignes de confiance et juridiquement solides. Le code et les données utilisés dans cette recherche sont désormais ouverts à tous, garantissant que ce nouveau standard puisse être adopté et vérifié par la communauté au sens large.