An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems

Cette étude expérimentale démontre que les modèles d'apprentissage automatique conscients de l'équité permettent d'atteindre un meilleur compromis entre précision prédictive et équité dans le contexte du scoring de crédit par rapport aux modèles de classification traditionnels.

L'essentiel

Voici une explication simple et imagée de cette étude scientifique, conçue pour être comprise par tout le monde, même sans bagage technique.

🏦 Le Grand Dilemme de la Banque : La Prédiction vs. L'Équité

Imaginez que vous êtes un banquier. Votre travail consiste à décider qui peut obtenir un prêt pour acheter une maison ou lancer une entreprise. Autrefois, c'était un humain qui regardait votre dossier, prenait du café avec vous et décidait. C'était lent et fatiguant.

Aujourd'hui, les banques utilisent des robots intelligents (des algorithmes d'apprentissage automatique) pour faire ce travail en une seconde. Ces robots lisent des milliers de données (votre salaire, vos factures, votre historique) et disent : « Oui, prêt accordé » ou « Non, refusé ».

Le problème ? Ces robots sont parfois un peu « racistes » ou « sexistes », même si personne ne leur a demandé de l'être.
Si un robot apprend que, dans le passé, les femmes ou certaines minorités ethniques ont eu plus de difficultés à rembourser (souvent à cause de discriminations passées), il va commencer à refuser systématiquement les prêts à ces groupes, perpétuant ainsi l'injustice. C'est comme un juge qui condamnerait tout le monde d'un quartier spécifique juste parce que le quartier a eu des problèmes par le passé, sans regarder la personne individuellement.

🧪 L'Expérience : Tester les « Correcteurs de Biais »

Les auteurs de cette étude ont voulu tester des solutions pour rendre ces robots plus justes, sans pour autant les rendre incompétents. Ils ont comparé trois types de « correcteurs » sur cinq jeux de données réels (comme des dossiers de clients anonymisés).

Voici les trois approches qu'ils ont testées, avec des analogies simples :

1. La Pré-éducation (Pré-traitement)

• L'analogie : Imaginez que vous préparez un gâteau pour une fête. Vous vous rendez compte que la farine que vous avez achetée est de mauvaise qualité (les données sont biaisées). Avant de commencer à cuire, vous tamisez la farine, vous enlevez les grumeaux et vous ajoutez de la bonne farine pour équilibrer le mélange.
• Ce que ça fait : On modifie les données avant d'entraîner le robot pour qu'il ne voie pas les différences injustes (comme le genre ou la race).
• Le résultat : C'est souvent très juste, mais le robot devient un peu « confus » et fait plus d'erreurs de calcul sur qui est vraiment solvable. On perd un peu de précision pour gagner de l'équité.

2. L'Entraînement avec Règles (In-traitement)

• L'analogie : C'est comme entraîner un chien de garde. Au lieu de juste lui apprendre à mordre les intrus, vous lui donnez un ordre spécial : « Si c'est un enfant, ne mords pas, même s'il a l'air suspect ». Vous lui apprenez la justice pendant qu'il apprend son travail.
• Ce que ça fait : On modifie la façon dont le robot apprend pour qu'il prenne en compte la justice directement dans son cerveau.
• Le résultat : C'est souvent le meilleur compromis. Le robot reste très intelligent (il prédit bien qui va payer) tout en étant plus juste.

3. Le Correcteur de Fin (Post-traitement)

• L'analogie : Le robot a déjà décidé qui a le prêt. Mais avant de signer le papier, un superviseur humain (ou un autre logiciel) regarde la liste. S'il voit que le robot a refusé 10 femmes d'un coup alors qu'elles étaient toutes solvables, il dit : « Attends, on va corriger ça », et il change quelques décisions au hasard pour rééquilibrer la balance.
• Ce que ça fait : On ne touche pas au robot, on ne touche qu'à ses décisions finales.
• Le résultat : C'est facile à mettre en place, mais parfois ça crée des incohérences (on accorde un prêt à quelqu'un qui ne devrait pas l'avoir juste pour « faire de la place » pour un autre groupe).

🏆 Le Verdict de l'Étude

Après avoir testé tout cela sur des milliers de cas réels, voici ce qu'ils ont découvert :

1. Les robots classiques sont imparfaits : Sans aide, ils sont souvent injustes.
2. Le compromis est inévitable : On ne peut pas toujours avoir 100% de justice ET 100% de précision parfaite en même temps. C'est comme conduire une voiture : on ne peut pas rouler à 200 km/h ET s'arrêter à chaque piéton sans ralentir.
3. Le grand gagnant : Une méthode appelée AdaFair (qui appartient à la catégorie « Entraînement avec Règles ») s'est révélée être la championne. Elle a réussi à garder le robot très performant (il prédit bien les remboursements) tout en réduisant considérablement les discriminations. C'est le meilleur équilibre trouvé.

💡 En Résumé

Cette étude nous dit que l'intelligence artificielle dans les banques n'est pas encore parfaite, mais elle peut être améliorée.

C'est comme si on disait : « Ne jetez pas le robot, il est très rapide et utile. Mais il faut lui donner un manuel de morale et le réentraîner pour qu'il ne se trompe pas sur qui mérite un prêt. »

Les auteurs concluent que pour l'avenir, il faudra continuer à chercher des moyens de rendre ces robots non seulement justes, mais aussi capables d'expliquer pourquoi ils ont pris telle ou telle décision, afin que nous, humains, puissions leur faire confiance.

Résumé technique

Voici un résumé technique détaillé de l'article « An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems » en français.

1. Problématique

La digitalisation du scoring de crédit est devenue essentielle pour les institutions financières, permettant d'automatiser l'évaluation de la solvabilité des clients grâce aux techniques d'apprentissage automatique (Machine Learning - ML). Cependant, ces modèles présentent un risque majeur : ils peuvent perpétuer ou amplifier des biais discriminatoires basés sur des attributs protégés (tels que le genre ou la race), conduisant à des décisions injustes.

Bien que de nombreux modèles « équitables » (fairness-aware) et mesures d'équité aient été proposés dans la littérature, leur performance réelle et leur compromis entre précision prédictive et équité dans le contexte spécifique du scoring de crédit n'ont pas été suffisamment explorés de manière exhaustive. Il existe un manque d'études comparatives systématiques sur divers jeux de données réels et sur l'ensemble des approches de correction de biais.

2. Méthodologie

Les auteurs ont mené une étude expérimentale comparative structurée autour de trois axes principaux :

A. Analyse des Données (Datasets)

L'étude utilise 5 jeux de données publics largement reconnus dans le domaine du crédit :

1. Credit Approval (Australian)
2. Credit Card Clients (Taiwan)
3. Credit Scoring (FinTech Asie Centrale)
4. German Credit (UCI)
5. PAKDD 2009 Credit Risk Assessment

Avant l'entraînement des modèles, une analyse fondamentale a été réalisée à l'aide de réseaux bayésiens (Bayesian Networks). Cette étape visait à identifier les relations directes ou indirectes entre les attributs protégés (principalement le Sexe, utilisé comme attribut protégé par défaut) et la classe cible (bon/mauvais crédit), confirmant ainsi la présence de biais intrinsèques dans les données.

B. Modèles d'Apprentissage

L'évaluation compare quatre modèles traditionnels (Arbre de décision, Naive Bayes, Perceptron Multicouche, k-NN) contre 6 modèles équitables répartis en trois catégories de traitement du biais :

• Pré-traitement (Pre-processing) : Modification des données avant l'entraînement.
  • Learning Fair Representations (LFR)
  • Disparate Impact Remover (DIR)
• Traitement pendant l'entraînement (In-processing) : Intégration de contraintes d'équité dans la fonction objectif.
  • Méthode d'Agarwal (réduction à des problèmes de classification coûteuse)
  • AdaFair (extension de AdaBoost intégrant l'équité cumulative)
• Post-traitement (Post-processing) : Ajustement des prédictions après l'entraînement.
  • Equalized Odds Post-processing (EOP)
  • Calibrated Equalized Odds Post-processing (CEP)

C. Mesures d'Évaluation

L'étude évalue les modèles selon deux dimensions :

1. Performance Prédictive : Précision (Accuracy) et Précision Équilibrée (Balanced Accuracy - BA), cruciale pour les données déséquilibrées.
2. Équité (Fairness) : Huit mesures de biais sont calculées, incluant la Parité Statistique (SP), l'Égalité des Chances (EO), les Odds Égaux (EOd), la Parité Prédictive (PP), l'Égalité Prédictive (PE), l'Égalité de Traitement (TE) et l'ABROCA (aire entre les courbes ROC des groupes).

3. Contributions Clés

• Vue d'ensemble exhaustive : Fourniture d'une analyse comparative complète des modèles équitables (pré, pendant, post-traitement) sur le problème de scoring de crédit.
• Analyse de données par Réseaux Bayésiens : Utilisation de réseaux bayésiens pour visualiser et quantifier les biais structurels dans les jeux de données financiers réels avant même l'application des modèles.
• Évaluation multi-dimensionnelle : Comparaison rigoureuse sur 5 jeux de données différents avec 8 métriques d'équité distinctes, dépassant les études précédentes souvent limitées à 2 ou 3 métriques.
• Identification de modèles performants : Mise en évidence de modèles spécifiques (notamment AdaFair et LFR) qui offrent le meilleur compromis.

4. Résultats Expérimentaux

Les résultats révèlent plusieurs tendances importantes :

• Compromis Précision/Équité : Les modèles équitables parviennent généralement à un meilleur équilibre entre précision et équité que les modèles traditionnels, bien que cela dépende du jeu de données.
• Performance de l'approche In-processing : La méthode AdaFair se distingue comme le modèle le plus robuste. Elle obtient systématiquement les meilleures performances en termes de précision (Accuracy) et de précision équilibrée (BA) tout en maintenant des niveaux d'équité élevés sur l'ensemble des 5 jeux de données.
• Limites du Pré-traitement : Les approches de pré-traitement (LFR, DIR) excellent souvent sur les métriques d'équité (parfois atteignant des scores parfaits de 0 pour le biais), mais au prix d'une baisse significative de la précision prédictive. Par exemple, LFR-MLP atteint une équité parfaite sur plusieurs métriques mais avec une précision équilibrée très faible (autour de 0.5).
• Limites du Post-traitement : Les méthodes post-traitement (EOP, CEP) sont efficaces pour corriger les biais mais ne peuvent pas calculer certaines métriques comme l'ABROCA (qui nécessite des probabilités sur plusieurs seuils) et montrent parfois des performances inférieures aux méthodes in-processing.
• Biais des données : L'analyse par réseaux bayésiens confirme que des attributs protégés comme le sexe sont corrélés indirectement ou directement avec la classe cible dans tous les jeux de données, justifiant la nécessité de modèles équitables.

5. Signification et Perspectives

Cette étude démontre que l'intégration de l'équité dans le scoring de crédit n'est pas seulement une contrainte éthique, mais peut être réalisée sans sacrifier drastiquement la performance commerciale, à condition de choisir la bonne approche.

• Recommandation pratique : Pour les institutions financières, l'approche In-processing (AdaFair) semble être le choix optimal pour déployer des systèmes de scoring à la fois précis et équitables.
• Limites identifiées :
  • L'étude se concentre sur un seul attribut protégé à la fois (le sexe) et n'aborde pas l'intersectionnalité (genre + race, etc.).
  • Les données utilisées, bien que publiques, peuvent ne pas refléter tous les biais complexes du monde réel.
  • L'explicabilité des modèles (pourquoi un biais existe-t-il ?) n'est pas approfondie.
• Travaux futurs : Les auteurs prévoient d'étendre l'évaluation aux attributs multiples, de développer des modèles de génération de données synthétiques équitables pour la finance, et de créer des algorithmes de classification à la fois équitables et explicables pour comprendre les sources racines des biais.

En conclusion, cet article fournit une référence empirique solide pour la mise en œuvre de l'apprentissage automatique équitable dans le secteur bancaire, validant l'efficacité des méthodes modernes comme AdaFair pour concilier rentabilité et justice sociale.