A Counterfactual Diagnostic Framework for Explaining KS Deterioration in Credit Risk Model Validation

Cet article propose un cadre diagnostique contrefactuel structuré pour expliquer les dégradations de la statistique KS dans la validation des modèles de risque de crédit, en attribuant systématiquement les baisses de performance à des causes spécifiques telles que la variabilité d'échantillonnage, les changements de composition du portefeuille ou le dérive des modèles, afin de remplacer les approches ad hoc par une analyse plus transparente et défendable.

L'essentiel

🕵️‍♂️ Le Détective du Crédit : Pourquoi le "Score de Confiance" a-t-il baissé ?

Imaginez que vous êtes le gardien d'un grand château (une banque). Votre travail est de décider qui peut entrer dans le château (obtenir un prêt) et qui doit rester dehors. Pour vous aider, vous avez un système de sécurité (le modèle de risque) qui attribue un "score de confiance" à chaque visiteur.

Ce système est évalué par un indicateur clé appelé KS (Kolmogorov-Smirnov).

• Un bon KS, c'est comme un détective très perspicace qui arrive facilement à distinguer les honnêtes gens (ceux qui remboursent) des voleurs (ceux qui ne remboursent pas).
• Un KS qui chute, c'est comme si le détective commençait à confondre les honnêtes gens avec les voleurs. C'est une alarme rouge !

Habituellement, quand l'alarme sonne, les experts se précipitent pour dire : "Le détective est devenu stupide ! Il faut le remplacer !" Mais souvent, ce n'est pas le détective qui a changé... c'est le monde autour de lui.

C'est là que l'auteur, Yiqing Wang, propose une méthode d'enquête en 4 étapes pour ne pas se tromper de coupable.

---

🚦 Les 4 Étapes de l'Enquête (Le Cadre de Diagnostic)

Au lieu de paniquer, on suit un chemin logique, comme un jeu de "si... alors..." :

Étape 1 : Est-ce une vraie baisse ou juste une coïncidence ? 🎲

Parfois, la baisse du score n'est qu'une mauvaise passe due au hasard (comme tirer 10 fois de suite sur un dé et ne pas avoir de 6).

• L'analogie : Si vous lancez une pièce 10 fois et qu'elle tombe sur "Face" 8 fois, est-ce que la pièce est truquée ? Pas forcément.
• L'action : On utilise des statistiques pour voir si la baisse est réelle ou juste du "bruit". Si c'est juste du bruit, on ne fait rien. Si c'est réel, on passe à l'étape suivante.

Étape 2 : Est-ce que le "public" a changé ? 🎭

Imaginez que votre détective était formé pour arrêter des voleurs de voitures dans un quartier résidentiel calme. Soudain, vous l'envoyez dans un quartier de fête foraine bruyant. Il va sembler moins efficace, non pas parce qu'il est mauvais, mais parce que le type de monde a changé.

• Le problème : La banque a peut-être commencé à prêter à de nouveaux types de clients (des jeunes, des entrepreneurs) ou a arrêté de prêter à d'autres.
• L'action : On "nettoie" les données pour comparer uniquement les mêmes types de clients.
  • Si la baisse s'explique par le fait qu'on a ajouté de nouveaux clients difficiles, ce n'est pas la faute du modèle, c'est une stratégie commerciale. On ajuste les règles, mais on ne jette pas le modèle.
  • Si la baisse persiste même après avoir comparé les mêmes clients, on passe à l'étape 3.

Étape 3 : Est-ce que les "visages" ont changé ? 👓

Même si le type de client est le même, ses caractéristiques peuvent avoir évolué.

• L'analogie : Votre détective a été formé à reconnaître des voleurs qui portent des manteaux rouges. Aujourd'hui, les voleurs portent tous des manteaux bleus. Le détective ne les voit plus, pas parce qu'il est aveugle, mais parce que les indices (les données) ont changé.
• L'action : On utilise une technique mathématique (le "reweighting") pour dire : "Imagine que les clients d'aujourd'hui avaient les mêmes caractéristiques que ceux d'hier."
  • Si le score remonte, c'est que le modèle fonctionne toujours bien, mais que la population a changé de "couleur".
  • Si le score reste bas, c'est le signal d'alarme final.

Étape 4 : Le détective est-il vraiment devenu stupide ? 🤖

Si après avoir éliminé le hasard, les nouveaux clients et les changements de caractéristiques, le score est toujours mauvais... alors c'est vrai.

• La conclusion : Le modèle lui-même est périmé. Les règles qu'il a apprises ne fonctionnent plus dans le monde actuel.
• L'action : Il faut réparer le détective (recalibrer le modèle) ou en construire un nouveau.

---

💡 Pourquoi est-ce si important ?

Sans cette méthode, les banques risquent deux erreurs coûteuses :

1. Réagir trop vite : Ils jettent un bon modèle juste parce que la clientèle a changé, perdant ainsi de l'argent et du temps.
2. Réagir trop tard : Ils pensent que tout va bien alors que le modèle est vraiment cassé, ce qui peut mener à des pertes financières massives.

En résumé : Ce papier propose une boîte à outils structurée pour ne pas confondre un "changement de décor" avec un "acteur qui a oublié son texte". C'est une méthode plus intelligente, plus transparente et plus juste pour gérer les risques financiers.

Résumé technique

1. Problématique

Dans le domaine de la gestion des risques de crédit, la statistique de Kolmogorov-Smirnov (KS) est l'indicateur principal utilisé pour surveiller la puissance discriminatoire des modèles de scoring. Une baisse significative de la statistique KS déclenche généralement des examens de gouvernance et des investigations de causes racines.

Cependant, le diagnostic actuel repose souvent sur une approche ad hoc et subjective, manquant d'un cadre analytique standardisé. Le problème central est que la détérioration observée de la KS peut résulter de phénomènes fondamentalement différents, chacun ayant des implications de gouvernance distinctes :

• Variabilité d'échantillonnage : Une fluctuation statistique sans signification réelle.
• Changement de composition du portefeuille : L'arrivée ou le départ de segments de produits/canaux, ou un changement dans leurs proportions relatives.
• Décalage des covariables (Covariate Shift) : Un changement dans la distribution des variables d'entrée (features) alors que la relation conditionnelle entre les entrées et la sortie reste stable.
• Détérioration intrinsèque du modèle : Une rupture réelle de la relation apprise entre les variables et le risque (dérive de concept).

L'absence de distinction claire entre ces facteurs conduit soit à une sous-réaction face à un échec réel du modèle, soit à une sur-réaction face à du bruit structurel.

2. Méthodologie : Un Cadre Diagnostique Séquentiel en Quatre Étapes

L'auteur propose un cadre diagnostique séquentiel et contrefactuel qui attribue la baisse de la KS à l'un des facteurs ci-dessus, étape par étape. Chaque étape agit comme un « portail » (gateway) avec des conditions quantitatives pour décider de passer à l'étape suivante.

Étape 1 : Confirmation Statistique de la Détérioration

• Objectif : Distinguer une détérioration réelle d'une variabilité d'échantillonnage.
• Méthode : Utilisation d'un rééchantillonnage par bootstrap stratifié sur les échantillons de référence et actuels pour construire un intervalle de confiance (ex: 95 %) sur le pourcentage de variation de la KS ($\%\Delta KS$).
• Critère de décision :
  • Si l'intervalle inclut 0 : Pas de détérioration statistiquement significative.
  • Si l'intervalle est entièrement en dessous du seuil de gouvernance ($\tau$) : Breach (violation) confirmé.
  • Si l'intervalle est significatif mais chevauche le seuil : Surveillance accrue requise.

Étape 2 : Décomposition des Changements de Régime (Composition du Portefeuille)

• Objectif : Isoler l'impact des changements structurels du portefeuille (nouveaux produits, produits sortants, changement de mix).
• Méthode : Décomposition de la variation de la KS en quatre composantes :
  1. Effet universel actuel : Segments présents uniquement dans la période actuelle.
  2. Effet universel de référence : Segments présents uniquement dans la période de référence.
  3. Effet de mix (au sein du support commun) : Changement des proportions relatives des segments communs.
  4. Écart de performance résiduel aligné : Ce qui reste après ajustement.
• Technique : Utilisation de pondération (reweighting) pour aligner la composition du portefeuille de référence sur celle de la période actuelle au sein des segments communs.
• Critère de décision : Si l'écart résiduel aligné n'est plus significatif, la détérioration est expliquée par la composition du portefeuille. Sinon, passage à l'étape 3.

Étape 3 : Détection du Décalage des Covariables (Covariate Shift)

• Objectif : Déterminer si la détérioration résiduelle provient d'un changement dans la distribution des variables d'entrée (features) plutôt que d'une défaillance du modèle.
• Méthode :
  • Construction d'un classificateur de domaine (domain classifier) pour distinguer les observations de référence de celles de la période actuelle.
  • Calcul des poids d'importance (importance weighting) basés sur le rapport de densité estimé pour rééquilibrer la distribution des covariables de référence vers celle de la période actuelle.
  • Recalcul de la KS de référence sous cette distribution alignée.
• Critère de décision : Si la KS de référence réajustée se rapproche de la KS actuelle observée, la détérioration est attribuée au décalage des covariables. Sinon, passage à l'étape 4.

Étape 4 : Détérioration Résiduelle Liée au Modèle

• Objectif : Identifier une dégradation intrinsèque du modèle (dérive de concept).
• Interprétation : Si un écart significatif subsiste après avoir éliminé les effets de composition et de covariables, cela indique que la relation apprise par le modèle n'est plus valide.
• Action : Révision du modèle, recalibration, ou développement d'un nouveau modèle.

3. Résultats Clés (Simulations)

Des expériences de simulation contrôlées ont été menées pour valider chaque étape du cadre :

• Validation de l'Étape 1 : Les simulations montrent que le cadre distingue correctement entre les fluctuations aléatoires (intervalle de confiance large incluant 0) et les violations matérielles, évitant ainsi des actions inutiles sur du bruit statistique.
• Validation de l'Étape 2 :
  • Dans les scénarios de « pur changement de mix » ou de « changement d'univers », le cadre attribue correctement la baisse de la KS aux changements structurels et s'arrête à l'étape 2, évitant une investigation inutile sur le modèle.
  • Dans les scénarios de « résiduel pur » (détérioration réelle du modèle), le cadre identifie un écart résiduel significatif et escalade correctement vers l'étape 3.
• Validation de l'Étape 3 :
  • Cas de décalage de covariables : Lorsque la population devient plus risquée sans changement de la relation modèle/risque, la pondération par importance rétablit la KS de référence, expliquant la baisse observée.
  • Cas de dégradation réelle du modèle : Lorsque la relation change, la pondération ne corrige pas la KS, confirmant la nécessité d'une intervention sur le modèle.

4. Contributions Principales

1. Décomposition Formelle de la KS : Introduction d'une décomposition mathématique rigoureuse qui sépare les effets de mix, les effets d'univers et les écarts de performance résiduels, comblant un vide dans la littérature existante.
2. Structure de Portail Séquentielle : Le cadre offre une logique de décision claire et reproductible qui s'aligne directement sur les exigences de gouvernance (notamment la directive SR 11-7 de la Réserve Fédérale américaine). Il transforme un diagnostic subjectif en un processus auditable.
3. Approche Contrefactuelle : Utilisation de techniques de pondération (bootstrap, rééchantillonnage, importance weighting) pour simuler des scénarios « ce qui se serait passé si » (ex: si le portefeuille actuel avait la composition de référence), permettant une attribution précise des causes.

5. Signification et Impact

Ce travail apporte une contribution majeure à la gestion des risques de modèle (Model Risk Management) :

• Praticité Réglementaire : Le cadre répond directement aux exigences de la directive SR 11-7 en fournissant une méthodologie structurée pour investiguer les baisses de performance, facilitant la documentation et la défense des décisions auprès des régulateurs.
• Efficacité Opérationnelle : Il permet aux équipes de validation de cibler leurs efforts : soit sur la gestion du portefeuille (stratégie commerciale), soit sur la réingénierie du modèle, évitant ainsi des développements de modèles coûteux et inutiles lorsque le problème est d'origine structurelle.
• Transparence : En quantifiant la part de chaque facteur dans la détérioration, le cadre rend le processus de validation plus transparent et défendable.

En conclusion, ce papier propose une solution robuste et systématique pour transformer les alertes de performance de modèles de crédit en diagnostics actionnables, réduisant le risque de réactions inappropriées face à la volatilité naturelle des données.