Machine Learning for Stress Testing: Uncertainty Decomposition in Causal Panel Prediction

Cet article propose un cadre d'inférence contrefactuelle pour les tests de résistance réglementaires qui décompose l'incertitude en séparant l'estimation statistique des hypothèses de confusion, offrant ainsi des bornes de prédiction robustes et interprétables pour les scénarios macroéconomiques extrêmes.

L'essentiel

Imaginez que vous êtes le capitaine d'un grand navire (une banque) et que vous devez prédire si votre cargaison (vos prêts) va couler si une tempête violente (une crise économique) arrive.

C'est exactement ce que font les tests de résistance (stress tests) : ils demandent : "Que se passerait-il si le chômage montait soudainement ?"

Le problème, c'est que les méthodes actuelles sont comme des prévisions météo basées uniquement sur les nuages passés. Elles disent : "Si le chômage monte, les pertes augmentent." Mais elles oublient une chose cruciale : la cause. Pourquoi le chômage monte-t-il ? Est-ce à cause d'une crise financière cachée ? D'une mauvaise politique ? Si vous ne comprenez pas la cause, votre prédiction est fragile.

Cette paper propose une nouvelle méthode, un peu comme un système de navigation à trois couches pour naviguer en toute sécurité dans l'incertitude.

Voici les quatre piliers de cette méthode, expliqués simplement :

1. La Carte des Possibles (Au lieu d'un seul point)

Habituellement, on donne une seule réponse : "En cas de crise, nous perdrons 10 milliards."
Cette nouvelle méthode dit : "Nous ne pouvons pas être sûrs à 100 %, mais nous savons que la perte se situe quelque part entre 8 et 12 milliards."

• L'analogie : Imaginez que vous lancez une flèche. Au lieu de viser un point précis sur la cible (ce qui est risqué si le vent change), vous dessinez un cercle autour du point. Ce cercle représente la zone où la vérité se cache vraiment, en tenant compte des facteurs invisibles (comme le vent ou les courants sous-marins).

2. Le Moteur à Répétition (Et ses limites)

Pour prédire le futur, on utilise souvent une machine qui répète le même calcul jour après jour (comme un domino qui tombe).

• Le problème : Si votre machine fait une petite erreur au début, cette erreur s'accumule. Au bout de 12 mois, la petite erreur est devenue une catastrophe.
• La solution de l'article : Ils ont créé une règle mathématique (une "inégalité") qui agit comme un thermomètre de fiabilité. Elle vous dit exactement : "Tu peux faire confiance à ta prédiction jusqu'à 6 mois. Après ça, l'erreur grandit trop vite, arrête-toi ou change de méthode." C'est comme un compteur de carburant qui vous dit quand il est dangereux de continuer.

3. Le Détecteur de "Faux Amis" (L'extrapolation)

Parfois, on demande à la machine de prédire une tempête bien pire que tout ce qu'elle a jamais vu (comme la crise du COVID).

• Le problème : La machine essaie de deviner, mais elle sort de sa zone de confort. C'est comme demander à un chien de nager dans l'océan alors qu'il ne connaît que la piscine.
• La solution : Le système utilise un détecteur de poids. Si la tempête prévue est trop différente de l'histoire, le système allume un voyant rouge et dit : "Attention ! Je ne peux pas garantir ma prédiction ici. Je vais plutôt vous dire : 'C'est une simulation de scénario, pas une certitude'." Cela évite de donner de faux espoirs ou de fausses certitudes.

4. La Décomposition de l'Incertitude (Les trois couches)

C'est le cœur de l'innovation. Au lieu de donner un seul chiffre flou, ils séparent l'incertitude en trois couches distinctes, comme un oignon :

1. Couche 1 (L'erreur de calcul) : "Notre machine n'est pas parfaite, elle a une marge d'erreur technique." (Comme une règle qui a des millimètres imprécis).
2. Couche 2 (L'extrapolation) : "Nous allons au-delà de ce que nous avons déjà vu, donc c'est risqué." (Comme marcher sur une glace fine).
3. Couche 3 (La cause cachée) : "Il y a peut-être des facteurs invisibles qui changent tout." (Comme un courant sous-marin que nous ne voyons pas).

Le résultat final ?
Au lieu de dire "Nous perdrons 10 milliards", le régulateur reçoit un rapport clair :

*"Nous estimons une perte de 10 milliards.

• Notre calcul technique a une marge de ±1 milliard.
• Le fait de prédire une crise inédite ajoute ±2 milliards d'incertitude.
• Si des facteurs cachés (comme une panique bancaire non vue) sont très forts, cela pourrait ajouter ±3 milliards de plus."*

En résumé

Cette méthode ne promet pas de prédire l'avenir avec certitude (ce qui est impossible). Elle promet l'honnêteté.

Elle remplace la vieille habitude de dire "Voici le chiffre, et si vous n'aimez pas, faites un petit test de sensibilité à la main" par une boîte à outils scientifique qui dit exactement :

1. Jusqu'où on peut aller en confiance.
2. Où commence le danger des facteurs cachés.
3. Quand il faut arrêter de prédire et dire "Je ne sais pas".

C'est comme passer d'une boussole qui pointe parfois n'importe où, à un GPS qui vous dit : "Voici la route, mais attention, il y a un brouillard ici, et voici exactement jusqu'où vous pouvez vous fier à ce GPS."

Résumé technique

Titre : Machine Learning pour les Tests de Résistance : Décomposition de l'Incertitude dans la Prédiction Causale de Panneaux

1. Le Problème

Les tests de résistance réglementaires (tels que le CCAR aux États-Unis) exigent de projeter les pertes de crédit sous des scénarios macroéconomiques hypothétiques. Actuellement, cette tâche est traitée comme un problème de prédiction : on ajuste des modèles sur des données historiques et on les extrapole sous stress.

Cependant, cela crée un écart fondamental entre la question causale posée (« quelles seraient les pertes si le chômage suivait ce chemin ? ») et la méthode prédictive utilisée.

• Endogénéité : Le chômage (ou d'autres variables macro) est endogène. Des facteurs non observés (conditions financières, réactions politiques) influencent simultanément le chômage et les pertes de crédit.
• Limites des méthodes actuelles : Ignorer cette confusion (confounding) produit des estimations ponctuelles sans garantie de robustesse. À l'inverse, les méthodes causales classiques (comme les contrôles synthétiques) supposent souvent l'exogénéité conditionnelle, ce qui est irréaliste dans un contexte macroéconomique où toutes les unités sont exposées au même choc.

L'objectif de l'article est de combler ce fossé en proposant un cadre qui sépare honnêtement ce qui peut être appris des données de ce qui nécessite des hypothèses sur la confusion.

2. Méthodologie

Les auteurs proposent un cadre d'inférence contrefactuelle pour les panneaux de données, basé sur l'identification par ensembles (partial identification) et l'apprentissage automatique. Le cadre se compose de quatre piliers principaux :

A. Identification des moyennes conditionnelles au chemin (Observationnelle)

• Sans supposer l'exogénéité, le modèle identifie la moyenne conditionnelle observée $\mu^{obs}_h$ via une régression itérée (g-computation).
• Cela permet de comparer des chemins macroéconomiques continus (et non binaires) sans groupe de contrôle, en utilisant uniquement les données pré-période.

B. Identification par ensembles causaux (Sous confusion bornée)

• Au lieu d'éliminer la confusion, le modèle la borne. On suppose que l'écart entre l'estimateur causal $\tau^{do}$ et l'estimateur observé $\tau^{obs}$ est borné par un paramètre de sensibilité $c_h$.
• Cela génère un ensemble identifié (un intervalle) plutôt qu'un point unique : $\tau^{do}_h \in [\tau^{obs}_h - 2c_h, \tau^{obs}_h + 2c_h]$.
• La valeur de rupture (breakdown value) $c^*_h$ est calculée pour indiquer la force de confusion nécessaire pour annuler le résultat, offrant une métrique unique de robustesse.

C. Inégalité Oracle et bornes d'erreur non asymptotiques

• Pour les prédictions à long terme (recul itératif ou recursive rollout), les erreurs d'estimation s'accumulent.
• Les auteurs prouvent une inégalité oracle montrant que l'erreur est contrôlée par un facteur d'amplification $\Gamma_h$ dépendant de l'horizon et du taux d'amplification $\rho$ du système dynamique sous-jacent.
• Cela répond concrètement à la question : « Jusqu'où peut-on prédire de manière fiable sous stress ? » Si $\rho > 1$ (système expansif), l'erreur croît exponentiellement, suggérant de passer à un estimateur direct multi-horizon au-delà d'un certain seuil.

D. Bandes de calibration conformes pondérées

• Pour quantifier l'incertitude d'estimation sous des chemins de stress extrêmes (hors support des données historiques), le modèle utilise une calibration conforme pondérée par l'importance.
• Des diagnostics (comme le coût d'extrapolation $R_{weight}$ et la taille d'échantillon effective $B_{eff}$) déclenchent un mécanisme d'abstention si la garantie de couverture se dégrade trop, signalant que la prédiction n'est plus fiable.

Résultat Final : Décomposition de l'incertitude en trois couches
Le résultat final est une décomposition transparente de l'incertitude totale :
$$\tau^{do}_h \in [\hat{\tau}^{obs}_h \pm \Delta^{est}_h \pm \Delta^{conf}_h]$$
Où $\Delta^{est}_h$ est l'incertitude d'estimation (bande de calibration) et $\Delta^{conf}_h$ est l'incertitude de confusion (enveloppe de sensibilité).

3. Contributions Clés

1. Identification par ensembles pour des chemins macro continus : Adaptation de la théorie de l'identification partielle aux contrastes de politiques dans les panneaux, fournissant un ensemble identifié net et une valeur de rupture interprétable.
2. Inégalité Oracle avec dépendance à l'horizon : Preuve théorique que l'erreur de récursion est gouvernée par un facteur d'amplification, offrant une réponse quantitative sur la fiabilité des prévisions à long terme.
3. Calibration conforme pondérée : Adaptation de la prédiction conforme aux tests de résistance, avec des diagnostics pour quantifier le coût de l'extrapolation et éviter les faux positifs de confiance.
4. Validation empirique rigoureuse : Validation complète via des simulations et des expériences semi-synthétiques utilisant de vraies données de chômage (FRED), incluant une rétrospective sur la crise du COVID-19.

4. Résultats Expérimentaux

Les auteurs ont validé le cadre sur deux niveaux :

• Niveau 1 (Simulation) :
  • L'inégalité oracle tient dans trois régimes (contractant, critique, expansif).
  • La biais d'état moyen (Jensen gap) est négligeable pour les modèles linéaires mais croît pour les non-linéaires, confirmant la théorie.
  • Les bandes de calibration fonctionnent comme prévu : la couverture diminue lorsque le chemin de stress s'éloigne de l'histoire, mais les diagnostics ($B_{eff}$) signalent correctement cette dégradation.
  • L'identification par ensembles capture correctement la vérité causale à l'intérieur de l'intervalle, même avec une confusion forte.
• Niveau 2 (Données réelles - FRED) :
  • Utilisation de données de chômage réelles (2000-2023) et de scénarios CCAR 2024.
  • Rétrospective COVID : Le modèle a correctement détecté que l'erreur de prédiction était anormalement élevée (3 à 4 fois supérieure) pendant la période COVID, déclenchant le mécanisme d'abstention. Cela démontre que le cadre ne prétend pas prédire des événements « Cygnes Noirs » mais signale honnêtement l'absence de garanties de couverture.
  • Les bandes de calibration calibrées sur des événements historiques extrêmes (2008, 2020) sont conservatrices mais fiables.

5. Signification et Impact

Ce travail représente une avancée majeure pour la gestion des risques et la régulation financière :

• Transparence : Il remplace la pratique actuelle (« estimation ponctuelle + vérification de sensibilité ad hoc ») par une décomposition formelle où chaque source d'incertitude a une garantie mathématique.
• Communication : La valeur de rupture ($c^*_h$) offre un langage commun pour communiquer avec les gestionnaires de risques : « La conclusion tient sauf si la confusion non observée dépasse un seuil spécifique ».
• Généralité : Bien que motivé par le stress testing bancaire, le cadre s'applique à tout problème de données de panneaux avec une variable de traitement continue et une confusion potentielle (évaluation de politiques macroéconomiques, épidémiologie, etc.).
• Pragmatisme : Le cadre ne prétend pas éliminer l'incertitude, mais la rendre visible, interprétable et quantifiable, permettant aux régulateurs de prendre des décisions éclairées sur la fiabilité des projections sous stress.