A Step Towards Inherently Interpretable Causal Machine Learning Models For Decision Support

Résumé technique : Un pas vers des modèles d'apprentissage automatique causal intrinsèquement interprétables pour l'aide à la décision

Énoncé du problème
La dépendance croissante de l'apprentissage automatique (ML) pour la prise de décision organisationnelle a mis en évidence une lacune critique : si les modèles sont efficaces pour la prédiction, ils manquent souvent de transparence et de compréhension causale. Les approches actuelles se divisent en deux catégories : les méthodes d'explicabilité post-hoc appliquées à des modèles complexes de type « boîte noire », et les modèles d'apprentissage automatique intrinsèquement interprétables (IIML). Cependant, ces deux paradigmes révèlent principalement comment les modèles exploitent les corrélations pour maximiser la performance prédictive, ce qui ne équivaut pas à une compréhension causale. Par conséquent, les modèles de ML standards peinent lors des évaluations de scénarios de type « et si » (interventions) car ils ne peuvent pas distinguer les corrélations spécieuses des relations causales authentiques. Cette limitation entrave leur utilité pour les tâches d'aide à la décision qui nécessitent de comprendre les effets de changements délibérés dans un système.

Méthodologie
Pour remédier à ces limitations, les auteurs proposent un cadre qui intègre les modèles structurels causaux (SCM) avec des modèles d'apprentissage automatique intrinsèquement interprétables (IIML) pour les données transversales. Le cadre est organisé en quatre composantes :

1. Données d'entrée et graphe causal : Le processus commence par un ensemble de données et un graphe causal représentant les relations causales entre les variables. Ce graphe peut être dérivé de l'expertise métier, d'algorithmes de découverte causale, ou d'une combinaison des deux. Le graphe sert de colonne vertébrale au raisonnement causal, encodant explicitement les hypothèses sur le processus de génération des données.
2. Approche de modélisation : Contrairement au ML standard, qui utilise généralement toutes les caractéristiques disponibles pour prédire une cible, l'approche proposée modélise chaque variable du graphe causal comme une fonction de ses parents directs (et d'un terme de bruit exogène). Cela est mis en œuvre à l'aide de techniques IIML, spécifiquement les modèles additifs généralisés (GAM) et la régression symbolique (SR), aux côtés de modèles traditionnels de type boîte noire (XGBoost, Forêt aléatoire, MLP) pour comparaison.
3. Exécution des tâches :
   • Prédiction : Pour les tâches de prédiction pure, le modèle effectue une sélection de caractéristiques causales, prédisant la cible en se basant uniquement sur les valeurs observées de ses parents causaux afin d'éviter l'accumulation d'erreurs.
   • Analyse de type « et si » : Pour les scénarios d'intervention (ex: $do(A=x)$), le cadre propage l'intervention à travers le graphe causal. L'effet du changement d'une variable est calculé en bloquant les chemins entrants vers cette variable et en mettant à jour les prédictions de ses enfants, respectant ainsi la structure causale du système.
4. Interprétation : Le cadre distingue quatre niveaux d'interprétabilité : (1) l'association post-hoc (ex: SHAP sur des modèles boîtes noires), (2) l'association intrinsèque (analyse directe de l'IIML sans structure causale), (3) la causalité post-hoc, et (4) l'interprétation causale intrinsèque. Le niveau le plus élevé offre une transparence concernant la structure du système, les relations causales et les formes fonctionnelles reliant les variables.

Contributions clés

• Cadre d'intégration : L'article propose un nouveau cadre combinant les SCM avec l'IIML (GAM et SR) pour soutenir la prise de décision nécessitant à la fois la prédiction et l'analyse causale.
• Questions de recherche : Il traite de la manière dont l'inférence causale peut être combinée à l'IIML (RQ1) et de la performance de ces modèles en prédiction versus l'analyse de type « et si » (RQ2).
• Évaluation empirique : L'étude évalue l'approche proposée par rapport à des modèles de ML non causaux (boîtes noires) via deux expériences :
  1. Un ensemble de données de production synthétique avec un processus de génération de données connu pour démontrer les niveaux d'interprétabilité et l'impact des corrélations spécieuses.
  2. Une évaluation de référence utilisant quatre jeux de données de Geffner et al. (2022) pour évaluer la performance à travers différentes structures causales.

Résultats

• Performance de prédiction : Dans les deux expériences, les modèles causaux IIML ont obtenu des performances prédictives compétitives sur les ensembles de test standards, égalant ou dépassant souvent les homologues boîtes noires. Les résultats suggèrent que pour les données tabulaires, une haute précision ne nécessite pas de sacrifier l'interprétabilité.
• Analyse de type « et si » : Les modèles causaux ont nettement surpassé les modèles de ML non causaux dans les scénarios d'intervention. Dans l'expérience synthétique, les modèles non causaux ont échoué à traiter l'intervention correctement car ils s'appuyaient sur des corrélations spécieuses (ex: attribuant l'importance au « personnel » qui était corrélé à la cible mais n'était pas lié causalement). En revanche, les modèles causaux ont correctement propagé l'intervention à travers le graphe, produisant des résultats robustes.
• Interprétabilité : L'approche causale IIML a fourni une transparence supérieure.
  • Régression symbolique : A réussi à récupérer des expressions mathématiques se rapprochant étroitement du véritable processus de génération de données lorsqu'elle est restreinte aux parents causaux.
  • GAM : A produit des graphiques de dépendance partielle plus simples et plus précis reflétant les véritables relations fonctionnelles, évitant les formes complexes et trompeuses des modèles non causaux qui tentaient de s'ajuster aux corrélations spécieuses.

Signification et affirmations
L'article affirme que l'intégration de la structure causale avec des modèles intrinsèquement interprétables offre une voie vers des « décisions informées, transparentes et fondées sur la causalité ». Les auteurs soutiennent que cette approche :

• Permet l'analyse de type « et si » : Elle permet aux modèles de dépasser le premier échelon de l'« Échelle de la causalité » (association) pour atteindre le deuxième échelon (intervention), ce qui est essentiel pour la prise de décision commerciale.
• Renforce la transparence : En modélisant explicitement les relations causales et les formes fonctionnelles, l'approche évite la nature de « boîte noire » des modèles complexes et le caractère potentiellement trompeur des explications post-hoc sur des données corrélationnelles.
• Réunit les domaines : Elle contribue à l'apprentissage automatique causal (CML) en incorporant l'IIML pour clarifier les formes fonctionnelles, et à la recherche sur l'interprétabilité en intégrant la connaissance causale dans la sélection des variables et la structure du modèle.

Limites et directions futures
Les auteurs notent modestement plusieurs limitations :

• L'étude repose sur des graphes causaux de vérité terrain ; elle ne teste pas empiriquement la robustesse du cadre lorsque les graphes sont mal spécifiés ou incorrectement inférés.
• L'évaluation se concentre sur les deux premiers échelons de l'Échelle de la causalité (voir et faire), et non sur le raisonnement contrefactuel (le troisième échelon).
• L'interprétabilité a été démontrée de manière conceptuelle ; aucune étude qualitative auprès d'utilisateurs n'a été menée pour évaluer comment les parties prenantes perçoivent ou font confiance à ces modèles.
• Le cadre est actuellement limité aux données transversales, les applications de séries temporelles étant laissées à de futures recherches.
• L'entraînement de multiples modèles (un par nœud) peut être coûteux en termes de calcul, particulièrement pour la régression symbolique (SR).