From Model Explanation to Data Misinterpretation: A Cautionary Analysis of Post Hoc Explainers in Business Research

Cette étude met en garde contre l'utilisation des explicateurs post hoc comme SHAP et LIME pour valider des hypothèses en recherche commerciale, démontrant que leur interprétation comme preuves de relations sous-jacentes dans les données est souvent erronée en raison de l'alignement imparfait et de l'effet Rashomon, et propose plutôt de les utiliser comme outils exploratoires.

L'essentiel

🕵️‍♂️ Le Mythe du Détective Infaillible : Pourquoi les "Explications" des IA peuvent nous tromper

Imaginez que vous êtes un chef d'entreprise. Vous avez un robot super intelligent (un modèle d'Intelligence Artificielle) qui prédit avec une précision incroyable si un client va acheter un produit ou non. Le robot fonctionne comme une boîte noire : il vous donne le résultat, mais vous ne savez pas comment il a pris sa décision.

Pour comprendre le robot, vous engagez un détective (c'est ce qu'on appelle un "explicateur" comme SHAP ou LIME). Ce détective regarde le robot et vous dit : "Ah, c'est parce que le client a regardé la page 'Prix' que le robot a prédit un achat !"

C'est là que le problème commence.

1. Le Piège : Confondre le Robot avec la Réalité

Dans la recherche en affaires, beaucoup de gens font une erreur fatale. Ils pensent que ce que le détective dit sur le robot est une vérité absolue sur le monde réel.

• La réalité : Le détective explique comment le robot a pensé.
• L'erreur : Les chercheurs disent : "Puisque le robot a pensé que le 'Prix' était important, c'est que les humains aiment vraiment le 'Prix'."

C'est comme si un traducteur vous disait : "Dans cette phrase en chinois, le mot 'dragon' est important." Vous pourriez conclure à tort que le texte parle de dragons, alors que le traducteur a juste bien fait son travail de traduction, mais le texte original parlait peut-être de politique !

Les auteurs de cette étude ont analysé 181 articles scientifiques et ont découvert que 42 % d'entre eux font cette erreur : ils utilisent les explications du robot pour tirer des conclusions sur la réalité des données, comme si c'était une preuve irréfutable.

2. L'Expérience : Le Test de la Vérité

Pour vérifier si ces détectives sont fiables, les chercheurs ont créé un laboratoire virtuel.
Ils ont inventé une "vérité cachée" (par exemple : "Seulement l'âge et le revenu déterminent l'achat"). Ensuite, ils ont laissé des robots apprendre sur ces données et ont demandé aux détectives (SHAP et LIME) d'expliquer les robots.

Le résultat est surprenant :

• Les robots sont excellents pour prédire (ils ont 90 % de réussite).
• Mais les détectives sont souvent confus sur la cause réelle.
• Parfois, le détective dit : "C'est la couleur du bouton qui compte !", alors que dans la réalité, c'est faux.

Même si le robot est très performant, le détective peut se tromper sur la direction (est-ce que ça augmente ou diminue le résultat ?) ou sur l'importance relative (est-ce que c'est le facteur n°1 ou n°10 ?).

3. La Cause du Problème : L'Effet Rashomon

Pourquoi cela arrive-t-il ? Les chercheurs utilisent une métaphore magnifique : L'Effet Rashomon.

Imaginez un crime. Vous avez 10 témoins (10 modèles d'IA différents).

• Tous les 10 disent : "Le voleur a fui à 18h00" (ils sont tous d'accord sur le résultat final, ils sont tous "prédictifs").
• Mais quand vous leur demandez comment le voleur est parti :
  • Le témoin 1 dit : "Il a pris un taxi."
  • Le témoin 2 dit : "Il a couru dans une ruelle."
  • Le témoin 3 dit : "Il a volé un vélo."

Tous les témoignages sont cohérents avec le fait que le voleur est parti à 18h00, mais ils racontent des histoires totalement différentes sur le moyen utilisé.

En intelligence artificielle, c'est pareil. Il existe souvent des milliers de modèles différents qui donnent tous le même résultat parfait, mais qui utilisent des logiques internes totalement opposées. Si vous ne regardez qu'un seul modèle (et son détective), vous ne voyez qu'une seule version de l'histoire, qui peut être fausse par rapport à la réalité.

4. Le Facteur Confusant : Les Liens Cachés

Un autre coupable est la corrélation.
Imaginez que vous vendez des parapluies.

• Il pleut souvent.
• Le sol est mouillé.
• Les gens portent des imperméables.

Ces trois choses sont liées. Un modèle peut dire : "C'est le sol mouillé qui vend les parapluies !", tandis qu'un autre dira : "Non, c'est l'imperméable !". Les deux ont raison pour prédire la vente, mais aucun n'a raison sur la cause réelle (c'est la pluie). Plus les données sont complexes et liées entre elles, plus les détectives ont de mal à trouver la vraie cause.

5. La Solution : Comment faire confiance ?

Alors, faut-il jeter ces outils ? Non, mais il faut changer d'attitude.

Les auteurs proposent une règle d'or : La règle de l'accord.

Avant de croire un détective, demandez-vous : "Si je fais travailler 10 autres robots aussi intelligents que le premier, vont-ils tous dire la même chose ?"

• Si tous les détectives disent la même chose (ex: "L'âge est le facteur n°1"), alors vous pouvez avoir confiance. C'est un signe que la vérité est claire.
• Si les détectives se disputent (l'un dit "L'âge", l'autre "Le revenu"), c'est un signal d'alarme rouge ! Cela signifie que la réalité est floue et que vous ne devez pas utiliser ces explications pour prendre des décisions stratégiques ou valider une théorie.

🎯 Conclusion en une phrase

Les outils d'explication (SHAP, LIME) sont excellents pour générer des idées (hypotheses) sur ce qui pourrait être important, mais ils sont dangereux pour prouver ce qui est vrai.

Ne les utilisez pas comme un juge qui rend un verdict final, mais comme un explorateur qui vous dit : "Regardez, il y a quelque chose d'intéressant ici, vérifions-le avec des méthodes plus rigoureuses !".

Résumé technique

1. Problématique et Contexte

L'essor du Machine Learning (ML) dans la recherche en gestion a conduit à l'utilisation massive de modèles prédictifs complexes (boîtes noires). Pour pallier leur opacité, les chercheurs utilisent des explicateurs post hoc tels que SHAP (Shapley Additive exPlanations) et LIME (Local Interpretable Model-Agnostic Explanations).

Le problème central identifié :
Bien que ces outils soient conçus pour expliquer le comportement d'un modèle prédictif spécifique (la relation $X \to \hat{Y}$), une tendance croissante dans la littérature en sciences de gestion consiste à interpréter ces explications comme des preuves directes des relations sous-jacentes dans les données réelles (la relation $X \to Y$, ou processus générateur de données - DGP).
Les chercheurs généralisent abusivement les attributions de caractéristiques (features) du modèle vers des inférences causales ou structurelles sur les données. L'article questionne la validité de cette pratique : les explications d'un modèle apprenant peuvent-elles refléter fidèlement la vérité terrain des données ?

2. Méthodologie

Les auteurs adoptent une approche rigoureuse combinant revue de littérature et expérimentation contrôlée :

• Revue Systématique : Analyse de 181 études (dont 56 dans des journaux de premier plan) utilisant SHAP ou LIME. Le but était de quantifier la prévalence de l'interprétation des explications comme des preuves de relations au niveau des données.
• Expérimentation par Simulation :
  • Génération de 81 jeux de données synthétiques avec des processus générateurs de données (DGP) connus et contrôlés ($X \to Y$).
  • Variation systématique de facteurs : nombre de caractéristiques, force de corrélation, termes non linéaires, et termes d'interaction.
  • Entraînement de modèles prédictifs (XGBoost, Random Forest, etc.) sur ces données.
  • Application de SHAP et LIME pour générer des explications.
• Métriques d'Évaluation :
  • Alignement de Direction (Direction Alignment) : Mesure si le signe de l'impact d'une caractéristique (augmentation/diminution) suggéré par l'explicateur correspond au signe réel de l'impact sur la variable cible dans les données.
  • Alignement de Force (Strength Alignment) : Mesure si le classement de l'importance relative des caractéristiques par l'explicateur correspond au classement réel dans le DGP (corrélation de rang de Spearman).
• Analyse de l'Effet Rashomon : Étude de la multiplicité des modèles (ensemble de Rashomon) : des modèles ayant des performances prédictives quasi identiques mais des structures internes et des attributions de caractéristiques très différentes.

3. Contributions Clés

1. Identification d'une Mauvaise Pratique : Mise en évidence du fait que 42,5 % des études examinées interprètent incorrectement les explications post hoc comme des inférences sur les données réelles, une pratique encore plus répandue dans les journaux non leaders que dans les journaux de premier plan.
2. Définition de Métriques de Validité : Introduction formelle des concepts d'alignement de direction et de force pour évaluer la fidélité des explicateurs par rapport au DGP, et non seulement par rapport au modèle.
3. Rôle de l'Effet Rashomon : Démonstration que la haute précision prédictive est une condition nécessaire mais insuffisante pour garantir un alignement correct. L'existence d'un grand ensemble de Rashomon (plusieurs modèles équivalents en précision mais divergents en logique interne) est un moteur fondamental de la désalignement.
4. Diagnostic de Fiabilité : Proposition d'une nouvelle méthode de diagnostic basée sur l'accord de Rashomon (Rashomon agreement). L'accord entre les explications de plusieurs modèles équivalents est un indicateur puissant de la fiabilité de l'explication.

4. Résultats Principaux

• Performance Moyenne vs. Fiabilité Individuelle :
  • En moyenne, SHAP et LIME semblent bien alignés avec le DGP.
  • Cependant, les distributions présentent des queues longues à gauche (long left tails). Cela signifie que pour un sous-ensemble non négligeable de paires (jeu de données, modèle), les explications sont fortement désalignées, même lorsque la précision du modèle est élevée.
  • SHAP surpasse généralement LIME, mais tous deux échouent dans des cas critiques.
• Facteurs de Désalignement :
  • Corrélation des caractéristiques : C'est le facteur dominant. Lorsque les variables sont fortement corrélées, les modèles peuvent utiliser des substituts différents pour obtenir la même précision, entraînant des attributions contradictoires.
  • Complexité des données : Les non-linéarités et les interactions augmentent l'ambiguïté du processus générateur, rendant l'identification unique du DGP impossible.
  • Précision du modèle : Une faible précision garantit un désalignement, mais une haute précision ne garantit pas un alignement.
• Le Diagnostic par Accord de Rashomon :
  • Il existe une forte corrélation positive entre l'accord d'explication (concordance des rangs d'importance entre plusieurs modèles équivalents) et l'alignement avec la vérité terrain.
  • L'accord basé sur les prédictions est un indicateur beaucoup moins fiable que l'accord basé sur les explications.
  • Si des modèles équivalents en précision donnent des explications radicalement différentes, l'inférence sur les données est hautement risquée.

5. Signification et Implications

• Changement de Paradigme pour la Recherche : L'article met en garde contre l'utilisation des explicateurs post hoc pour valider des hypothèses ou établir des relations causales directes dans les données.
• Nouveau Rôle des Explicateurs : Ils doivent être repositionnés comme des outils d'exploration (générateurs d'hypothèses) plutôt que comme des outils de confirmation. Ils peuvent suggérer des variables d'intérêt ou des mécanismes candidats, mais ces hypothèses doivent être validées par des méthodes d'identification rigoureuses (régression, inférence causale, expériences).
• Recommandation Pratique : Les chercheurs doivent calculer l'accord de Rashomon. Si l'accord entre les explications de modèles équivalents est faible, les conclusions tirées de l'explication d'un seul modèle doivent être considérées avec une extrême prudence, car elles ne reflètent probablement pas la structure sous-jacente des données.

Conclusion : La fiabilité d'une explication post hoc n'est pas une propriété intrinsèque du modèle ou de l'outil d'explication, mais une propriété du jeu de données et de l'ambiguïté inhérente au problème d'apprentissage. Ignorer l'effet Rashomon conduit à une interprétation erronée des données et à des conclusions de recherche potentiellement fausses.