Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

Dans l'étude moderne du comportement humain, les chercheurs s'appuient de plus en plus sur de puissants programmes informatiques pour déceler des modèles dans de vastes quantités de données d'enquêtes. Ces modèles d'apprentissage automatique sont excellents pour repérer des connexions complexes que les statistiques traditionnelles pourraient manquer, comme la manière dont le revenu, l'âge et le lieu de résidence d'une personne peuvent se combiner pour influencer ses habitudes sociales. Cependant, ces modèles sont souvent opaques ; ils peuvent prédire un résultat avec une grande précision mais n'offrent aucune explication claire du pourquoi. Pour remédier à cela, les scientifiques utilisent un outil appelé SHAP, qui agit comme un projecteur, mettant en lumière les facteurs qu'un modèle a considérés comme les plus importants lors de la formulation d'une prédiction. Le problème est que ce projecteur confond souvent deux choses très différentes : une véritable relation de cause à effet et une simple coïncidence. Ce n'est pas parce que deux choses se produisent ensemble que l'une a causé l'autre. Par exemple, un modèle pourrait signaler « l'âge du conjoint » comme une raison clé de l'utilisation d'Internet par une personne, non pas parce que l'âge du conjoint modifie directement la fréquence à laquelle la personne va en ligne, mais simplement parce que les conjoints ont tendance à avoir des âges similaires, et que l'âge est lui-même un moteur puissant de l'utilisation de la technologie. Distinguer ces causes réelles des corrélations trompeuses est essentiel pour les spécialistes des sciences sociales qui cherchent à comprendre le comportement humain plutôt qu'à simplement le prédire.

Une nouvelle étude de Shidong Li, de l'Université du Nord de la Chine, s'attaque de front à cette confusion en appliant un cadre de diagnostic rigoureux à des données d'enquêtes sociales réelles. Le chercheur a analysé les réponses de l'Enquête Générale Sociale Chinoise de 2023, un ensemble de données massif représentant près de 4 800 personnes dans trente et une provinces. L'objectif était de tester dix-huit aspects différents de la vie sociale, allant de la fréquence des visites chez des amis à la confiance envers les inconnus et aux habitudes de consommation des médias. Au lieu d'accepter les explications standards fournies par un seul modèle informatique, l'étude a employé une approche « dual-SHAP ». Cette méthode compare deux manières différentes de calculer l'importance. La première méthode examine les données telles qu'elles existent naturellement, préservant tous les liens existants entre les variables. La seconde méthode brise artificiellement ces liens, demandant ce qui se passerait pour une prédiction si un facteur spécifique changeait alors que tout le reste demeurait indépendant. En comparant les résultats de ces deux méthodes, l'étude a pu mesurer un « score de crédibilité » pour chaque facteur. Un score élevé signifie que l'importance du facteur tient bon même lorsque les corrélations sont rompues, suggérant un lien causal direct. Un score faible indique que le facteur ne faisait probablement que profiter de l'influence d'une autre variable plus influente.

L'investigation a commencé par scanner les dix-huit comportements sociaux pour voir lesquels pouvaient être prédits de manière fiable par les données disponibles. Sur les vingt-deux comportements initialement considérés, dix-huit ont été jugés suffisamment prévisibles pour être analysés plus en détail, tandis que quatre, tels que la fréquence des activités de bénévolat, étaient trop erratiques pour être modélisés efficacement. Parmi les dix-hates restants, l'étude a testé cinq types différents d'algorithmes d'apprentissage automatique pour voir lequel performait le mieux pour chaque comportement spécifique. Les résultats ont remis en question une hypothèse courante dans le domaine : celle qu'un algorithme spécifique, connu sous le nom d'XGBoost, soit le champion universel pour toutes les tâches. Au contraire, l'étude a révélé qu'aucun modèle unique ne dominait l'ensemble du paysage. Un modèle appelé RandomForest était le meilleur performeur pour dix des dix-huit résultats, couvrant des domaines comme l'interaction sociale et l'usage des médias. Cependant, d'autres modèles, incluant la régression Ridge, LightGBM et GradientBoosting, se sont révélés supérieurs pour des résultats spécifiques comme la confiance sociale générale ou la lecture de journaux. Cette découverte suggère que le choix du modèle informatique n'est pas un détail technique mineur, mais une décision substantielle qui façonne fondamentalement les conclusions que les chercheurs tirent sur ce qui motive le comportement humain.

Une fois le meilleur modèle sélectionné pour chaque comportement, l'étude a réduit la liste des causes potentielles de trente-huit prédicteurs à vingt-neuf facteurs clés. Ce processus de sélection a utilisé l'outil SHAP lui-même pour filtrer les variables qui contribuaient très peu à l'image globale, comme le nombre de filles d'une personne ou des attitudes spécifiques envers les rôles de genre. Les vingt-neuf facteurs restants comprenaient des données démographiques comme l'âge et le revenu, ainsi que des attitudes envers la justice sociale et des capacités linguistiques. L'âge est apparu comme le prédicteur le plus dominant de manière transversale, suivi de près par le revenu personnel et les compétences linguistiques. Avec ces facteurs clés identifiés, les chercheurs ont appliqué le cadre dual-SHAP pour calculer la crédibilité de l'influence de chaque facteur. Ils ont constaté que le score de crédibilité moyen à travers toutes les relations était de 0,727, indiquant que si de nombreux facteurs ont une influence directe, une partie significative de l'importance attribuée par les modèles standards est gonflée par les corrélations.

L'étude a révélé un large spectre de fiabilité. Certains facteurs, tels que la perception de la justice sociale par une personne ou ses opinions politiques sur l'immigration, ont montré des scores de crédibilité élevés, signifiant que leur influence sur les résultats sociaux était robuste et probablement causale. En revanche, des facteurs comme l'âge du conjoint ou la durée d'un mariage ont souvent montré une crédibilité faible ou même négative lorsque leur connexion avec l'âge du répondant était rompue. Par exemple, lorsque l'étude a simulé un scénario où l'âge du conjoint était modifié indépendamment de l'âge du répondant, l'influence apparente de l'âge du conjoint sur l'utilisation d'Internet a disparu ou a même inversé sa direction. Cela a servi d'avertissement clair que le modèle original avait confondu une corrélation avec une cause. Les chercheurs ont établi un seuil pour aider à interpréter ces scores : ils ont suggéré qu'un score de 0,80 ou plus devrait être considéré comme un indicateur fort d'une relation principalement causale. En utilisant ce standard, environ quarante pour cent des paires facteur-comportement qualifiaient de principalement causales. Si le seuil était abaissé à un niveau plus indulgent de 0,50, près de quatre-vingt-treize pour cent des paires répondaient aux critères, mais les chercheurs ont soutenu que la norme plus stricte est nécessaire pour éviter d'être induit en erreur par des motifs fortuits.

Pour s'assurer que ces résultats n'étaient pas de simples artefacts statistiques, l'étude a effectué une vérification finale en simulant des changements dans le monde réel. Ils ont demandé ce qui se passerait pour le comportement prédit d'une personne si un facteur spécifique, comme le revenu ou l'âge, augmentait d'un montant standard. Les résultats étaient cohérents avec le bon sens et les sciences sociales établies. Par exemple, augmenter l'âge d'une personne dans la simulation a conduit à une diminution prédite de l'utilisation d'Internet, reflétant la fracture numérique bien connue où les adultes plus âgés utilisent moins fréquemment la technologie. De même, augmenter le revenu personnel a conduit à une augmentation prédite de la lecture de journaux, s'alignant sur l'idée qu'un statut socio-économique plus élevé est lié à la consommation de médias imprimés. Ces simulations ont confirmé que les modèles captaient des relations réelles et interprétables plutôt que du bruit aléatoire. De plus, lorsque les chercheurs ont testé le cadre sur différents sous-groupes, tels que les adultes plus jeunes versus les plus âgés ou les résidents urbains versus ruraux, les schémas globaux sont restés stables, bien que les scores de crédibilité spécifiques varient légèrement selon la population. Cela a démontré que, bien que la méthode soit robuste, la force d'un lien causal peut dépendre du groupe spécifique étudié.

En fin de compte, ce travail fournit un outil transparent et reproductible pour les spécialistes des sciences sociales afin de séparer le signal du bruit dans les explications de l'apprentissage automatique. Il ne prétend pas prouver la causalité au sens absolu, car des facteurs non mesurés pourraient encore être en jeu, mais il offre un moyen pratique de diagnostiquer quand une explication est susceptible d'être trompeuse. En comparant comment un modèle se comporte lorsqu'il voit les données telles qu'elles sont versus comment il se comporte lorsqu'il brise les liens naturels entre les variables, les chercheurs peuvent désormais identifier quels facteurs dirigent réellement les résultats sociaux et lesquels ne sont que des ombres projetées par d'autres variables. L'étude conclut que si l'apprentissage automatique est un puissant prisme pour observer le comportement humain, il nécessite ce type de calibrage minutieux pour garantir que les enseignements qu'il fournit ne sont pas seulement des prédictions précises, mais des explications dignes de confiance sur les raisons pour lesquelles les gens agissent de telle ou telle manière.