💻 computer science

Can Causality Cure Confusion Caused By Correlation (in Software Analytics)?

Cette étude examine si l'intégration de critères de division causaux dans les modèles symboliques peut améliorer leur stabilité et leur robustesse par rapport aux méthodes purement corrélationnelles, tout en évaluant l'impact sur les performances prédictives et en comparant ces résultats aux jugements d'experts humains.

Auteurs originaux : Amirali Rayegan, Tim Menzies

Publié 2026-02-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amirali Rayegan, Tim Menzies

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Titre : "La Causalité peut-elle guérir la confusion causée par les corrélations ?"

Imaginez que vous êtes un chef cuisinier (le logiciel) et que vous essayez de créer le plat parfait (l'optimisation). Vous avez une liste d'ingrédients (les données) et vous voulez savoir : quel ingrédient rend vraiment le plat meilleur ?

C'est là que le problème commence.

1. Le Problème : La Corrélation est un menteur

Actuellement, la plupart des logiciels d'analyse utilisent des méthodes basées sur la corrélation. C'est comme si vous regardiez dehors et que vous disiez : "À chaque fois qu'il pleut, les gens ouvrent leurs parapluies. Donc, la pluie fait ouvrir les parapluies." C'est vrai, mais c'est une observation superficielle.

Le problème, c'est que ces logiciels font souvent des erreurs de logique :

La confusion : Ils pensent que A cause B, alors que c'est juste que A et B arrivent en même temps à cause de C.
- Analogie : Imaginez que vous remarquez que les gens qui mangent beaucoup de glace ont souvent mal au ventre. Un logiciel basé sur la corrélation pourrait conclure : "La glace cause des maux de ventre !"
- La réalité : C'est la chaleur (la variable cachée) qui cause à la fois la consommation de glace ET les maux de ventre.
L'instabilité (Le "Chaos") : Le papier montre que si vous changez un tout petit peu les données (comme changer une épingle dans un tas de sable), ces logiciels changent complètement leur histoire.
- Analogie : C'est comme un groupe d'amis qui regardent le même nuage. L'un dit "C'est un dragon", l'autre dit "C'est un bateau", et le troisième dit "C'est un chat". Si vous bougez le nuage d'un millimètre, ils changent tous d'avis. C'est très frustrant pour ceux qui doivent prendre des décisions !

2. L'Objectif : Introduire la "Causalité"

Les auteurs (Amirali et Tim) se demandent : "Et si on donnait aux logiciels une capacité à comprendre la cause réelle, et pas juste le lien apparent ?"

Ils veulent remplacer les règles de corrélation (qui disent "ça va ensemble") par des règles de causalité (qui disent "ça fait aller").

L'outil magique : Ils utilisent un filtre spécial (appelé "Backdoor Protection" ou protection par la porte dérobée).
- Analogie : Imaginez un détective qui enquête sur un crime. Au lieu de dire "Le suspect était là, donc c'est lui", le détective demande : "Y a-t-il un troisième facteur (comme la chaleur) qui explique pourquoi les deux sont là ?" Si oui, il élimine le suspect.
- Dans leur modèle, ils filtrent les "fausses pistes" (les confondants) pour ne garder que les vrais coupables (les causes réelles).

3. L'Expérience : Le Grand Test

Pour vérifier si leur idée fonctionne, ils ont fait un test massif avec plus de 120 jeux de données réels (des configurations de logiciels, des bases de données, des projets de développement, etc.).

Ils ont comparé trois groupes :

Les Humains : Des experts qui ont essayé de deviner quelles causes influencent quels résultats.
Les Logiciels Classiques (Corrélation) : Ceux qui disent "A va avec B".
Les Nouveaux Logiciels (Causalité) : Ceux qui disent "A cause B" et qui filtrent les fausses pistes.

Ce qu'ils ont mesuré :

La Stabilité : Si on refait le test 20 fois avec un tout petit peu de données différentes, est-ce que le logiciel donne la même réponse ?
- Analogie : Si vous demandez à un ami de vous donner une recette 20 fois, va-t-il vous donner la même recette à chaque fois, ou va-t-il changer les ingrédients au hasard ?
La Performance : Est-ce que le nouveau logiciel est aussi bon (ou meilleur) pour trouver la meilleure solution, ou est-ce qu'il devient lent et inefficace ?

4. Les Résultats Attendus (Hypothèses)

Le papier ne donne pas encore les chiffres finaux (c'est un projet en cours), mais voici ce qu'ils espèrent découvrir :

Pour la Stabilité : Ils pensent que les modèles basés sur la causalité seront plus stables. Comme ils ne se laissent pas piéger par les coïncidences, ils devraient donner des réponses plus cohérentes, même si les données changent un peu.
Pour la Performance : Ils veulent s'assurer que cette stabilité ne se fait pas au détriment de la qualité. Est-ce que le nouveau modèle est aussi intelligent que l'ancien pour trouver la meilleure solution ?
Pour les Humains : Ils veulent voir si les humains sont plus stables que les machines. Souvent, les humains sont bons pour comprendre le "pourquoi", mais peut-être qu'ils sont aussi sujets à l'instabilité !

🎯 En Résumé : Pourquoi c'est important ?

Aujourd'hui, dans le monde du logiciel, on utilise beaucoup d'outils "boîte noire" qui disent : "Faites ceci, cela marchera". Mais si ces outils changent d'avis pour un rien, on ne peut pas leur faire confiance.

Ce papier propose de construire des "arbres de décision" (des cartes de règles) qui sont :

Plus solides : Ils ne s'effondrent pas pour un petit changement de données.
Plus honnêtes : Ils essaient de trouver la vraie cause, pas juste une coïncidence.
Plus fiables : Les ingénieurs pourront enfin dire : "Je sais pourquoi ce logiciel fonctionne, et je sais que ce conseil restera valable demain."

C'est comme passer d'un guide touristique qui vous dit "Regardez, il y a un château ici !" (corrélation) à un architecte qui vous explique "Ce château est ici parce que les fondations sont solides et le terrain plat" (causalité). L'architecte vous donne une explication qui tient la route, même si le temps change.

1. Problématique

Le domaine de l'analyse logicielle (Software Analytics) repose largement sur des modèles symboliques, tels que les arbres de décision, pour des tâches critiques comme la prédiction de défauts, le réglage de configurations et l'évaluation de la qualité. Ces modèles sont privilégiés pour leur interprétabilité. Cependant, la majorité d'entre eux utilisent des critères de division corrélationnels (réduction de variance, gain d'information, impureté de Gini).

Le problème central identifié par les auteurs est le suivant :

Confusion entre corrélation et causalité : Les critères corrélationnels identifient des associations statistiques mais ne distinguent pas la causalité directe ( $X \to Y$ ), la rétro-causalité ( $Y \to X$ ) ou les effets de confusion ( $Z \to X$ et $Z \to Y$ ).
Instabilité des modèles : Des études récentes (notamment l'étude "Shaky Structures") montrent que les modèles basés sur la corrélation sont extrêmement instables. De légères perturbations dans les données (échantillonnage, bruit) ou les paramètres entraînent des changements radicaux dans la structure des arbres, les sélections de fonctionnalités et les explications générées.
Limites des algorithmes de découverte causale : Bien que les algorithmes de découverte causale tentent de résoudre ce problème, ils souffrent également d'une instabilité prononcée due à la complexité NP-difficile de l'apprentissage de la structure, nécessitant des approximations heuristiques qui varient fortement selon les entrées.

Cette instabilité sape la confiance des praticiens, la reproductibilité et la fiabilité des explications dans les tâches réelles de génie logiciel.

2. Méthodologie

L'étude propose d'intégrer des critères de division conscients de la causalité dans les modèles symboliques pour évaluer si cela améliore la stabilité sans sacrifier la performance.

A. Données et Contexte

Répertoire MOOT : L'expérience utilise plus de 120 tâches d'optimisation multi-objectifs provenant du dépôt MOOT, couvrant divers domaines (configuration logicielle, cloud, santé, finance, modèles de processus).
Cadre de référence (Baseline) : Le modèle de base est EZR (Exploratory Zero-shot Reasoning), un système léger qui construit des arbres de décision basés sur la réduction de variance (corrélationnelle) pour l'optimisation.

B. Approche Causale Proposée

Pour rendre les arbres "conscients de la causalité", les auteurs implémentent deux mécanismes principaux :

Critère de division par Entropie Conditionnelle : Au lieu de maximiser le gain d'information pur, le modèle évalue la capacité d'une variable $X$ à réduire l'incertitude de la cible $Y$ via l'entropie conditionnelle $H(Y|X)$ . Le score causal est normalisé par l'entropie totale $H(Y)$ .
Filtrage des Confondants (Backdoor Protection) : Avant la construction de l'arbre, le système utilise l'information mutuelle conditionnelle pour détecter et éliminer les variables qui agissent comme des confondants (où l'association entre $X$ et $Y$ est entièrement expliquée par une troisième variable $Z$ ). Cela vise à supprimer les associations spuriées et à ne retenir que les relations potentielles de type $X \to Y$ .

C. Design de l'Étude et Questions de Recherche (RQ)

L'étude est structurée autour de trois questions de recherche, évaluées via un protocole de bootstrap-ensemble (20 itérations par jeu de données) :

RQ1 (Humain vs Automatique) : La stabilité des jugements humains sur les relations causales est-elle supérieure à celle des modèles corrélationnels automatisés ?
- Méthode : Enquête auprès d'experts du domaine (SME) sur un sous-ensemble de données, comparée à la variance des arbres EZR générés par bootstrap.
RQ2 (Stabilité du Modèle) : L'incorporation de critères causaux améliore-t-elle la stabilité des résultats d'optimisation par rapport aux critères corrélationnels ?
- Méthode : Comparaison de la variance des scores de performance (d2h - distance au paradis) entre les arbres causaux et corrélationnels.
RQ3 (Compromis Performance/Stabilité) : L'amélioration de la stabilité via la causalité entraîne-t-elle une pénalité de performance prédictive ou d'optimisation ?
- Méthode : Analyse des distributions de performance (d2h) pour vérifier si les gains de stabilité se font au détriment de la précision.

D. Métriques Statistiques

Stabilité : Variance des scores, Impureté de Gini (pour les jugements ordonnés), Tests de Kolmogorov-Smirnov (KS).
Performance : Score de victoire (Win-score) basé sur la distance euclidienne normalisée vers l'objectif idéal (d2h).
Taille d'effet : Delta de Cliff pour mesurer l'ampleur des différences.

3. Contributions Clés

Cadre d'évaluation de la stabilité : Proposition d'un protocole rigoureux (pré-enregistré) utilisant des ensembles bootstrap pour quantifier l'instabilité des modèles d'analyse logicielle, applicable aussi bien aux modèles automatisés qu'aux jugements humains.
Intégration de la causalité dans les arbres symboliques : Développement d'une méthode pratique pour intégrer le filtrage des confondants et l'entropie conditionnelle dans des arbres de décision destinés à l'optimisation multi-objectifs, sans recourir à des algorithmes de découverte de graphes complexes et instables.
Analyse comparative Humain-Machine : Première tentative systématique de comparer la stabilité des intuitions causales humaines avec celle des heuristiques corrélationnelles automatisées dans le contexte du génie logiciel.
Validation sur un large corpus : Utilisation du répertoire MOOT (plus de 120 tâches) pour garantir la généralisabilité des résultats au-delà de quelques jeux de données spécifiques.

4. Résultats Attendus et Signification

Note : L'article présenté est un "Registered Report" (rapport pré-enregistré), ce qui signifie qu'il décrit la méthodologie et le plan d'analyse avant la finalisation des résultats expérimentaux complets. Cependant, les hypothèses et la structure de l'analyse sont claires.

Hypothèse sur la stabilité (RQ1 & RQ2) : Les auteurs s'attendent à ce que les modèles basés sur la corrélation soient très instables (forte variance des arbres générés). L'hypothèse est que les modèles "conscients de la causalité" (avec filtrage des confondants) produiront des structures d'arbres plus stables et des explications plus cohérentes, se rapprochant potentiellement de la stabilité des jugements d'experts humains.
Hypothèse sur la performance (RQ3) : L'étude cherche à vérifier s'il existe un compromis (trade-off). L'objectif est de démontrer que l'on peut obtenir une plus grande stabilité sans dégrader significativement la capacité d'optimisation du modèle (mesurée par le score d2h).

Signification pour le Génie Logiciel :
Si cette étude confirme que l'intégration de principes causaux améliore la stabilité des modèles explicatifs, cela ouvrirait une nouvelle voie pour l'analyse logicielle centrée sur l'humain. Cela permettrait de :

Générer des explications plus fiables et reproductibles pour les ingénieurs.
Réduire le risque de prendre des décisions basées sur des corrélations spuriées (ex: penser que le nombre de lignes de code cause des bugs alors que c'est la complexité du projet qui cause les deux).
Renforcer la confiance dans les outils d'IA pour le génie logiciel en abordant le problème fondamental de la reproductibilité et de la robustesse face aux variations de données.

En résumé, ce travail vise à transformer l'analyse logicielle d'une discipline basée sur des associations statistiques fragiles vers une approche plus robuste fondée sur des relations causales, améliorant ainsi la fiabilité des décisions d'optimisation et de gestion de projet.