The Pragmatic Frames of Spurious Correlations in Machine Learning: Interpreting How and Why They Matter

Résumé technique : Les cadres pragmatiques des corrélations fallacieuses en apprentissage automatique

Énoncé du problème
L'apprentissage automatique (AA) repose sur l'apprentissage de corrélations à partir de données pour effectuer des prédictions. Cependant, les modèles capturent fréquemment des « corrélations fallacieuses » — des relations qui sont statistiquement présentes dans les données d'entraînement mais qui ne reflètent pas les mécanismes causaux sous-jacents du phénomène cible. Bien que la définition statistique de la fallacité soit claire (une relation non causale résultant d'une coïncidence ou d'une confusion), la littérature sur l'AA révèle un décalage entre cette définition formelle et la manière dont les chercheurs identifient et traitent réellement le problème en pratique.

Les pipelines standard d'AA manquent souvent de la capacité de distinguer la causalité de la corrélation. Par conséquent, lorsque les modèles échouent en raison de corrélations non intentionnelles (par exemple, classifier des vaches en se basant sur des arrière-plans herbeux plutôt que sur des caractéristiques animales), les chercheurs doivent déterminer pourquoi la corrélation est problématique. L'article soutient que les chercheurs s'appuient rarement sur des définitions causales formelles pour étiqueter une corrélation comme fallacieuse. Au lieu de cela, ils s'engagent dans un « travail de sens » à travers des lentilles alternatives qui privilégient la performance technique, l'alignement de la tâche ou les résultats éthiques par rapport à l'inférence causale stricte.

Méthodologie
Les auteurs ont mené une analyse critique de la littérature en deux étapes pour identifier comment la fallacité est encadrée et justifiée dans la recherche en AA.

1. Collecte des données : En utilisant l'API Semantic Scholar, les auteurs ont récupéré 713 articles contenant les termes « corrélation fallacieuse », « caractéristique fallacieuse » ou « raccourci » provenant de conférences et revues en AA, TALN et vision par ordinateur (incluant des prépublications, des articles de journaux et des actes de conférences).
2. Échantillonnage et codage :
   • Étape 1 : Un sous-ensemble de 200 articles a été échantillonné aléatoirement pour un examen manuel, aboutissant à 49 articles pertinents. Par le biais d'une revue de la bibliographie, 16 travaux supplémentaires à fort impact ont été ajoutés, créant un échantillon analytique initial de 65 articles. Deux auteurs ont codé indépendamment ces articles pour extraire les justifications récurrentes pour étiqueter les corrélations comme fallacieuses.
   • Étape 2 : Le cadre de codage établi a été appliqué aux 513 articles restants (après filtrage pour pertinence et qualité), produisant 222 articles supplémentaires.
3. Échantillon final : L'analyse a abouti à un échantillon total de 287 articles. Les auteurs ont identifié quatre « cadres pragmatiques » dominants utilisés pour interpréter la fallacité, notant que les articles invoquaient souvent plusieurs cadres simultanément.

Contributions clés : Les quatre cadres pragmatiques
L'article postule que la désirabilité d'une corrélation n'est pas une propriété statistique fixe, mais un jugement situé informé par des « cadres pragmatiques ». Ces cadres représentent des manières spécifiques de voir qui aident les chercheurs à isoler et interpréter des aspects du problème en fonction de la fonction et des objectifs normatifs plutôt que de définitions fixes. Les quatre cadres identifiés sont :

1. Pertinence :

   • Définition : Une corrélation est fallacieuse si elle n'est pas pertinente pour la tâche d'apprentissage spécifique, même si elle est prédictive dans les données d'entraînement.
   • Justification : Les chercheurs s'attendent à ce que les modèles utilisent des caractéristiques intrinsèquement germanes à l'étiquette cible (par exemple, la forme d'un objet) plutôt que des artefacts incidentels (par exemple, la couleur ou la texture de l'arrière-plan).
   • Critique : La « pertinence » est souvent définie par les contraintes de l'ensemble de données et l'intention du chercheur (par exemple, en supposant que l'arrière-plan est sans importance dans la classification d'images à étiquette unique) plutôt que par les propriétés intrinsèques des données.

2. Généralisabilité :

   • Définition : Une corrélation est fallacieuse si elle ne tient pas à travers différentes distributions de données, spécifiquement lors du passage des données d'entraînement aux données de test ou sous des décalages « hors distribution » (OOD).
   • Justification : Les modèles doivent apprendre des relations stables et invariantes à l'environnement. Les corrélations qui sont « spécifiques à l'environnement » ou qui reposent sur des « heuristiques trompeuses » qui ne se généralisent pas sont considérées comme fallacieuses.
   • Critique : Les chercheurs spécifient rarement quelles distributions un modèle doit généraliser. La définition d'un « test de stress » ou d'un décalage de distribution naturel dépend des attentes du chercheur et de la capacité pratique à construire des ensembles de test représentatifs.

3. Ressemblance humaine :

   • Définition : Une corrélation est fallacieuse si elle repose sur des règles de décision ou des caractéristiques qu'un humain n'utiliserait pas pour accomplir la même tâche.
   • Justification : Ce cadre suppose qu'une fonction « ressemblante à l'humain » est l'étalon-or. Par exemple, si les humains reconnaissent les objets par leur forme mais qu'un modèle repose sur la texture, la corrélation du modèle est considérée comme fallacieuse.
   • Critique : Ce cadre présuppose un compte rendu universel et stable de la cognition humaine, ce qui est contesté par des preuves de variations culturelles et démographiques dans la perception humaine. De plus, cela peut entrer en conflit avec les objectifs de construire des systèmes surpassant la performance humaine ou opérant différemment pour éviter les biais humains.

4. Nocivité :

   • Définition : Une corrélation est fallacieuse si son utilisation conduit à des résultats socialement ou éthiquement nuisibles, tels que l'amplification de biais contre des groupes protégés.
   • Justification : Même si une corrélation est statistiquement stable et prédictive, elle est jugée indésirable si elle encode des stéréotypes sociétaux (par exemple, associer « PDG » aux hommes) ou conduit à des disparités de performance pour les groupes minoritaires.
   • Critique : Déterminer la « nuisance » nécessite des jugements normatifs sur la façon dont le monde devrait être représenté par rapport à la façon dont il est. Une corrélation reflétant un fait stable (par exemple, la répartition des sexes dans le secteur infirmier) peut être étiquetée comme fallacieuse si elle renforce les stéréotypes, soulignant que le cadre est piloté par des objectifs éthiques plutôt que par des propriétés des données.

Résultats et constatations

• Prévalence : Parmi les 287 articles analysés, la Généralisabilité était le cadre le plus fréquemment invoqué (44 %), suivi de la Pertinence (36 %), de la Nocivité (28 %) et de la Ressemblance humaine (18 %).
• Opérationnalisation : L'étude a révélé que les chercheurs définissent rarement la fallacité en utilisant une théorie causale formelle. Au lieu de cela, ils utilisent ces cadres pragmatiques comme motivations pour développer des solutions (par exemple, des techniques de robustesse, des contraintes d'équité).
• Contingence : La classification d'une corrélation comme « fallacieuse » est hautement contingente à l'intention du chercheur, à la tâche spécifique et aux objectifs normatifs du projet. Ce qui est considéré comme un « raccourci » dans un contexte (par exemple, la couleur de l'arrière-plan dans la reconnaissance d'objets) pourrait être une caractéristique valide dans un autre.

Signification et affirmations
L'article prétend contribuer aux conversations plus larges sur la culture épistémique de l'apprentissage automatique en démontrant que des concepts techniques comme la « fallacité » sont définis et opérationnalisés à travers des pratiques contingentes plutôt que des définitions statiques.

• Changement épistémique : Les auteurs soutiennent qu'en s'appuyant sur des cadres pragmatiques, les chercheurs transforment la fallacité d'une propriété statique des données en une relation dynamique entre les données et les attentes des chercheurs.
• Implications normatives : Le choix du cadre à privilégier (par exemple, privilégier la pertinence par rapport à la ressemblance humaine) est une décision chargée de valeurs avec des compromis. L'article suggère que la communauté de l'AA obscurcit souvent ces choix normatifs en utilisant le terme « fallacieux » comme un raccourci technique.
• Directions futures : Les auteurs proposent que la reconnaissance de ces cadres puisse servir de ressource pour améliorer les méthodes d'AA. Plutôt que d'ignorer la nature pragmatique de ces jugements, les travaux futurs pourraient développer des benchmarks et des méthodes qui traitent explicitement les cadres spécifiques qui importent aux chercheurs (par exemple, concevoir pour des décalages de distribution spécifiques ou réduire explicitement les dommages).
• Modestie : Les auteurs déclarent explicitement que leur typologie n'est pas exhaustive et que, à mesure que la recherche en AA évolue vers des domaines multimodaux et basés sur des agents, de nouveaux cadres pourraient émerger. Ils soulignent que leur objectif est d'offrir une lentille théorique pour interroger les limites de l'AA basée sur les corrélations, et non de fournir une solution causale définitive.