Asymptotic emergence of statistically supported false causal interpretation under unmeasured confounding
Cet article démontre que sous l'effet d'un biais de confusion non mesuré, l'augmentation de la taille des échantillons peut paradoxalement conduire à une plus grande certitude statistique dans l'identification de structures causales fausses basées sur des indicateurs observables, soulignant un décalage fondamental entre la confiance statistique et la récupération des véritables mécanismes causaux.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un détective essayant de résoudre un mystère, mais que vous ne puissiez voir que les indices laissés derrière eux, et non le coupable lui-même. C'est le monde de l'inférence causale observationnelle, une branche de la science où les chercheurs tentent de comprendre ce qui cause quoi en utilisant des données du monde réel, plutôt qu'en menant des expériences contrôlées. Dans ce domaine, une « cause » est comme un domino qui fait tomber un autre domino (l'« effet »). Cependant, il existe une règle délicate : le simple fait que deux choses se produisent en même temps (elles sont « associées ») ne signifie pas que l'une a causé l'autre. Parfois, un troisième facteur caché — un « facteur de confusion » — pousse secrètement les deux d'un même mouvement. Par exemple, les ventes de crème glacée et les attaques de requins augmentent toutes deux en été, mais la crème glacée ne cause pas les attaques de requins ; la cause cachée est la chaleur de l'été. Les scientifiques utilisent des cartes spéciales appelées DAG (Graphes Acycliques Dirigés) pour dessiner leurs théories sur la façon dont ces dominos sont connectés, mais ces cartes reposent sur de grandes hypothèses concernant ce qu'ils ne peuvent pas voir.
La grande question qui importe à tout le monde est : Pouvons-nous un jour être certains d'avoir trouvé la véritable cause ? À mesure que nous collectons de plus en plus de données, nous devenons meilleurs pour repérer les modèles. Nous pouvons affirmer avec une grande confiance que « A est lié à B ». Mais cela signifie-t-il que A cause B ? Cet article aborde une possibilité effrayante : et si nous devenions si doués pour trouver des modèles que nous finissions par être trop confiants dans une mauvaise réponse ? Il suggère que même avec une mathématique parfaite et des quantités massives de données, si la cause réelle est invisible pour nous, nous pourrions finir par construire un récit très convaincant et statistiquement inattaquable sur le mauvais suspect.
Le cas du marionnettiste invisible
Supposons que vous essayiez de comprendre pourquoi une certaine plante de votre jardin pousse de manière démesurée. Vous soupçonnez que c'est le « Super-Engrais Secret » (appelons-le X) qu'un jardinier mystérieux verse secrètement sur le sol. Mais voici le piège : X est invisible. Vous ne pouvez pas le voir, le mesurer, ni même savoir qu'il existe. Cependant, vous pouvez voir d'autres choses se passer dans le jardin. Vous remarquez que chaque fois que la plante grandit, le tuyau d'arrosage projette aussi de l'eau (Z). En réalité, l'engrais invisible (X) provoque à la fois la croissance de la plante et l'aspersion du tuyau (peut-être que l'engrais rend le sol assoiffé, ou que le jardinier utilise le tuyau pour mélanger l'engrais).
Maintenant, imaginez que vous soyez un scientifique des données doté d'un super-ordinateur. Vous décidez d'étudier le jardin. Vous ne connaissez pas l'existence de l'engrais invisible, donc vous ne regardez que les choses que vous pouvez voir : la taille de la plante et l'aspersion de l'eau. Vous recueillez des données sur 10 plantes, puis 100, puis 10 000. À mesure que vous accumulez des données, votre ordinateur devient meilleur pour repérer le lien entre l'aspersion de l'eau et la croissance de la plante.
L'article soutient que, à mesure que vos données s'accumulent et que vos mathématiques deviennent plus intelligentes, vous atteindrez un point où vous serez certain à 100 % que l'aspersion de l'eau fait pousser la plante. Vos tests statistiques hurleront : « C'est un effet réel ! Ce n'est pas un coup de chance ! » Vous aurez trouvé une relation « stable et tirée des données ». Mais voici le tournant : Vous avez tort. L'eau n'a pas causé la croissance ; l'engrais invisible l'a fait. L'eau n'était qu'un « proxy » — un substitut qui se trouvait simplement bouger en même temps que la cause réelle.
Le piège du « Plus de données »
L'auteur, Mark Louie F. Ramos, démontre qu'il ne s'agit pas d'une erreur dans vos calculs ou du résultat d'un « p-hacking » (manipulation de chiffres pour obtenir un résultat). C'est un piège fondamental de la situation.
Pensez-y comme si vous essayiez de trouver un fantôme dans une maison hantée. Vous ne pouvez pas voir le fantôme (la cause réelle), mais vous pouvez voir les rideaux bouger et les lumières vaciller (les proxies). Si vous restez là pendant longtemps avec une caméra haute vitesse, vous finirez par prouver avec une certitude absolue que « quand les rideaux bougent, les lumières vacillent ». Vous aurez une preuve statistique parfaite et inébranlable de cette connexion. Mais si vous concluez que « les rideaux ont causé le vacillement des lumières », vous avez totalement manqué le fantôme.
L'article prouve que si vous continuez à ajouter des variables à votre étude (plus de choses que vous pouvez voir dans le jardin) et que vous augmentez votre échantillon (en observant plus de plantes), vous trouverez inévitablement ces liens « parfaits » entre les mauvaises choses. Plus vous avez de données, plus vous devenez confiant dans un récit qui est complètement erroné sur le pourquoi des choses.
Pourquoi cela importe (et ce que ce n'est pas)
Il est important de comprendre ce que cet article ne dit pas. Il ne dit pas que les scientifiques sont mauvais en mathématiques, ou qu'ils trichent en choisissant leurs données. L'article exclut explicitement l'idée qu'il s'agisse simplement d'une « erreur de type 1 » (une fausse alerte causée par la malchance ou de mauvaises statistiques). En fait, parce que la cause invisible est réelle et forte, ces résultats « faux » sont en réalité plus susceptibles d'être répétés que du bruit aléatoire. Si vous refaites l'expérience avec un million de plantes, vous obtiendrez la même « mauvaise » réponse encore et encore. L'association est réelle ; la causalité est le mensonge.
L'article précise également qu'il ne s'agit pas d'un problème avec les outils que nous utilisons (comme le test t). Ces outils sont excellents pour nous dire si deux choses sont liées. Le problème est que nous oublions souvent que ces outils ne fonctionnent que si nous nous accordons d'abord sur une carte du monde qui inclut les choses invisibles. Si notre carte manque l'« engrais invisible », les outils nous diront joyeusement que le « tuyau d'arrosage » est le héros, et ils le feront avec une confiance parfaite.
La conclusion
La conclusion principale est un peu décevante pour ceux qui pensent que le « Big Data » résoudra tous nos mystères. L'article montre que plus de données ne résout pas le problème des causes manquantes. Au contraire, cela nous rend plus confiants dans les mauvaises réponses.
L'auteur conclut que nous devons cesser de penser que l'analyse statistique peut « valider » nos idées sur ce qui cause quoi. Les statistiques ne peuvent que nous indiquer la taille d'un effet si nous supposons que notre carte du monde est correcte. Le véritable travail — découvrir quelles sont les causes invisibles — doit avoir lieu avant de lancer les calculs, en utilisant notre cerveau, nos théories et nos connaissances préalables, et non seulement nos calculatrices.
Ainsi, la prochaine fois que vous lirez une étude affirmant : « Nous avons trouvé un lien solide et statistiquement significatif entre A et B », souvenez-vous du marionnettiste invisible. Les données peuvent être parfaites, les mathématiques peuvent être irréprochables et la confiance peut être immense, mais si la véritable cause se cache dans l'ombre, tout le récit pourrait n'être qu'une illusion très convaincante.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.