📊 statistics

Hypothesizing an effect size by considering individual variation

Ce papier propose une approche pour formuler une hypothèse réaliste sur l'effet moyen d'un traitement en considérant d'abord la distribution des effets individuels, illustrée par des exemples en médecine, en économie et en psychologie.

Auteurs originaux : Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Publié 2026-04-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎯 Le problème : "Combien ça va marcher ?"

Imaginez que vous êtes un architecte qui veut construire un pont. Avant de poser la première pierre, vous devez savoir : ce pont va-t-il supporter le poids des camions ?

En science, c'est la même chose. Avant de lancer une expérience (un médicament, une nouvelle méthode d'enseignement, une publicité), les chercheurs doivent se demander : "De combien va changer la situation en moyenne ?". C'est ce qu'on appelle l'effet moyen.

Le problème, c'est que les chercheurs sont souvent trop optimistes. Ils imaginent que leur idée va fonctionner parfaitement pour tout le monde, tout le temps. Résultat ? Ils construisent des "ponts" (des études) trop petits, qui s'effondrent dès qu'ils voient la réalité.

💡 La solution : Ne pensez pas à une moyenne, pensez à une forêt

L'article propose une astuce géniale pour arrêter de deviner un seul chiffre magique. Au lieu de se demander "De combien le médicament va-t-il sauver des gens ?", il faut se demander : "Comment l'effet varie-t-il d'une personne à l'autre ?"

Voici l'analogie pour comprendre :

🌲 L'analogie de la Forêt et des Arbres

Imaginez que vous voulez mesurer la hauteur moyenne des arbres dans une forêt.

L'ancienne méthode (l'erreur) : Vous regardez un seul arbre magnifique, vous dites "Ah, il fait 20 mètres !", et vous supposez que tous les arbres font 20 mètres. Vous construisez votre étude en pensant que tout le monde sera comme cet arbre géant.
La nouvelle méthode (celle de l'article) : Vous réalisez qu'une forêt est un mélange.
- Certains arbres sont des chênes géants (effet énorme).
- D'autres sont des jeunes pousses (effet moyen).
- D'autres sont des buissons rabougris (effet nul).
- Et certains sont morts (effet négatif ou nul).

Au lieu de deviner la hauteur moyenne d'un seul coup, vous construisez une distribution (un profil de la forêt). Vous dites : "Ok, 50% des gens ne seront pas touchés du tout, 30% auront un petit effet, et 20% auront un gros effet."

🛠️ Comment faire ce calcul en pratique ? (La recette de cuisine)

Les auteurs proposent une méthode en 4 étapes pour estimer cet effet moyen de manière réaliste :

Le scénario idéal (Le "Super-Héros") : Imaginez le meilleur cas possible. Si le médicament fonctionne parfaitement, de combien il aide ? Disons qu'il sauve 100% des patients "sauvables".
La réalité du terrain (Le "Monde Réel") : Maintenant, regardez autour de vous. Tout le monde n'est pas un patient idéal.
- Certains sont trop malades pour être sauvés (effet nul).
- Certains sont déjà en bonne santé (effet nul).
- Certains ne prennent même pas le médicament (effet nul).
Le mélange (La "Salade") : Combinez ces groupes. Si vous avez 100 personnes :
- 50 ne seront jamais aidées (effet = 0).
- 30 seront aidées un peu.
- 20 seront aidées beaucoup.
Le calcul final : Faites la moyenne de tout ce mélange.
- Résultat : Au lieu de dire "Mon médicament sauve tout le monde", vous dites "Mon médicament sauve en moyenne 20% des gens". C'est beaucoup plus bas, mais beaucoup plus vrai.

🍎 Exemples concrets pour illustrer

1. Le médicament miracle (Médecine)
Un médecin pense qu'un nouveau médicament va augmenter le taux de survie de 25 %.

Pensée naïve : "Si ça marche, ça marche pour tout le monde !"
Pensée réaliste (Gelman) : "Attends, il y a des gens qui mourraient de toute façon (effet nul), et des gens qui survivraient de toute façon (effet nul). Le médicament ne sauve que ceux qui sont 'à mi-chemin'. Donc, si on regarde 1000 patients, le médicament ne sauve peut-être que 250 personnes (100% de bénéfice pour eux), mais pour les 750 autres, c'est 0. La moyenne réelle est donc bien plus faible que prévu."

2. L'opinion politique (Science politique)
On demande : "Est-ce que connaître une personne gay change votre opinion sur le mariage gay ?"

Pensée naïve : "Ça va changer tout le monde de 2 points sur une échelle de 1 à 5 !"
Pensée réaliste : "Non. Ceux qui sont déjà très contre (1) resteront contre. Ceux qui sont déjà très pour (5) resteront pour. Seuls ceux qui sont au milieu (3) vont bouger. Et parmi ceux qui bougent, certains iront vers le haut, d'autres vers le bas. La moyenne globale sera donc très petite, presque invisible."

🚨 Pourquoi est-ce si important ?

Si vous ne faites pas ce calcul de "forêt" :

Vous sous-estimez la taille de votre étude : Vous pensez que 100 personnes suffisent pour voir l'effet, alors qu'il en faut 1000 parce que l'effet moyen est dilué par les gens qui ne réagissent pas.
Vous créez des études qui échouent : Vous lancez une expérience, vous ne trouvez rien, et vous dites "Ça ne marche pas". En réalité, ça marchait sur certains, mais votre étude était trop petite pour le voir.
Vous êtes trompé par la chance : Si par hasard, vous tombez sur un groupe de "Super-Héros" (les 20% qui réagissent fort), vous allez croire que l'effet est énorme. Mais c'est juste de la chance.

🏁 En résumé

La prochaine fois que vous entendez une étude scientifique ou que vous devez en concevoir une, ne cherchez pas le chiffre magique. Demandez-vous :

"Pour qui ça marche ? Pour qui ça ne marche pas ? Et combien y a-t-il de chaque type dans ma population ?"

En passant de la vision d'un seul nombre à la vision d'une diversité de réactions, on arrête de construire des ponts fragiles et on commence à construire des études solides qui résistent à la réalité. C'est la clé pour éviter la "crise de la réplication" (quand les études ne peuvent pas être reproduites) et pour prendre de meilleures décisions.

1. Le Problème : La difficulté d'hypothétiser une taille d'effet moyenne

L'article identifie un problème fondamental dans la conception et l'évaluation des études expérimentales et observationnelles : la difficulté de formuler une hypothèse réaliste concernant la taille moyenne de l'effet causal (Average Treatment Effect - ATE).

Importance de l'hypothèse : Une hypothèse réaliste est cruciale pour :
- L'inférence bayésienne (construction de la distribution a priori).
- L'inférence fréquentiste (calculs de puissance, tests de rapport de vraisemblance, estimation des erreurs de type 2, M et S).
- La conception d'études (détermination de la taille d'échantillon nécessaire).
Échec des approches actuelles : Les auteurs critiquent les méthodes conventionnelles pour estimer ces effets :
- Méta-analyses et revues de littérature : Souvent biaisées par la sélection basée sur la signification statistique (problème "garbage-in-garbage-out").
- Élicitation d'experts : Les experts sont souvent biaisés par la littérature publiée et leurs propres espoirs, conduisant à des surestimations.
- Conventions de Cohen (petit/moyen/grand) : Souvent trop optimistes dans un environnement d'améliorations incrémentales modernes.
- Études pilotes : Les estimations issues de petits échantillons sont trop bruyantes pour être utiles à la conception de la puissance statistique.
- Culture statistique : Une réticence à faire des hypothèses restrictives ("Bayesian cringe") conduit à des designs sur-optimistes et à des problèmes de réplication.

Le cœur du problème est que les chercheurs tentent souvent de deviner un nombre unique (la moyenne) sans considérer la distribution sous-jacente des effets individuels, ce qui mène à des erreurs de conception et d'interprétation.

2. Méthodologie : De l'effet unique à la distribution d'effets

Les auteurs proposent un changement de paradigme : au lieu d'hypothétiser un seul nombre, il faut hypothétiser une distribution d'effets individuels. Cette approche s'inspire du principe mathématique consistant à intégrer un problème difficile dans un problème plus large mais plus traitable (comme le font les modèles hiérarchiques).

Le protocole proposé (Heuristique d'ancrage et d'ajustement)

La méthode recommande de construire un modèle de la distribution des effets en quatre étapes :

Hypothèse d'un effet plausible (Plausible Effect Size - X) : Estimer la taille de l'effet si le traitement fonctionne comme prévu pour les individus réceptifs, en se basant sur la littérature (corrigée des biais) et le raisonnement thématique.
Considération de la variation réelle : Définir une plage d'effets possibles sous des conditions réelles (par exemple, de 0 à X).
Conversion en distribution : Transformer cette plage en une distribution (ex: une distribution normale centrée sur $0.5X$ avec une échelle de $0.5X$ ). Cela permet d'anticiper des cas où l'effet est nul, négatif ou plus élevé.
Hypothèse de la proportion de "nulls purs" ( $p_{null}$ ) : Estimer la proportion de sujets pour qui l'effet est strictement nul (ex: patients ne prenant pas le médicament, étudiants non attentifs). Par défaut, les auteurs suggèrent 50 % pour les interventions directes en médecine/sciences sociales et jusqu'à 90 % pour le marketing.

Formule résultante pour l'ATE moyen :
$ATE \approx (1 - p_{null}) \cdot 0.5X$
Cela implique que pour les interventions directes, l'effet moyen attendu est environ $X/4$ , et pour les interventions indirectes, $X/20$ ou moins.

Validation empirique

Les auteurs ont mené des interviews formatives avec trois chercheurs (médecine et ingénierie). En les guidant à travers ce processus de décomposition (considérer les individus avec les effets les plus grands, les plus petits et les nuls), les chercheurs ont pu affiner leurs attentes. Bien que certains aient trouvé difficile d'estimer les proportions intermédiaires, l'exercice les a aidés à mieux aligner leurs hypothèses avec la connaissance de leur domaine et à identifier des biais d'optimisme.

3. Résultats et Scénarios d'Application

L'article illustre la méthode à travers plusieurs exemples concrets :

Médecine (Résultats binaires) :
- Dans un essai clinique, si l'on suppose un effet maximal de 100 % (sauver la vie) pour 65 % des patients (efficacité), l'ATE est de 0,65.
- Cependant, dans une étude d'efficacité (population plus large, moins de criblage), la proportion de patients "sauvables" peut chuter à 20 %. L'ATE tombe alors à 0,20. Cela montre pourquoi les effets observés dans des essais contrôlés stricts ne doivent pas être extrapolés sans ajustement aux études de terrain.
- Exemple du médicament COVID : Un médecin estimait un effet de 25 points de pourcentage. En décomposant la population (30 % survivants quel que soit le traitement, 45 % décédés quel que soit le traitement, 25 % sauvés), l'effet réel n'est pas une amélioration uniforme de 25 %, mais un effet de 100 % sur seulement 25 % de la population.
Sciences politiques (Données numériques) :
- Pour étudier l'impact de la connaissance d'une personne gay sur l'attitude envers le mariage homosexuel (échelle 1-5), les chercheurs ont modélisé la population : 1/3 déjà très négatif, 1/3 très positif, 1/3 ouvert au changement. Parmi les ouverts, certains ne changent pas, d'autres changent de +1 ou -1.
- Ce calcul aboutit à un effet moyen très faible (0,1), ce qui correspond mieux aux résultats empiriques observés (souvent proches du bruit) que les hypothèses initiales de chercheurs.
Dégradation d'effets apparemment énormes :
- L'article critique des études publiées avec des effets énormes (ex: +42 % de revenus grâce à une intervention précoce, ou les femmes portant du rouge pendant l'ovulation).
- En appliquant la logique de la variation individuelle, un effet moyen de 42 % impliquerait des effets de +100 % ou plus sur certains individus et des effets nuls ou négatifs sur d'autres. Une telle distribution est souvent irréaliste, suggérant que l'estimation publiée est un biais de sélection dû à un manque de puissance statistique (Type M error).

4. Contributions Clés

Inversion du flux de travail : Passer de l'hypothèse d'un effet moyen unique à l'hypothèse d'une distribution d'effets individuels. La moyenne émerge alors comme une conséquence de la composition de l'échantillon et de l'hétérogénéité, et non comme un paramètre fondamental fixe.
Outil pratique de conception : Fournir une heuristique structurée (ancrage, ajustement, proportion de nuls) pour aider les chercheurs à formuler des hypothèses réalistes avant de collecter des données.
Lien entre conception et objectif de recherche : Montrer que la taille d'effet à hypothétiser dépend de l'objectif de l'étude (détection de l'existence d'un effet vs estimation de l'effet moyen dans une population représentative).
Compréhension de la crise de réplication : Expliquer que les échecs de réplication sont souvent dus à l'hétérogénéité des effets (différentes compositions de population) plutôt qu'à des erreurs méthodologiques pures.

5. Signification et Implications

Pour la conception d'études : Cette approche encourage des tailles d'échantillon plus réalistes et évite le sous-puissance (underpowering) des études. Elle met en garde contre l'utilisation de résultats d'essais d'efficacité (conditions idéales) pour planifier des études d'efficacité (conditions réelles).
Pour l'inférence statistique : Elle permet de mieux interpréter les résultats "bruyants" ou non significatifs. Un effet non significatif peut être le résultat d'un effet moyen faible dilué par une forte hétérogénéité, et non l'absence totale d'effet.
Pour la culture scientifique : Elle favorise une transition vers une science plus contextuelle, où l'on modélise les "surfaces de réponse" (variation des effets selon les individus et les contextes) plutôt que de chercher une vérité scientifique universelle et unique à partir d'une petite expérience.

En résumé, l'article plaide pour une humilité statistique : reconnaître que les effets varient considérablement d'un individu à l'autre est la clé pour concevoir de meilleures études, interpréter correctement les résultats et éviter les pièges de la surinterprétation des effets moyens.