📊 statistics

The dangers of using three-number summaries to estimate unknown standard deviations: sensitivity analyses and some possible improvements incorporating shape

Cet article démontre que les résumés à trois nombres sont insuffisants pour estimer de manière fiable les écarts-types dans les méta-analyses, conduisant à des inférences potentiellement invalides, et propose un cadre d'analyse de sensibilité ainsi qu'un nouvel estimateur basé sur une distribution bêta mise à l'échelle qui incorpore des informations sur la forme des données pour améliorer la précision.

Auteurs originaux : Udara Kumaranathunga, Alysha De Livera, Luke A. Prendergast

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Udara Kumaranathunga, Alysha De Livera, Luke A. Prendergast

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère sur la taille d'un groupe de personnes. Vous n'avez pas une liste de la taille de chaque personne. Au lieu de cela, vous n'avez qu'une petite note de trois lignes laissée par un témoin. Cette note vous donne trois choses :

La taille de la personne la plus petite.
La taille de la personne qui se trouve juste au milieu (la médiane).
La taille de la personne la plus grande.

Ou bien, la note ne vous donne que la personne du milieu et l'« étendue du milieu 50 % » (la plage entre le 25e et le 75e percentile).

Le Problème : Le Piège de la « Normalité »
Pendant des années, des chercheurs ont essayé de deviner la taille moyenne et la dispersion (l'écart-type) de l'ensemble du groupe en utilisant seulement ces trois nombres. La plupart d'entre eux ont utilisé une « formule magique » qui suppose que la taille de chacun suit une courbe en cloche parfaitement symétrique (une distribution normale).

Cet article soutient que c'est comme essayer de deviner la forme d'un nuage en regardant simplement son ombre. Si le nuage est en réalité une crêpe plate, une montagne escarpée ou une vallée en forme de U, la formule de la « courbe en cloche » vous donnera une réponse complètement fausse.

Les auteurs montrent que même si ces trois nombres semblent parfaitement symétriques, les données réelles derrière eux pourraient être façonnées de dizaines de manières différentes.

Le Piège de l'Uniformité : Imaginez une salle de classe où chaque élève a exactement la même taille. La « dispersion » est de zéro. Mais si vous utilisez la formule standard sur le min/max/médiane, elle pourrait vous dire que les élèves varient énormément.
Le Piège de la Forme en U : Imaginez une pièce remplie de personnes très petites et de personnes très grandes, mais avec presque personne au milieu. La formule standard pourrait penser que tout le monde est dans la moyenne, ignorant totalement l'étendue extrême.

Le Danger : Pourquoi cela importe
Pourquoi est-ce grave de se tromper sur la « dispersion » ? Pensez à l'ajustement d'un canon.

Si vous devinez que la dispersion est plus petite qu'elle ne l'est réellement, votre boulet de canon (votre test statistique) ira trop loin. Vous pourriez penser avoir découvert un « remède miracle » ou une « différence énorme » alors qu'il ne s'agit que de bruit aléatoire. Vous pourriez affirmer qu'un résultat est significatif alors qu'il ne l'est pas.
Si vous devinez que la dispersion est plus grande qu'elle ne l'est réellement, votre boulet de canon tombera court. Vous pourriez passer à côté d'une véritable découverte parce que vous pensez que les données sont trop désordonnées pour être fiables.

L'article montre qu'en utilisant ces résumés de trois nombres sans vérifier la forme, les chercheurs tirent souvent à l'aveugle, menant à de fausses conclusions.

La Solution : L'Analyse de Sensibilité (Le jeu du « Et si ? »)
Au lieu de choisir une seule formule et d'espérer, les auteurs suggèrent de jouer à un jeu de « Et si ? » appelé Analyse de Sensibilité.

Imaginez un chef goûtant une soupe. Au lieu de simplement deviner le niveau de sel, il goûte en supposant d'abord que c'est une soupe à la tomate, puis une soupe au poulet, puis une soupe aux légumes.

Si la soupe semble salée quelle que soit l'hypothèse, vous pouvez être confiant.
Si le niveau de sel change radicalement selon que vous supposez qu'il s'agit de tomate ou de poulet, vous savez que vous n'avez pas assez d'informations.

Les auteurs fournissent un nouvel outil (une application web) qui permet aux chercheurs de mener ce jeu de « Et si ? ». Ils testent les données contre de nombreuses formes différentes (courbes en cloche, formes en U, collines asymétriques) pour voir lesquelles sont même possibles compte tenu des trois nombres. Cela aide les chercheurs à dire : « Nous ne pouvons pas être sûrs, mais la réponse se situe probablement entre X et Y », plutôt que de donner un seul nombre, potentiellement erroné.

Le Nouveau Tour de Passe-passe : Utiliser les « Clôtures » (Limites de la Population)
Parfois, les chercheurs connaissent les « clôtures » des données.

Exemple : Si vous étudiez l'âge des adultes dans une étude, vous savez que le minimum est 18 et le maximum est 100. Personne n'a 5 ou 150 ans.
Exemple : Si vous étudiez un score de test de 0 à 100, vous savez que les limites sont 0 et 100.

L'article introduit une nouvelle méthode utilisant une Distribution Beta Échelonnée. Voyez cela comme un élastique flexible. Si vous connaissez les clôtures (le minimum et le maximum), vous pouvez étirer cet élastique pour qu'il s'adapte aux trois nombres dont vous disposez. Parce que l'élastique sait qu'il ne peut pas dépasser les clôtures, il peut deviner la « dispersion » beaucoup plus précisément que les anciennes méthodes, qui prétendent que les données pourraient s'étendre indéfiniment.

Le Mot de la Fin
L'article se conclut par trois règles simples pour les chercheurs :

Ne devinez pas la dispersion si vous n'avez que trois nombres. Si vous le pouvez, analysez directement les médianes au lieu d'essayer de les convertir en moyennes.
Jouez au jeu du « Et si ? » Avant de publier, vérifiez si votre réponse change radicalement si vous supposez que les données ressemblent à une colline, une vallée ou une ligne plate. Si c'est le cas, admettez l'incertitude.
Utilisez les clôtures. Si vous connaissez les valeurs minimales et maximales absolues possibles (comme les limites d'âge ou les limites de scores de tests), utilisez-les ! La nouvelle méthode utilisant ces limites est bien meilleure pour deviner la dispersion.

En bref : Trois nombres ne suffisent pas pour raconter toute l'histoire. Forcer ces nombres dans une réponse unique est dangereux. Au lieu de cela, explorez les possibilités, vérifiez la forme et soyez honnête sur l'incertitude.

Résumé technique : Les dangers de l'utilisation de résumés à trois nombres pour estimer l'écart type inconnu

Énoncé du problème
Dans les méta-analyses, les chercheurs rencontrent fréquemment des études rapportant des données continues via des résumés par quantiles (médianes, quartiles, étendues) plutôt que des moyennes et des écarts types (ET). Bien qu'il existe des méthodes pour convertir les résumés à cinq nombres (minimum, $Q_1$ , médiane, $Q_3$ , maximum) en moyennes et écarts types, la conversion des résumés à trois nombres (par exemple, la médiane et l'écart interquartile, ou la médiane et l'étendue) reste problématique. Les auteurs soutiennent que les résumés à trois nombres ne contiennent pas assez d'informations pour estimer de manière fiable l'écart type inconnu car ils ne contraignent pas la forme des données sous-jacentes. Par conséquent, supposer une distribution spécifique (généralement la normalité) pour dériver un ET peut conduire à de graves erreurs d'estimation, pouvant invalider les inférences statistiques ultérieures telles que les tests t ou les calculs du $d$ de Cohen.

Méthodologie
L'article emploie une combinaison d'analyses théoriques, d'études de simulation et d'études de cas sur des données réelles pour évaluer les méthodes existantes et proposées.

Examen des méthodes existantes : Les auteurs analysent les techniques de conversion populaires, notamment :
- Wan et al. (2014) et Luo et al. (2018) : Estimateurs à forme fermée supposant une normalité et une symétrie sous-jacentes.
- Estimation de Quantile (QE) (McGrath et al., 2020a) : Une méthode ajustant des distributions paramétriques (Normale, Lognormale, Gamma, Weibull, Beta) en minimisant la somme des carrés des erreurs (SSE) entre les quantiles observés et théoriques.
- Transformation de Box-Cox (BC) : Une méthode tentant de symétriser les données via une transformation de puissance avant d'appliquer des estimateurs basés sur la normalité.
Cadre d'analyse de sensibilité : Motivés par les limites de la sélection d'une méthode unique, les auteurs proposent une analyse de sensibilité de type test d'adéquation (goodness-of-fit). Cela implique de :
- Ajuster plusieurs distributions candidates aux résumés à trois nombres.
- Calculer les SSE et effectuer un bootstrap paramétrique pour générer des p-valeurs ( $\hat{p}_B$ ).
- Utiliser ces mesures pour exclure les distributions implausibles et rapporter une plage d'estimations d'ET plausibles plutôt qu'une estimation ponctuelle unique.
Amélioration proposée (QE-beta) : Pour traiter les scénarios où les bornes de la population (minimum $L$ et/ou maximum $U$ ) sont connues (par exemple, limites d'âge, scores de questionnaires), les auteurs introduisent un nouvel estimateur basé sur la distribution Beta Échelle (SB).
- La distribution SB est définie sur $[L, U]$ et offre une grande flexibilité de forme (uniforme, asymétrique, en U, en J).
- La méthode estime les paramètres de forme Beta ( $\alpha, \beta$ ) en faisant correspondre le résumé à trois nombres (ou quatre si seul $L$ est connu) aux quantiles théoriques de la distribution SB.
Conception de la simulation :
- Données générées : Les simulations ont testé diverses distributions SB (uniforme, en U, asymétrique, en J) avec $L$ et $U$ connus contre des méthodes existantes qui traitent incorrectement les bornes de la population comme des extrêmes de l'échantillon.
- Données réelles : Des simulations ont été menées sur l'ensemble de données de dépression PHQ-9 (borné de 0 à 27) pour évaluer les performances dans des conditions réalistes.

Résultats clés

Sensibilité à la forme : Même pour des distributions symétriques (ex. Uniforme, Beta), supposer la normalité pour estimer l'ET à partir de résumés à trois nombres entraîne de grandes erreurs relatives (allant de -35 % à +50 %). Pour les distributions asymétriques, les erreurs sont souvent plus sévères.
Échec de la symétrisation : La transformation de Box-Cox peut obtenir la symétrie mais ne garantit pas la normalité. Par exemple, transformer des données de Pareto produit une distribution uniforme, ce qui conduit à des erreurs d'estimation d'ET significatives si la normalité est supposée après la transformation.
Impact sur l'inférence : L'article démontre que la sous-estimation de l'ET (un résultat courant lors de l'application de la normalité à des données non normales) réduit artificiellement les erreurs types, ce qui conduit à des significativités statistiques gonflées (erreurs de Type I) et à des intervalles de confiance trompeurs.
Performance de QE-beta :
- Lorsque les bornes de la population ( $L, U$ ) sont connues, la méthode QE-beta surpasse systématiquement les méthodes de résumé à cinq nombres existantes (Wan, Shi, QE, BC) qui traitent ces bornes comme des extrêmes de l'échantillon.
- Les méthodes existantes surestiment souvent l'ET pour les distributions asymétriques lorsque les bornes de la population sont utilisées comme extrêmes de l'échantillon, tandis que QE-beta reste stable.
- Même lorsqu'une seule borne inférieure ( $L$ ) est connue (résumé à quatre nombres), QE-beta fournit des estimations plus précises que les méthodes standards à trois nombres.

Signification et recommandations
L'article conclut que l'estimation des ET à partir de résumés à trois nombres est intrinsèquement risquée en raison de l'impossibilité de vérifier les hypothèses de distribution. Les auteurs ne prétendent pas qu'un estimateur unique soit le "meilleur" pour tous les cas, mais préconisent plutôt un changement de pratique :

Éviter la conversion d'ET si possible : Pour les méta-analyses, les auteurs recommandent de mener des méta-analyses des médianes directement en utilisant les méthodes existantes plutôt que de convertir en moyennes/ET.
Analyse de sensibilité obligatoire : Si l'estimation de l'ET est requise, les chercheurs doivent effectuer des analyses de sensibilité à travers plusieurs formes de distribution. Ils doivent rapporter la plage d'ET plausibles et discuter de la manière dont cette variation impacte les inférences en aval.
Utiliser les bornes de la population : Lorsque des limites de population connues existent (ex. âge, scores de tests), les chercheurs devraient utiliser l'approche QE-beta, qui exploite ces bornes pour contraindre la forme de la distribution, améliorant ainsi considérablement la précision de l'estimation.
Disponibilité des outils : Une application web Shiny est fournie pour faciliter ces analyses de sensibilité, permettant aux chercheurs de saisir des résumés à trois nombres et d'explorer la distribution résultante des estimations d'ET à travers divers modèles.

Les auteurs soulignent que leur travail met en évidence les dangers des pratiques actuelles et fournit un cadre pour une plus grande transparence et rigueur, plutôt que d'offrir une solution définitive qui éliminerait toute incertitude d'estimation.

Résumé technique : Les dangers de l'utilisation de résumés à trois nombres pour estimer l'écart type inconnu

Articles similaires