📊 statistiques

The Smallest Standard Error Is the Wrong One: Selection Among Multiple Imputations Invalidates Inference

Cet article démontre que la sélection de l'analyse par imputation multiple présentant l'erreur type la plus faible invalide systématiquement l'inférence statistique en écartant la variance entre imputations essentielle et en réduisant artificiellement la variance intra-imputation, ce qui conduit à des intervalles de confiance sévèrement sous-couverts et à des estimations biaisées, alors que les règles de regroupement de Rubin préservent correctement le calibrage.

Auteurs originaux : Nyiko Muhluri Khoza¹, Bhekisipho Twala², Jean-Claude Malela-Majika³

Publié 2026-10-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nyiko Muhluri Khoza¹, Bhekisipho Twala², Jean-Claude Malela-Majika³

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'analyse de données, l'information manquante est une compagne constante. Qu'il s'agisse de suivre le rétablissement d'un patient dans un hôpital, de mesurer les rendements agricoles dans un champ ou d'étudier les tendances économiques, les chercheurs ne disposent que rarement d'un ensemble parfait de chiffres. Certaines entrées sont vides, perdues ou n'ont jamais été enregistrées. Pour donner du sens à ces lacunes, les statisticiens utilisent une technique appelée l'imputation multiple. Au lieu de deviner une valeur unique pour combler un vide, ils créent plusieurs versions différentes et plausibles des données manquantes. Ils effectuent ensuite leur analyse sur chaque version séparément. Cette approche reconnaît que les nombres manquants sont inconnus et que différentes suppositions pourraient conduire à des conclusions légèrement différentes. En combinant les résultats de toutes ces versions, les analystes peuvent produire une réponse finale qui reflète honnêtement à la fois les données dont ils disposent et l'incertitude concernant ce qui leur manque. L'objectif est de s'assurer que la confiance rapportée dans un résultat correspond à la réalité de la situation.

Une équipe de chercheurs sud-africains a récemment découvert qu'un raccourci apparemment logique dans ce processus brise en réalité les mathématiques. Ils ont découvert que lorsque les analystes génèrent plusieurs versions de leurs données et qu'ils choisissent ensuite la version unique qui semble la plus précise — spécifiquement celle avec la plus petite marge d'erreur — ils se trompent eux-mêmes. Ce choix, qui ressemble à un moyen d'affiner la focalisation d'une étude, cache systématiquement la véritable ampleur de l'incertitude. Les chercheurs ont montré qu'en sélectionnant le « meilleur » résultat parmi un groupe de candidats, les analystes rejettent l'information même qui rend la méthode fiable. Ils ont prouvé que cette pratique conduit à des intervalles de confiance trop étroits et à des estimations ponctuelles subtilement biaisées, faisant paraître les découvertes plus certaines qu'elles ne le sont réellement.

L'étude a commencé par examiner une tentation naturelle dans le travail statistique. Lorsqu'un chercheur dispose de vingt ensembles de données complétés, chacun avec son propre calcul d'estimation et une mesure de la façon dont cette estimation pourrait varier, il est tentant de choisir celui qui présente la plus petite variation. Une variation plus petite suggère un résultat plus serré, plus précis, ce qui est généralement ce que les scientifiques veulent rapporter. Les chercheurs, qui avaient précédemment défendu cette approche même, ont décidé de la tester rigoureusement. Ils ont mis en place une simulation contrôlée où ils connaissaient la réponse exacte à l'avance. Ils ont généré des milliers d'ensembles de données avec des valeurs manquantes, ont créé vingt versions imputées différentes pour chacun, puis ont appliqué la règle de sélection : choisir la version ayant la plus petite erreur estimée.

Les résultats étaient frappants. Dans leurs simulations, où la réponse réelle était connue, la méthode consistant à choisir la plus petite erreur produisait des intervalles de confiance qui ne couvraient la réponse réelle qu'environ 84,5 % du temps, alors qu'ils auraient dû la couvrir 95 % du temps. Cela signifie que la méthode échouait à capturer la vérité plus souvent qu'elle ne le devrait. Les chercheurs ont identifié trois raisons distinctes à cet échec. Premièrement, en choisissant un seul ensemble de données et en le traitant comme s'il s'agissait de la seule donnée réelle, la méthode jetait l'écart entre les différentes suppositions. Cet écart est crucial car il représente l'incertitude sur les chiffres manquants. Deuxièmement, l'acte de choisir le plus petit nombre parmi un groupe de vingt biaise naturellement le résultat vers le bas. Tout comme la personne la plus petite dans une pièce de vingt personnes est probablement plus petite que la personne moyenne de la population générale, la plus petite estimation d'erreur d'un groupe de vingt est probablement plus petite que l'erreur moyenne réelle. Troisièmement, comme l'estimation de la valeur et l'estimation de son erreur sont souvent liées, choisir la plus petite erreur sélectionne par inadvertance un type spécifique de valeur, décalant la réponse finale par rapport à la vérité.

Pour illustrer la gravité du problème, les chercheurs ont comparé cette méthode de sélection à la méthode standard et acceptée de gestion des imputations multiples, connue sous le nom de règles de Rubin. Au lieu de choisir un vainqueur, les règles de Rubin combinent toutes les vingt suppositions en un seul résultat moyen. Lorsque les chercheurs ont appliqué cette méthode standard aux vingt suppositions exactes, les résultats étaient parfaitement calibrés. Les intervalles de confiance couvraient la réponse réelle 94,6 % du temps, pile dans la cible. La méthode de sélection, en revanche, semblait plus précise sur le papier, rapportant une plage d'incertitude plus étroite, mais cette précision était une illusion achetée au prix de l'exactitude.

L'étude a également exploré ce qui se passe lorsque les chercheurs augmentent le nombre de suppositions générées. Le conseil standard suggère que l'utilisation de davantage d'imputations conduit à des résultats meilleurs et plus stables. Cependant, pour la méthode de sélection, c'est le contraire qui se produit. À mesure que les chercheurs augmentaient le nombre de jeux de données candidats de deux à cent, la performance de la méthode de sélection se dégradait. Les intervalles de confiance devenaient encore moins fiables, ne couvrant la réponse réelle que 81,7 % du temps, tandis que le biais dans la réponse finale augmentait. En revanche, la méthode standard de combinaison de tous les essais restait stable et précise, quel que soit le nombre de suppositions utilisées. Cela a révélé un piège dangereux : un analyste suivant le conseil d'utiliser plus de données pour être plus prudent, en utilisant la méthode de sélection, rendrait en réalité son inférence moins fiable, sans aucun signe d'avertissement dans ses résultats.

Les chercheurs ont conclu que l'erreur standard ne peut servir à la fois de but à une analyse et de juge de son succès. On ne peut pas optimiser pour la plus petite erreur et ensuite faire confiance à cette erreur comme mesure honnête de l'incertitude. Ils ont proposé un nouveau protocole pour évaluer les méthodes statistiques : avant de comparer la précision de différentes méthodes, les chercheurs doivent d'abord vérifier si l'incertitude rapportée correspond à la variabilité réelle des résultats. Ils ont appelé cela une approche de « calibration d'abord ». Si une méthode rapporte une erreur trop petite par rapport à la vérité, elle doit être rejetée immédiatement, peu importe l'étroitesse de ses intervalles de confiance. Cette règle empêcherait la méthode de sélection de paraître un jour comme une gagnante dans une comparaison équitable.

Ce travail sert de correction à une idée spécifique et attrayante en science des données. Les chercheurs ont admis qu'ils avaient eux-mêmes proposé la méthode de sélection par le passé, la croyant être un raffinement valide. En réexaminant leur propre travail avec une simulation rigoureuse qui connaissait la vérité, ils ont démontré que la méthode était fondamentalement erronée. Ils ont souligné que cet échec n'est pas une simple technicité mineure, mais un problème structurel qui invalide l'inférence statistique. La solution qu'ils proposent est simple : ne choisissez pas un vainqueur. À la place, combinez tous les candidats. En regroupant les résultats, la méthode préserve l'incertitude nécessaire et produit des conclusions valides et dignes de confiance. L'étude rappelle que dans la quête de la précision, le raccourci le plus attrayant peut parfois être le chemin qui mène loin de la vérité.

Résumé technique : « La plus petite erreur type est la mauvaise : la sélection parmi plusieurs imputations invalide l'inférence »

1. Le Problème

L'article traite d'un défaut méthodologique spécifique dans l'analyse des données manquantes : la pratique consistant à générer plusieurs jeux de données imputés, à analyser chacun d'eux, puis à sélectionner le candidat unique présentant l'erreur type (ET) estimée la plus petite pour la rapporter. Bien que cette approche semble maximiser la précision, les auteurs démontrent qu'elle invalide systématiquement l'inférence statistique.

Le problème central est que la sélection de l'ET minimale parmi un ensemble de $M$ candidats introduit trois mécanismes distincts et cumulatifs d'erreur :

Élimination de la variance entre les imputations : En traitant le jeu de données sélectionné comme s'il s'agissait d'un échantillon observé, la procédure ignore la variabilité entre les imputations (le terme $B$ des règles de Rubin), qui est essentielle pour capturer l'incertitude due aux données manquantes.
Biais des statistiques d'ordre : Sélectionner le minimum de $M$ variances estimées introduit un biais vers le bas purement dû à l'acte de minimisation. À mesure que $M$ augmente, la valeur attendue du minimum diminue, sous-estimant davantage la variance intra-imputation réelle.
Biais induit par la sélection : Puisque les estimations ponctuelles et leurs erreurs types sont souvent dépendantes (par exemple, dans les distributions asymétriques ou les moyennes d'échantillon), la sélection basée sur l'ET constitue une sélection non aléatoire sur l'estimation ponctuelle elle-même. Cela introduit un biais dans l'estimation finale qui est indétectable à partir des résultats d'une analyse unique.

Les auteurs soutiennent que l'utilisation de l'erreur type à la fois comme critère d'optimisation et comme métrique de performance crée une validation circulaire où une méthode « gagne » simplement parce qu'elle optimise la métrique par laquelle elle est jugée, rendant la comparaison non informative.

2. Méthodologie

L'article utilise un cadre de simulation de Monte Carlo rigoureux pour isoler et quantifier ces effets.

Génération de données : L'étude utilise un processus de génération de données linéaire avec des covariables tirées d'une distribution normale multivariée. L'absence de données est imposée sous trois régimes : les données manquantes complètement au hasard (MCAR), les données manquantes au hasard (MAR) et les données manquantes non au hasard (MNAR).
Mécanisme d'imputation : Un modèle d'imputation de régression linéaire bayésien « approprié » est utilisé pour générer $M$ jeux de données complétés. Cela garantit que les tirages candidats eux-mêmes sont statistiquement valides ; l'échec est isolé strictement à l'étape de la combinaison.
Procédures comparées :
- RDOI (Random-Draw Observations Imputation) : La procédure défectueuse où le candidat ayant l'ET minimale est sélectionné.
- RDOI-R : La procédure corrigée où les mêmes $M$ candidats sont regroupés en utilisant les règles de Rubin.
- RDOI-SC : Une variante conservant la sélection qui tente de corriger l'estimation de la variance en réintégrant la composante entre-imputation et une pénalité pour le déplacement de l'estimation ponctuelle.
- Comparateurs : Analyse en cas complet (complete-case analysis), imputation par la moyenne, régression déterministe/stochastique et k-plus proches voisins (k-nearest neighbors).
Protocole d'évaluation : Les auteurs proposent un protocole de « calibration d'abord ». Au lieu de classer les méthodes par l'ET rapportée, ils introduisent le ratio de calibration ( $\rho$ $ρ$ ), défini comme la moyenne de l'erreur type rapportée divisée par l'écart type empirique de l'estimateur à travers les réplications.
- $\rho \approx 1,0$ : Rapport d'incertitude honnête.
- $\rho < 1,0$ : Surconfiance (sous-déclaration de la variance).
- L'admissibilité est déterminée par le fait que $\rho$ tombe dans une tolérance (par exemple, [0,9, 1,1]) avant que l'efficacité (largeur de l'intervalle) ne soit considérée.

3. Résultats Clés

Les résultats de la simulation, menés avec $n=400$ , 30 % de données manquantes et $M=20$ (avec des balayages jusqu'à $M=100$ ), produisent les conclusions suivantes :

Invalidité de la sélection : Sous MAR, la procédure RDOI (sélection de l'ET minimale) a produit un ratio de calibration de 0,77 et une couverture d'intervalle de confiance de 84,5 % pour un intervalle nominal de 95 %. En revanche, le regroupement par Rubin (RDOI-R) des mêmes tirages de candidats a obtenu un ratio de calibration de 1,00 et une couverture de 94,6 %.
Le balayage de $M$ : À mesure que le nombre d'imputations ( $M$ ) augmentait de 2 à 100, la performance de la procédure de sélection se dégradait de manière monotone. La couverture est passée de 86,7 % à 81,7 %, et l'ampleur du biais de l'estimation ponctuelle est passée de 0,021 à 0,079. Inversement, le regroupement de Rubin est resté stable et bien calibré.
Mécanisme de biais : La procédure de sélection a introduit un biais vers le bas dans l'estimation ponctuelle (-0,063) même si le modèle d'imputation sous-jacent était correctement spécifié et sans biais. Cela confirme que la règle de sélection distord le centre de l'inférence.
Comparaison avec d'autres méthodes : L'imputation par la moyenne a obtenu la plus petite ET rapportée (0,104) mais la pire couverture (23,3 %), illustrant que la minimisation de l'ET rapportée est un mauvais indicateur de l'exactitude.
Sensibilité : L'échec a persisté à travers différentes tailles d'échantillons ( $n=100$ à $1000$) et taux d'absence (10 % à 60 %). Sous MNAR, bien que la calibration de la variance soit restée proche de 1,0 pour les méthodes groupées, la couverture s'est effondrée en raison du biais du modèle, soulignant que la calibration est nécessaire mais non suffisante pour la validité.

4. Contributions Clés

Identification formelle des modes de défaillance : L'article identifie formellement les trois mécanismes (élimination de la variance entre-imputation, biais des statistiques d'ordre et biais de l'estimation ponctuelle induit par la sélection) qui causent l'échec de la sélection de l'ET minimale.
Le protocole « Calibration d'abord » : Les auteurs proposent un nouveau standard d'évaluation où les méthodes doivent d'abord passer une porte de calibration (rapport honnête de l'incertitude) avant que leur efficacité ne soit classée. Cela empêche l'« artefact d'optimisation » où une méthode semble supérieure simplement parce qu'elle minimise la métrique utilisée pour la juger.
Procédures corrigées :
- RDOI-R : Recommande d'abandonner la sélection au profit du regroupement de Rubin.
- RDOI-SC : Offre une solution de repli pour les flux de travail nécessitant un jeu de données complété unique, en utilisant un estimateur de variance gonflé pour restaurer la couverture, bien qu'au prix d'intervalles plus larges.
Reproductibilité : Les auteurs fournissent une implémentation de Monte Carlo entièrement gelée et reproductible (incluant les graines et les scripts de génération de données) qui régénère tous les résultats rapportés, corrigeant les écarts numériques de leur propre travail antérieur non accepté.

5. Signification et Revendications

L'article affirme que la pratique de sélectionner le « meilleur » jeu de données imputé sur la base de l'erreur type est une erreur systématique qui rend l'inférence invalide. Les auteurs retirent explicitement leur défense antérieure de cette procédure (RDOI/RDCOI), reconnaissant que leur dépendance précédente aux comparaisons d'erreurs types était erronée.

La signification de ce travail réside dans sa critique de la conception des benchmarks dans la littérature sur les données manquantes. Les auteurs soutiennent que :

Une quantité qu'une procédure optimise directement (comme l'ET) ne peut pas servir simultanément de métrique de performance non biaisée.
Les benchmarks qui classent les méthodes uniquement sur les erreurs types rapportées ou l'exactitude de la récupération de valeurs sont fondamentalement défectueux car ils ne peuvent pas détecter la sous-couverture ou la surconfiance.
Le « ratio de calibration » est un diagnostic à faible coût et haute valeur qui devrait être obligatoire dans les études de simulation pour distinguer l'incertitude honnête de la précision artificielle.

L'article conclut que l'échec n'est pas une question de degré mais de principe : une estimation de l'incertitude ne peut pas servir à la fois de critère d'optimisation et conserver son interprétation inférentielle habituelle. Les auteurs exhortent la communauté à adopter un protocole où la validité (calibration) est établie avant que l'efficacité ne soit évaluée.