📊 statistics

Estimation beyond Missing (Completely) at Random

Cette étude propose un nouveau cadre théorique pour l'estimation de paramètres en dépassant l'hypothèse restrictive de données manquantes complètement au hasard (MCAR), en introduisant un modèle de contamination $\epsilon$ qui permet de quantifier l'erreur induite par des données manquantes non aléatoires (MNAR) tout en améliorant les performances minimax par rapport aux modèles de contamination arbitraires.

Auteurs originaux : Tianyi Ma, Kabir A. Verchand, Thomas B. Berrett, Tengyao Wang, Richard J. Samworth

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tianyi Ma, Kabir A. Verchand, Thomas B. Berrett, Tengyao Wang, Richard J. Samworth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Puzzle Incomplet

Imaginez que vous essayiez de comprendre la santé d'une population entière en interrogeant des gens dans la rue. Mais il y a un problème : certaines personnes refusent de répondre.

En statistiques, on appelle cela des "données manquantes".

Jusqu'à présent, les scientifiques utilisaient une règle très stricte appelée MCAR (Missing Completely At Random). C'est comme si, dans votre enquête, les gens qui ne répondaient pas étaient choisis par un pur hasard (par exemple, une pièce lancée à pile ou face). Si c'est le cas, c'est facile : il suffit de multiplier vos résultats par un petit coefficient pour compenser les absents.

Le problème ? Dans la vraie vie, le hasard n'existe presque jamais. Les gens qui ne répondent pas ont souvent une raison liée à eux-mêmes. Par exemple, dans une enquête sur le salaire, les gens très riches ou très pauvres sont souvent moins enclins à répondre. C'est ce qu'on appelle le MNAR (Missing Not At Random).

Si vous utilisez les vieilles méthodes sur ces données, vos conclusions seront fausses. C'est comme essayer de deviner la météo d'une année entière en ne regardant que les jours de grand soleil : vous allez conclure que l'hiver n'existe pas !

La Solution du Papier : Le Modèle de la "Contamination Réalisable"

Les auteurs de ce papier proposent une nouvelle façon de réfléchir. Au lieu de supposer que les données sont soit "parfaitement aléatoires", soit "totalement biaisées et imprévisibles", ils créent un juste milieu. Ils appellent cela le modèle de "contamination réalisable".

La métaphore de la Soupe et des Épices

Imaginez que vous cuisinez une soupe (votre population cible).

Le cas idéal (MCAR) : Vous servez la soupe, mais quelques cuillères tombent par terre par accident. C'est dommage, mais le goût de ce qui reste est toujours le même.
Le cas classique de "contamination" (Arbitraire) : Quelqu'un arrive et verse du sel ou du sucre dans votre bol de manière totalement imprévisible. Vous ne pouvez rien faire, la soupe est gâchée.
L'innovation des auteurs (Réalisable) : Imaginez que les gens qui ne répondent pas ne sont pas des "étrangers" qui versent du sel, mais que ce sont simplement des morceaux de légumes qui sont restés au fond de la casserole. Ils font partie de la soupe, mais ils sont "cachés" ou "différents" dans leur manière d'apparaître.

Le papier dit : "Si nous savons que les données manquantes proviennent de la même 'recette' (la même distribution) que les données observées, alors nous pouvons quand même retrouver le vrai goût de la soupe, même si beaucoup de morceaux manquent."

Ce qu'ils ont accompli (en trois points)

Ils ont trouvé la limite de la précision : Ils ont prouvé mathématiquement à quel point on peut être précis quand on sait que les données sont biaisées. Ils ont montré que même si une énorme partie des données manque, on peut encore obtenir une estimation très proche de la réalité, tant que le biais suit une certaine logique interne.
Un nouvel outil de calcul : Ils ont inventé un algorithme (le Minimum Kolmogorov Distance Estimator) qui agit comme un détective. Il regarde les données présentes et cherche la "recette" la plus probable qui pourrait avoir généré ces données, tout en tenant compte des morceaux manquants.
L'adaptation au réel : Ils ont montré que leur méthode fonctionne même si on ne connaît pas exactement le taux de personnes qui ne répondent pas. L'algorithme est capable de "deviner" le niveau de biais tout seul.

En résumé

Ce papier est une avancée majeure car il donne aux statisticiens des outils pour travailler avec le monde réel, qui est par définition imparfait et biaisé. Ils ont prouvé que le "silence" de certaines données (les non-réponses) n'est pas une fatalité, mais une information que l'on peut apprendre à décoder pour retrouver la vérité.

Résumé Technique : Estimation au-delà du mécanisme MCAR

1. Problématique

Le problème central de cet article est l'estimation de paramètres de population (notamment la moyenne) lorsque les données sont incomplètes. Traditionnellement, la recherche statistique repose sur l'hypothèse MCAR (Missing Completely At Random), où le mécanisme de données manquantes est indépendant de la distribution des données elles-mêmes. Cependant, dans la pratique (épidémiologie, économie, métabolomique), les données sont souvent MNAR (Missing Not At Random), c'est-à-dire que la probabilité qu'une donnée soit manquante dépend de la valeur de la donnée elle-même, ce qui introduit un biais systématique.

L'article souligne que l'hypothèse MAR (Missing At Random), bien que plus souple, présente des problèmes d'identifiabilité (il est parfois impossible de distinguer deux paramètres différents) et ne permet pas de mesurer la "proximité" de manière continue avec le cas idéal MCAR.

2. Méthodologie

Les auteurs introduisent un nouveau cadre théorique basé sur des modèles de contamination $\epsilon$ de type Huber. Ils proposent deux classes de modèles pour interpoler entre le cas MCAR et les cas de dépendance plus complexes :

Modèles de contamination arbitraire ( $\mathcal{P}_{arb}$ ) : On perturbe une distribution soumise au mécanisme MCAR par une composante de mélange arbitraire (proportion $\epsilon$ ). C'est une généralisation du modèle de contamination de Huber à la gestion des données manquantes.
Modèles de contamination réalisables ( $\mathcal{R}$ ) : C'est la contribution majeure. Ici, la composante de contamination n'est pas arbitraire, mais doit être une version MNAR de la distribution de base $P$ elle-même. Ce modèle est beaucoup plus réaliste car il suppose que les données (observées ou non) proviennent d'une même source, mais que le mécanisme de sélection est biaisé.

Pour évaluer la performance, les auteurs utilisent le cadre des quantiles minimax plutôt que le risque minimax classique (l'espérance de l'erreur), car le risque classique est infini dans les modèles de données manquantes (en raison de la probabilité d'observer un échantillon vide).

3. Contributions Clés et Résultats

A. Estimation de la moyenne (Cas arbitraire)

Les auteurs présentent l'algorithme ITERATIVE_ROBUST_MEAN. Cet algorithme utilise l'imputation itérative pour transformer un estimateur robuste de données complètes en un estimateur robuste pour données manquantes.

Résultat : Ils établissent des bornes supérieures et inférieures montrant que l'erreur se décompose en deux termes : un terme lié au cas MCAR et un terme de "départ de MCAR" proportionnel à $\epsilon$ .

B. Supériorité des modèles "réalisables" (Cas Gaussien et Non-paramétrique)

L'article démontre que restreindre la contamination au modèle "réalisable" améliore considérablement les garanties de performance :

Cas Gaussien : Ils introduisent l'estimateur de distance de Kolmogorov minimale. Contrairement au cas arbitraire où l'estimation devient impossible dès que $\epsilon$ dépasse un certain seuil, dans le modèle réalisable, une estimation cohérente est possible même si la proportion de données manquantes et la contamination tendent vers 1.
Cas Non-paramétrique : Ils étendent ces résultats aux distributions ayant seulement des moments finis ou des conditions de décroissance de queue (normes d'Orlicz). Ils prouvent que les taux minimax sont optimaux.

C. Extension à la régression linéaire

Les auteurs étendent leur cadre aux modèles de régression où la variable réponse est manquante. Ils introduisent l'hypothèse de "design $(\beta, \gamma)$ -régulier" et prouvent que l'estimateur de Kolmogorov permet une estimation cohérente des coefficients de régression, même sous des conditions de MNAR.

D. Adaptabilité

Ils proposent une stratégie (type Lepski) permettant d'estimer les paramètres même lorsque le taux de contamination $\epsilon$ est inconnu, avec un coût computationnel et statistique très faible.

4. Signification et Impact

Ce travail est fondamental pour plusieurs raisons :

Réalisme statistique : Il fournit un cadre mathématique rigoureux pour traiter le biais de sélection, un problème omniprésent dans les données réelles.
Robustesse vs Identifiabilité : Il résout le dilemme entre la robustesse (modèles arbitraires trop pessimistes) et l'identifiabilité (modèles MAR trop restrictifs) en proposant la classe des modèles "réalisables".
Outils algorithmiques : L'introduction de l'estimateur de distance de Kolmogorov et de l'imputation itérative offre des outils concrets pour les praticiens confrontés à des données biaisées.

En résumé, l'article établit que si l'on suppose que les données manquantes proviennent de la même distribution de base que les données observées (modèle réalisable), on peut obtenir des résultats d'estimation extrêmement performants, bien au-delà de ce que la théorie classique sur le MCAR ou le MAR laissait présager.