Variable Selection for Linear Regression Imputation in Surveys

Cet article propose un cadre méthodologique complet pour la sélection de variables dans l'imputation par régression linéaire en sondage, démontrant la convergence vers un modèle optimal et la validité asymptotique des intervalles de confiance qui en découlent.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tous, même sans bagage mathématique.

🕵️‍♂️ Le Grand Jeu de l'Enquête : Comment réparer les trous dans les données

Imaginez que vous êtes un enquêteur chargé de compter les pommes dans un immense verger (la population). Vous ne pouvez pas aller voir chaque arbre, alors vous choisissez un échantillon d'arbres (un échantillon) pour faire une estimation.

Mais voilà le problème : sur certains arbres de votre échantillon, vous ne pouvez pas voir les pommes (c'est le non-réponse ou les données manquantes). Si vous ignorez ces arbres, votre comptage sera faux.

Pour résoudre cela, les statisticiens utilisent une technique appelée imputation : ils devinent le nombre de pommes manquantes en se basant sur ce qu'ils voient sur les autres arbres (par exemple : "Cet arbre est grand et vert, donc il doit avoir beaucoup de pommes").

Le défi principal de cet article est le suivant : Quelles informations utiliser pour faire cette prédiction ? Faut-il regarder la taille de l'arbre ? La couleur des feuilles ? La quantité de pluie reçue ? Ou tout cela à la fois ?

🎯 Le Problème : Trop ou Pas Assez ?

Dans le monde de la statistique, il y a deux pièges classiques :

1. Oublier des indices importants : Si vous ne regardez que la taille de l'arbre alors que la couleur des feuilles est aussi cruciale, votre prédiction sera biaisée (fausse). C'est comme essayer de deviner le temps qu'il fera en regardant seulement l'heure, sans voir le ciel.
2. Ajouter des indices inutiles : Si vous ajoutez des détails qui n'ont aucun rapport (comme la couleur des chaussures du jardinier), vous "sur-ajustez" votre modèle. Vous créez une machine trop complexe qui se trompe souvent parce qu'elle essaie de trouver des motifs là où il n'y en a pas. C'est comme essayer de résoudre une énigme simple avec un manuel de physique quantique : c'est inutilement compliqué et cela introduit du bruit.

💡 La Solution Proposée : Le "Miroir Magique"

Les auteurs de cet article (An, Dagdoug et Haziza) ont développé une méthode intelligente pour choisir exactement les bons indices à utiliser, ni plus, ni moins.

Ils ont inventé ce qu'ils appellent une "fonction de perte oracle".

• L'Oracle : Imaginez un magicien omniscient qui connaît la vérité absolue sur chaque arbre du verger. Il sait exactement quelles variables sont importantes.
• La Fonction de Perte : C'est une règle mathématique qui mesure à quel point votre prédiction s'éloigne de la vérité du magicien.

Leur découverte majeure est que, si vous utilisez les bons critères mathématiques (comme le critère BIC, un outil très connu en statistique), votre modèle finit par imiter parfaitement l'Oracle.

🛠️ Comment ça marche en pratique ? (L'Algorithme)

L'article propose une recette en 4 étapes, comme une bonne recette de cuisine :

1. Le Choix des Ingrédients (Sélection de variables) : Vous lancez un test pour voir quelles variables (taille, couleur, etc.) sont vraiment utiles. Le critère BIC agit comme un chef exigeant qui jette les ingrédients inutiles et garde seulement les essentiels.
2. La Cuisine (Estimation) : Une fois les bons ingrédients choisis, vous faites votre prédiction (imputation) pour combler les trous.
3. Le Goût (Estimation de l'erreur) : Vous calculez à quel point votre recette est fiable. L'article prouve que même si vous avez choisi vos ingrédients vous-même, votre estimation de la fiabilité reste exacte.
4. Le Service (Intervalle de confiance) : Vous servez le plat avec une fourchette de sécurité (par exemple : "Il y a 95 % de chances que le nombre total de pommes soit entre 1000 et 1100"). L'article garantit que cette fourchette est la plus précise possible.

🌟 Pourquoi c'est important ?

Avant cette recherche, les statisticiens savaient bien faire des prédictions, mais ils avaient peur de choisir le mauvais modèle de prédiction, ce qui pouvait fausser les résultats finaux (comme les statistiques officielles sur le chômage ou le revenu).

Ce papier dit en gros : "Ne vous inquiétez pas !"
Si vous utilisez les bons outils de sélection de variables (comme le BIC), vous obtiendrez un résultat aussi bon que si vous aviez eu accès à la vérité absolue (l'Oracle) dès le début. De plus, vos calculs de fiabilité seront justes, même après avoir fait ce choix de modèle.

🏁 En Résumé

C'est un guide pour les enquêteurs qui disent :

"Quand vous avez des données manquantes, ne devinez pas au hasard. Utilisez un filtre intelligent pour sélectionner uniquement les indices qui comptent vraiment. Ainsi, votre estimation finale sera aussi précise que possible, et vous pourrez affirmer vos résultats avec une confiance totale."

C'est une avancée majeure pour rendre les sondages et les statistiques officielles plus fiables, plus précis et plus robustes face aux données manquantes.

Résumé technique

Voici un résumé technique détaillé de l'article « Variable Selection for Linear Regression Imputation in Surveys » (Sélection de variables pour l'imputation par régression linéaire dans les enquêtes), rédigé en français.

1. Problématique et Contexte

L'article aborde le problème crucial de l'non-réponse par élément (item nonresponse) dans le cadre de l'échantillonnage d'enquêtes. Lorsque des données manquantes sont présentes, la méthode standard consiste à utiliser l'imputation, c'est-à-dire remplacer les valeurs manquantes par des valeurs prédites. La qualité de l'estimateur final (par exemple, la moyenne de la population) dépend directement de la spécification du modèle d'imputation utilisé.

Le défi central réside dans le choix des variables explicatives (covariables) pour ce modèle. Bien que la sélection de variables soit un sujet bien étudié en statistique classique (pour la prédiction ou l'identification de modèles), son rôle spécifique dans l'imputation pour les données d'enquêtes a reçu moins d'attention. Les auteurs soulignent que l'objectif diffère de celui des données i.i.d. (indépendantes et identiquement distribuées) : dans les enquêtes, le but n'est pas seulement de retrouver le « vrai » modèle générateur de données, mais de sélectionner le modèle qui minimise l'erreur quadratique moyenne (MSE) de l'estimateur de la population finie, en tenant compte du plan de sondage et du mécanisme de non-réponse.

2. Méthodologie et Cadre Théorique

Les auteurs développent un cadre théorique rigoureux basé sur l'asymptotique des populations finies (Isaki and Fuller, 1982).

A. Définition d'une fonction de perte oracle

Pour évaluer l'efficacité d'un modèle d'imputation candidat $\alpha$, les auteurs introduisent une fonction de perte oracle $L_n(\alpha)$. Cette perte mesure le carré de la distance entre l'estimateur imputé $\hat{\mu}_\alpha$ et l'estimateur de Horvitz-Thompson complet (qui serait obtenu si toutes les données étaient observées).
$$L_n(\alpha) = E_m [(\hat{\mu}_\alpha - \hat{\mu}_\pi)^2]$$
Cette perte se décompose en deux termes :

1. Biais de modèle ($L_1$) : Lié à l'omission de covariables pertinentes.
2. Variance ($L_2$) : Liée à l'inclusion de covariables superflues.

B. Propriétés du modèle optimal

Les auteurs démontrent que le modèle minimisant cette perte (le modèle optimal $\alpha_{opt}$) coïncide asymptotiquement avec le vrai modèle $\alpha^\star$ (le support des coefficients non nuls), sous des conditions de régularité faibles. Cela établit un lien fondamental entre la sélection de modèle pour l'identification et la sélection pour l'imputation dans le contexte des enquêtes.

C. Conséquences de la mauvaise spécification

L'étude analyse l'impact de l'utilisation de modèles incorrects :

• Sous-ajustement (Omission de variables pertinentes) : Peut entraîner un biais asymptotique et une incohérence de l'estimateur, sauf si les covariables omises sont indépendantes du mécanisme de réponse ou linéairement liées aux variables incluses.
• Sur-ajustement (Inclusion de variables superflues) : N'induit pas de biais mais augmente la variance asymptotique, sauf si les variables ajoutées n'expliquent pas le mécanisme de non-réponse conditionnellement aux variables déjà incluses.

D. Procédure de sélection et d'inférence

Les auteurs proposent un algorithme en quatre étapes :

1. Sélection de modèle : Utiliser un critère de sélection de modèle cohérent (comme le BIC) sur les données des répondants. Ils démontrent que la cohérence des critères (BIC, AIC, etc.) dans le cadre i.i.d. se transfère au cadre des enquêtes sous des hypothèses de non-réponse aléatoire (MAR) et de plan de sondage non informatif.
2. Estimation ponctuelle : Calculer l'estimateur imputé $\hat{\mu}_{\hat{\alpha}}$ basé sur le modèle sélectionné.
3. Estimation de la variance : Utiliser des estimateurs de variance standards (approche « reverse » de Fay/Shao/Steel) adaptés au modèle sélectionné.
4. Intervalle de confiance : Construire des intervalles de confiance basés sur la distribution normale asymptotique.

3. Résultats Principaux

Les contributions théoriques majeures sont formalisées dans plusieurs théorèmes :

• Théorème 1 (Optimalité asymptotique) : Sous des conditions de régularité, le modèle minimisant la perte oracle est asymptotiquement le vrai modèle $\alpha^\star$.
• Théorème 2 (Équivalence avec l'oracle) : Si une procédure de sélection de modèle est cohérente (elle sélectionne le vrai modèle avec une probabilité tendant vers 1), alors l'estimateur imputé basé sur ce modèle sélectionné est asymptotiquement équivalent à l'estimateur oracle (basé sur le vrai modèle connu). Cela signifie que l'incertitude liée à la sélection de modèle disparaît asymptotiquement.
• Théorèmes 4 et 5 (Cohérence de la variance) : Les estimateurs de variance classiques, appliqués au modèle sélectionné par un critère cohérent, sont cohérents. Ils convergent vers la vraie variance asymptotique, tout comme si le vrai modèle était connu à l'avance.
• Théorème 6 et Corollaire 3 (Validité des intervalles) : Les intervalles de confiance construits après sélection de modèle sont asymptotiquement valides (couverture nominale atteinte) et optimaux (largeur minimale parmi tous les modèles candidats).

4. Études de Simulation

Les auteurs valident leurs résultats théoriques par des simulations numériques :

• Scénarios : Différentes tailles de population ($N$) et d'échantillon ($n$), plans de sondage (aléatoire simple et stratifié), et mécanismes de non-réponse (MAR).
• Comparaison des critères :
  • Le BIC s'est avéré être un critère cohérent, sélectionnant le vrai modèle avec une probabilité très élevée (97,6% pour $n=500$), conduisant à la meilleure efficacité.
  • L'AIC et la validation croisée tendent à sur-ajuster (inclure trop de variables), ce qui augmente la variance de l'estimateur par rapport au modèle vrai, bien que l'estimateur reste sans biais.
• Performance des intervalles : Les intervalles de confiance obtenus via la méthode proposée montrent des biais de variance négligeables et des taux de couverture empiriques très proches du niveau nominal (95%) pour des échantillons de taille modérée à grande.

5. Signification et Conclusion

Cet article apporte une justification théorique solide à l'utilisation des outils standards de sélection de modèles (comme le BIC) dans le contexte de l'imputation pour les enquêtes.

Points clés de la contribution :

1. Unification : Il relie la théorie de la sélection de modèle (identification) à l'efficacité de l'estimation dans les enquêtes.
2. Simplicité pratique : Il démontre qu'aucune correction complexe post-sélection (comme les méthodes de rééchantillonnage spécifiques) n'est nécessaire asymptotiquement. Les procédures d'inférence standards peuvent être appliquées directement après la sélection du modèle.
3. Robustesse : La méthode fonctionne aussi bien sous des plans de sondage à probabilités égales qu'inégales, tant que le plan est non informatif.

En résumé, les auteurs proposent un cadre méthodologique complet qui garantit que la sélection de variables pour l'imputation conduit à des estimateurs efficaces et à des inférences valides, comblant ainsi un vide important dans la littérature sur les données manquantes en statistique des enquêtes.