Bayesian Estimation of Variance under Fine Stratification via Mean-Variance Smoothing

1. Problématique et Contexte

L'article aborde un défi majeur dans les enquêtes par sondage utilisant une stratification fine (fine stratification). Dans ce type de design, la population est divisée en un grand nombre de strates disjointes, où l'on sélectionne un nombre très restreint d'unités de premier niveau (PSU - Primary Sampling Units) par strate, souvent une seule (design « un par strate ») ou deux.

• Avantage : Ce design permet d'obtenir un estimateur de la moyenne (ou du total) de la population, tel que l'estimateur de Horvitz-Thompson, qui est sans biais et efficace.
• Défi : L'estimation de la variance de cet estimateur devient problématique.
  • Lorsqu'il n'y a qu'une seule PSU par strate, la variance de conception ne peut pas être estimée directement car la probabilité d'inclusion conjointe de deux unités dans la même strate est nulle ($\pi_{jk} = 0$).
  • Solution traditionnelle (Strates regroupées) : La pratique courante consiste à regrouper les strates adjacentes par paires pour créer des « pseudo-strates » contenant plus d'unités, afin de calculer une variance. Cependant, cette méthode introduit un biais positif dans l'estimation de la variance. Ce biais augmente lorsque les moyennes des populations des strates regroupées diffèrent significativement, conduisant à des intervalles de confiance excessivement larges et inefficaces.
  • Méthode existante (Breidt et al., 2016) : Une approche non paramétrique basée sur des noyaux (kernel) a été proposée pour lisser les moyennes, mais elle repose toujours sur le regroupement préalable des strates et présente des limitations (biais, sensibilité au choix de la bande passante, problèmes aux frontières).

2. Méthodologie Proposée

Les auteurs proposent une nouvelle approche Bayésienne qui évite le regroupement des strates (collapsing) en modélisant simultanément la moyenne et la variance de manière non paramétrique.

A. Modélisation Statistique

Le cœur de la méthode repose sur l'hypothèse que la moyenne et la variance de la variable d'intérêt varient de manière lisse en fonction d'une variable auxiliaire (ou indice de regroupement) $x_h$ connue pour chaque strate $h$.

• Cas d'une seule PSU par strate ($n_h=1$) :
  On suppose que l'observation $y_h$ suit une loi normale :
  $$y_h \sim N(m(x_h), s^2(x_h))$$
  où $m(x_h)$ est la fonction de moyenne et $s^2(x_h)$ la fonction de variance.

• Cas de plusieurs PSU par strate ($n_h > 1$) :
  Le modèle est étendu pour inclure une structure de corrélation intra-strate (matrice de corrélation équicorrélée $\rho$) :
  $$\mathbf{y}_h \sim N_{n_h}(m(x_h)\mathbf{1}, s^2(x_h)R_h(\rho))$$

B. Lissage par Splines Pénalisées (P-Splines)

Pour modéliser les fonctions inconnues $m(x)$ et $s^2(x)$, les auteurs utilisent des splines pénalisées :

• La moyenne est modélisée par un polynôme de degré $q$ plus des termes de base de B-splines (ou C-splines) avec des nœuds $\kappa_l$.
• Le logarithme de la variance est modélisé de manière similaire pour garantir la positivité de la variance estimée : $\log s^2(x_h) = \dots$
• Les coefficients des termes de spline sont traités comme des effets aléatoires (distributions normales centrées sur 0 avec une variance inconnue $\tau^2$) pour éviter le surajustement (overfitting) et assurer la régularité des fonctions.

C. Inférence Bayésienne et Pondération

• Postérieur : Les auteurs construisent une distribution postérieure en intégrant les probabilités d'inclusion du sondage ($\pi_h$) via une vraisemblance pondérée (pseudo-vraisemblance). Les poids normalisés $\tilde{w}_h$ assurent la stabilité des résultats.
• Estimation : Les paramètres sont estimés via un algorithme MCMC (Metropolis-within-Gibbs). L'estimateur de variance Bayésien pour l'estimateur de Horvitz-Thompson est obtenu en sommant les variances estimées par le modèle, pondérées par le design d'échantillonnage, sans jamais regrouper les strates.

3. Contributions Clés

1. Élimination du regroupement des strates : Contrairement aux méthodes précédentes (Hansen et al., Breidt et al.), la méthode proposée n'a pas besoin de créer des pseudo-strates, éliminant ainsi la source principale de biais liée à l'hétérogénéité des moyennes entre strates regroupées.
2. Modélisation conjointe : L'estimation simultanée de la moyenne et de la variance permet une meilleure précision, car la structure de la variance est exploitée pour affiner l'estimation de la moyenne et vice-versa.
3. Flexibilité et facilité d'implémentation : L'approche utilise des splines pénalisées, une méthode robuste et flexible qui s'adapte bien aux données complexes sans hypothèses de distribution rigides sur la forme globale de la variance.
4. Mesure d'incertitude : En tant que méthode Bayésienne, elle fournit non seulement un estimateur ponctuel mais aussi une distribution postérieure complète, permettant de quantifier l'incertitude de l'estimateur de variance lui-même.

4. Résultats des Études

Les auteurs ont validé leur méthode à travers deux études de simulation et une application sur des données réelles.

A. Études de Simulation

Deux populations simulées ont été utilisées : une distribution normale (super-population gaussienne) et une distribution Gamma (population HMT).

• Critères d'évaluation : Biais absolu empirique (AB), Erreur Quadratique Moyenne (RMSE) et Probabilité de couverture (CP) à 95%.
• Résultats :
  • L'estimateur Bayésien ($var_{Bayes}$) présente systématiquement un biais et une RMSE inférieurs à ceux de l'estimateur par strates regroupées ($var_{Coll}$) et de l'estimateur par noyaux ($var_{Ker}$).
  • Les intervalles de confiance basés sur la méthode Bayésienne ont des taux de couverture beaucoup plus proches du niveau nominal de 95% (souvent > 0.95), tandis que les autres méthodes tendent à sous-couvrir ou à produire des intervalles trop larges.
  • La méthode est particulièrement performante lorsque le nombre de strates est grand et sous des designs d'échantillonnage systématiques.

B. Application sur les données NSFG (National Survey of Family Growth)

L'étude a été appliquée aux données de l'enquête NSFG (2015-2017) concernant la fécondité, l'éducation et le nombre d'enfants.

• Données : 18 strates, 4 clusters par strate (PSU).
• Résultats :
  • Les variances estimées par la méthode Bayésienne sont nettement plus petites (et donc plus précises) que celles obtenues par les méthodes de regroupement ou par noyaux.
  • Les intervalles de confiance résultants sont plus courts, indiquant une meilleure efficacité de l'estimation sans compromettre la couverture.
  • Cela démontre que la méthode évite la sur-estimation de l'incertitude inhérente aux méthodes traditionnelles de regroupement.

5. Signification et Perspectives

Cet article propose une avancée significative pour l'analyse des enquêtes à stratification fine, un design très utilisé par les agences gouvernementales (comme le Census Bureau américain ou l'INSEE en France).

• Impact pratique : La méthode offre aux statisticiens une alternative robuste pour estimer la variance sans sacrifier la précision en regroupant artificiellement les données. Cela permet de produire des intervalles de confiance plus fiables et plus étroits pour les indicateurs démographiques et économiques.
• Limites et travaux futurs :
  • L'hypothèse de normalité des résidus, bien que robuste pour un grand nombre de strates (théorème central limite), pourrait nécessiter des ajustements pour des distributions très asymétriques ou multimodales avec peu de strates.
  • L'extension à des estimations multivariées (covariance entre plusieurs estimateurs) et l'exploration de structures de corrélation plus complexes (au-delà de l'équicorrélation) sont identifiées comme des axes de recherche prioritaires.
  • L'utilisation de la variabilité postérieure pour définir des degrés de liberté effectifs pourrait améliorer les tests d'hypothèses et la construction d'intervalles de confiance.

En résumé, cette approche Bayésienne combinant lissage de moyenne-variance et splines pénalisées surmonte les limitations structurelles des estimateurs de variance classiques en stratification fine, offrant une solution plus précise et statistiquement fondée.