Bayesian Estimation of Variance under Fine Stratification via Mean-Variance Smoothing

1. Il Problema: Stima della Varianza nella Stratificazione Fine

La stratificazione fine è un disegno di campionamento ampiamente utilizzato in indagini statistiche complesse (es. Current Population Survey, National Survey of Family Growth), dove l'unità di campionamento primaria (PSU) viene selezionata in modo indipendente da strati disgiunti, spesso con un numero molto ridotto di unità per strato (tipicamente una o due PSU).

• Vantaggi: Questo approccio garantisce che lo stimatore di Horvitz-Thompson per la media o il totale della popolazione sia invariato (non distorto) ed efficiente.
• Sfida Principale: La stima della varianza dello stimatore diventa problematica. Quando c'è una sola PSU per strato, la varianza di progetto non è stimabile (poiché la probabilità di inclusione congiunta è zero). Con due o tre PSU, la varianza stimata presenta un'alta variabilità.
• Metodi Tradizionali e Limiti: La pratica comune per ovviare a questo problema è il collasso degli strati (pairing), ovvero accoppiare strati adiacenti per creare "pseudo-strati" con più unità, permettendo così il calcolo della varianza. Tuttavia, questo metodo introduce un bias positivo nella stima della varianza, specialmente quando le medie dei popolazioni degli strati accoppiati differiscono significativamente. Di conseguenza, gli intervalli di confidenza risultano spesso eccessivamente ampi (conservativi). Anche i metodi non parametrici basati su kernel (es. Breidt et al., 2016), pur migliorando la situazione, richiedono ancora un pre-collasso degli strati e soffrono di problemi di bias ai bordi e di scelta della banda.

2. Metodologia Proposta: Stima Bayesiana con Smoothing Media-Varianza

Gli autori propongono un nuovo stimatore bayesiano della varianza che evita completamente il collasso degli strati, modellando direttamente la struttura della popolazione.

Modello Statistico

Il metodo assume che le medie e le varianze degli strati varino in modo continuo in funzione di una covariata ausiliaria (es. dimensione della popolazione, posizione geografica), indicata con $x_h$.

• Distribuzione: Per ogni strato $h$, la variabile di interesse $y_h$ è modellata come:
  $$y_h \sim N(m(x_h), s^2(x_h))$$
  dove $m(x_h)$ è la funzione media e $s^2(x_h)$ è la funzione di varianza, entrambe sconosciute.

Smoothing con Penalized Spline (P-Spline)

Per modellare le funzioni non parametriche $m(x)$ e $s^2(x)$, viene utilizzata la tecnica dei penalized splines:

• Le funzioni sono espresse come combinazioni lineari di basi polinomiali e termini di base "truncated" (knots).
• Per evitare l'overfitting, i coefficienti associati ai knot sono trattati come effetti casuali con distribuzione normale a media zero e varianza incognita ($\tau^2$).
• Viene stimata simultaneamente sia la funzione media che il logaritmo della funzione di varianza (per garantire la positività).

Inferenza Bayesiana

• Likelihood: Viene utilizzata una pseudo-verosimiglianza ponderata che incorpora le probabilità di inclusione del disegno di campionamento ($\pi_h$) per gestire il campionamento informativo.
• Priori: Vengono assegnate priori diffuse per i coefficienti di regressione e priori debolmente informative (Inverse-Gamma) per le varianze degli effetti casuali.
• Computazione: L'inferenza viene eseguita tramite algoritmi MCMC (Metropolis-within-Gibbs) per ottenere la distribuzione a posteriori dei parametri.
• Estensione Multi-PSU: Il modello è generalizzabile a casi con più di una PSU per strato, introducendo una matrice di correlazione equicorrelata ($\rho$) tra le unità all'interno dello stesso strato.

3. Contributi Chiave

1. Nessun Collasso degli Strati: A differenza dei metodi precedenti, l'approccio proposto non richiede la creazione di pseudo-strati, eliminando la fonte principale del bias positivo legato alla differenza di medie tra strati accoppiati.
2. Modellazione Simultanea: Il metodo stima congiuntamente media e varianza, sfruttando la correlazione tra le due per migliorare la precisione.
3. Flessibilità Non Parametrica: L'uso degli spline penalizzati permette di adattarsi a relazioni complesse tra la covariata ausiliaria e le statistiche di interesse senza assumere forme funzionali rigide.
4. Quantificazione dell'Incertezza: Oltre alla stima puntuale, il framework bayesiano fornisce l'intera distribuzione a posteriore, permettendo una migliore caratterizzazione dell'incertezza.

4. Risultati Sperimentali

Gli autori hanno valutato le prestazioni del metodo attraverso studi di simulazione e un'analisi su dati reali.

Studi di Simulazione

Sono stati generati due tipi di popolazioni super:

1. Popolazione Gaussiana: Con diverse configurazioni di varianza interna ($\phi$) e numero di strati ($H$).
2. Popolazione HMT (Gamma): Basata su distribuzioni gamma per simulare scenari più realistici e asimmetrici.

Risultati principali:

• Bias e RMSE: Lo stimatore bayesiano ($var_{Bayes}$) ha mostrato sistematicamente un bias assoluto (AB) e un errore quadratico medio (RMSE) inferiori rispetto allo stimatore a strati collassati ($var_{Coll}$) e allo stimatore basato su kernel ($var_{Ker}$).
• Copertura degli Intervalli: Gli intervalli di confidenza al 95% generati dal metodo bayesiano hanno mostrato tassi di copertura più vicini al livello nominale (95%) rispetto agli altri metodi, che tendevano a sottocoprire o sovracoprire a seconda dello scenario.
• Robustezza: Le prestazioni sono rimaste superiori anche in presenza di disegni di campionamento sistematici e popolazioni non normali.

Analisi su Dati Reali (NSFG)

Il metodo è stato applicato ai dati del National Survey of Family Growth (2015-2017), un'indagine complessa con stratificazione fine.

• Variabili: Età alla gravidanza, anni di istruzione, numero di nascite.
• Risultati: Le varianze stimate con il metodo bayesiano sono risultate significativamente più piccole (e quindi più precise) rispetto a quelle ottenute con il collasso degli strati o il kernel. Di conseguenza, gli intervalli di confidenza risultanti sono stati più stretti, offrendo stime più informative senza sacrificare la copertura.

5. Significato e Implicazioni

Questo lavoro rappresenta un avanzamento significativo nella metodologia delle indagini campionarie:

• Efficienza: Permette di ottenere stime di varianza più accurate e intervalli di confidenza più stretti, riducendo l'incertezza nelle stime ufficiali.
• Applicabilità Pratica: Il metodo è implementabile e può essere adottato da agenzie governative (come il Census Bureau) per migliorare la qualità delle stime derivanti da disegni di campionamento a strati fini.
• Flessibilità Futura: Il framework bayesiano è modulare e può essere esteso per includere più covariate, strutture di correlazione più complesse (es. autoregressive) e stime di varianza multivariata, aprendo nuove direzioni di ricerca per l'inferenza statistica in contesti di campionamento complesso.

In sintesi, l'articolo propone una soluzione elegante e robusta al problema storico della stima della varianza nella stratificazione fine, sostituendo approcci basati su approssimazioni geometriche (collasso) con un modello statistico sofisticato che sfrutta la struttura dei dati attraverso lo smoothing bayesiano.