Design Effect Ratios for Bayesian Survey Models: A Diagnostic Framework for Identifying Survey-Sensitive Parameters

1. Il Problema

Nell'inferenza bayesiana su dati di sondaggi complessi (es. campionamento a grappoli, pesi di sondaggio non uniformi), l'approccio standard consiste nel costruire una pseudo-posteriore esponenziando i contributi della verosimiglianza con i pesi del sondaggio. Tuttavia, i pesi distorcono la curvatura della log-verosimiglianza, portando a una matrice di covarianza a posteriori (calcolata tramite MCMC) che è spesso mal calibrata rispetto alla varianza reale del disegno di campionamento.

Per correggere questo, metodi precedenti (es. Williams & Savitsky, 2021) applicano una correzione di Cholesky "a coperta" (blanket correction) a tutti i parametri del modello. Sebbene questo garantisca una copertura frequentista nominale, l'approccio presenta due gravi svantaggi:

1. Costo computazionale elevato: Richiede la fattorizzazione di una matrice $d \times d$ (dove $d$ è il numero totale di parametri), con complessità $O(d^3)$.
2. Danno strutturale: In modelli gerarchici, la struttura a priori (shrinkage) protegge naturalmente alcuni parametri (come gli effetti casuali o le variabili esplicative tra-cluster) dalla sensibilità al disegno. Applicare una correzione uniforme a questi parametri "protetti" riduce artificialmente le loro intervalli di credibilità, peggiorando la copertura (es. da ~90% a ~20%) invece di migliorarla.

Manca quindi uno strumento diagnostico che identifichi quali parametri necessitano effettivamente di correzione e perché, permettendo un intervento selettivo.

2. Metodologia: Il Design Effect Ratio (DER)

L'autore propone il Design Effect Ratio (DER), definito come il rapporto tra la varianza "sandwich" (consistente con il disegno di campionamento) e la varianza a posteriori empirica ottenuta dall'MCMC per ogni singolo parametro $k$:

$$DER_k = \frac{[V_{sand}]_{kk}}{[\Sigma_{MCMC}]_{kk}}$$

Dove:

• $V_{sand}$ è la varianza sandwich (Bread $\times$ Meat $\times$ Bread) che incorpora la complessità del disegno.
• $\Sigma_{MCMC}$ è la covarianza empirica dei campioni MCMC dalla pseudo-posteriore.

Interpretazione del DER:

• DER $\approx$ 1: Il parametro è già ben calibrato dalla struttura gerarchica; nessuna correzione necessaria.
• DER > 1: La varianza a posteriori è sottostimata rispetto al disegno; il parametro è "sensibile al sondaggio" e richiede un allargamento dell'intervallo di credibilità.
• DER < 1: La varianza a posteriori è sovrastimata (spesso a causa dello shrinkage); una correzione ridurrebbe l'intervallo, danneggiando la copertura.

3. Contributi Chiave e Teoria

A. Teoremi di Decomposizione

Il contributo teorico principale è la dimostrazione che il DER può essere scomposto in fattori interpretabili legati alla struttura del modello:

1. Per gli Effetti Fissi (Fixed Effects):
   $$DER_{\beta_k} = DEFF \cdot (1 - R_k)$$
   Dove $DEFF$ è il classico effetto del disegno e $R_k$ è la frazione di variazione identificativa della covariata che proviene tra i cluster.

   • Le covariate con variazione entro il cluster ($R_k \approx 0$) ereditano l'intero $DEFF$ e richiedono correzione.
   • Le covariate con variazione tra i cluster ($R_k \approx B$) sono parzialmente protette dalla struttura gerarchica e hanno un DER ridotto.

2. Per gli Effetti Casuali (Random Effects):
   $$DER_{\theta_j} = B_j \cdot DEFF_j \cdot \kappa_j(J)$$
   Dove $B_j$ è il fattore di shrinkage (la proporzione di precisione dovuta all'a priori rispetto ai dati).

   • Un forte shrinkage ($B_j$ piccolo) agisce come uno scudo, riducendo drasticamente la sensibilità al disegno ($DER \approx 0$).
   • Questo collega l'inferenza bayesiana alla letteratura sulla stima delle piccole aree (Fay-Herriot).

3. Legge di Conservazione: La sensibilità al disegno non viene eliminata dal modello, ma ridistribuita. Lo shrinkage protegge gli effetti casuali trasferendo la sensibilità agli effetti fissi (media globale) che non hanno variazione tra-cluster.

B. Algoritmo Compute-Classify-Correct (CCC)

L'autore propone un flusso di lavoro pratico:

1. Compute: Calcolare i valori DER per tutti i parametri.
2. Classify: Identificare i parametri "flaggati" ($F$) dove $DER_k > \tau$ (soglia consigliata $\tau = 1.2$).
3. Correct: Applicare la correzione di Cholesky solo al sottoinsieme flaggato $F$.
   • Vantaggio computazionale: La complessità scende da $O(d^3)$ a $O(|F|^3)$. Se solo pochi parametri sono sensibili (come spesso accade), il guadino è enorme.

4. Risultati

Simulazioni (54 scenari, 10.800 repliche)

• Separazione Netta: Esiste un "abisso" strutturale tra i DER dei parametri sensibili (effetti fissi entro-cluster, DER $\approx$ 1.7 - 3.0) e quelli protetti (effetti fissi tra-cluster e effetti casuali, DER < 0.25).
• Copertura:
  • La strategia "a coperta" (blanket) mantiene una buona copertura per i parametri sensibili ma crolla a ~20% per i parametri protetti (distruggendo l'integrità degli intervalli).
  • La strategia selettiva (DER-guided) raggiunge una copertura del 87-88% per i parametri sensibili (uguale alla correzione completa) e mantiene una copertura vicina al nominale (90%) per i parametri protetti.
• Robustezza: La soglia $\tau = 1.2$ produce zero falsi positivi in tutte le repliche grazie all'ampio gap di separazione.

Applicazione Reale: NSECE 2019

Applicato al National Survey of Early Care and Education (6.785 provider, 51 stati):

• Il modello includeva 54 parametri (3 effetti fissi + 51 effetti casuali).
• Il DER ha identificato esattamente 1 parametro (il coefficiente della povertà a livello intra-statale) come sensibile al disegno ($DER = 2.643$).
• Gli altri 53 parametri (inclusi l'intercetta, la politica di rimborso statale e tutti gli effetti casuali) avevano $DER < 1$ e sono stati lasciati invariati.
• Impatto: Una correzione "a coperta" avrebbe ridotto l'intervallo di credibilità peggiore al 4.3% della sua larghezza originale, un errore grave. La correzione selettiva ha allargato solo l'intervallo necessario del 62.6%.
• Tempo di calcolo: L'intera pipeline diagnostica ha richiesto < 0.03 secondi, trascurabile rispetto al tempo di campionamento MCMC.

5. Significato e Implicazioni

1. Ponte tra Inferenza: Il DER opera nel paradigma "Calibrated Bayes", specificando precisamente quali aspetti della posterior richiedono calibrazione frequentista e quali sono già ben calibrati dalla struttura gerarchica.
2. Efficienza Computazionale: Trasforma un'operazione costosa ($O(d^3)$) in una quasi istantanea per modelli gerarchici reali, rendendo praticabile la correzione del disegno anche per grandi dataset.
3. Interpretabilità: Sposta la correzione del disegno da una "scatola nera" matematica a un processo diagnostico basato su concetti noti agli statistici (effetto del disegno, shrinkage, variazione entro/tra cluster).
4. Software: L'autore ha rilasciato il pacchetto R svyder che implementa questo flusso di lavoro, supportando backend come brms, cmdstanr e rstanarm.

In sintesi, il paper risolve il dilemma storico su come gestire i pesi nei modelli gerarchici bayesiani, dimostrando che una correzione uniforme è spesso dannosa e fornendo uno strumento diagnostico preciso per correggere solo ciò che è necessario.