Uncertainty Quantification for Multi-level Models Using the Survey-Weighted Pseudo-Posterior

Riepilogo Tecnico: Quantificazione dell'Incertezza per Modelli Multilivello Utilizzando la Pseudo-Posteriore Ponderata per il Campionamento

Enunciato del Problema
L'inferenza statistica per dati di sondaggi complessi si basa tipicamente su pesi di campionamento per correggere le probabilità di selezione disuguali e le caratteristiche del disegno (clustering, stratificazione). Sebbene il software standard possa incorporare questi pesi nei modelli bayesiani multilivello (gerarchici) per produrre stime puntuali coerenti per i parametri globali (ad esempio, effetti fissi), la conseguente quantificazione dell'incertezza è spesso errata. Nello specifico, le varianze posteriori e gli intervalli credibili derivati da una pseudo-posteriore ponderata per il campionamento non raggiungono tassi di copertura asintoticamente corretti (ad esempio, un intervallo nominale al 95% potrebbe non contenere il parametro vero nel 95% dei casi).

Questo problema è esacerbato nei modelli multilivello contenenti sia parametri globali (che beneficiano di informazioni crescenti all'aumentare della dimensione del campione $n \to \infty$) sia parametri locali (ad esempio, effetti casuali a livello di gruppo). I parametri locali dipendono spesso da sottoinsiemi più piccoli di dati, portando a tassi di riduzione della varianza più lenti (ad esempio, $\propto n^{-1/2}$ o persino costanti) rispetto ai parametri globali. Le ipotesi standard di normalità asintotica, che sostengono gli aggiustamenti della varianza "a sandwich", possono fallire per questi parametri locali, specialmente in campioni piccoli o sotto disegni di campionamento fortemente informativi, dove la distribuzione del campione differisce significativamente dalla popolazione.

Metodologia
Gli autori propongono e valutano modifiche a un esistente framework automatizzato di post-elaborazione (originariamente sviluppato da Williams e Savitsky, 2021) progettato per aggiustare la pseudo-posteriore ponderata per il campionamento. L'obiettivo principale è allineare la varianza della distribuzione posteriore bayesiana con la varianza asintotica dello stimatore di massima verosimiglianza (MLE) ponderato per il campionamento, che segue una forma "a sandwich": $H^{-1} J H^{-1}$.

Il documento valuta tre specifiche strategie di aggiustamento applicate ai campioni della pseudo-posteriore:

1. Aggiustamento Naif (Baseline): Questo approccio utilizza i gradienti del log-posteriore (che includono il prior) al posto dei gradienti del log-verosimiglianza per stimare la matrice di curvatura ($H$) e il prodotto esterno dei gradienti ($J$). Assume che la curvatura del prior sia trascurabile, un'ipotesi valida per i parametri globali ma dubbia per i parametri locali e gli iperparametri.
2. Aggiustamento per la Curvatura del Prior: Riconoscendo che il prior contribuisce alla curvatura posteriore ma non alla varianza guidata dai dati ($J$), questo metodo stima esplicitamente la matrice di curvatura del prior ($H_0$). Aggiusta lo stimatore a sandwich aggiungendo $H_0$ nuovamente nella stima della matrice $J$ ($J^* = J_{\xi} + H_0$) per prevenire una riduzione artificiale della scala per i parametri fortemente influenzati dal prior.
3. Trasformazione + Curvatura del Prior (Yeo-Johnson): Questo approccio affronta la non-normalità delle distribuzioni dei parametri (comune nei componenti di varianza e nei parametri gerarchici). Applica la trasformazione Yeo-Johnson per mappare i parametri in uno spazio più vicino alla normalità. L'aggiustamento a sandwich viene quindi eseguito sui parametri trasformati e i risultati vengono ritrasformati alla scala originale. Questo metodo incorpora anche la correzione per la curvatura del prior.

Per stimare le necessarie componenti di varianza ($J$) senza rieseguire il costoso MCMC per ogni replica, gli autori utilizzano un approccio ibrido che combina un jackknife delete-a-group (per i pesi di replica) con la linearizzazione di Taylor. Ciò consente di stimare l'effetto del disegno e la matrice di varianza a sandwich utilizzando un'unica serie di estrazioni posteriori.

Contributi Chiave

• Identificazione delle Limitazioni: Il documento dimostra che gli aggiustamenti "naif" a sandwich standard, che funzionano bene per gli effetti fissi globali, non forniscono una quantificazione corretta dell'incertezza per gli effetti casuali locali e i componenti di varianza nei modelli multilivello, portando spesso a una grave sottocopertura.
• Modifiche Proposte: Gli autori introducono due raffinamenti specifici al processo di aggiustamento automatizzato: (1) la correzione per la curvatura del prior per stabilizzare le stime dei parametri locali e (2) l'applicazione di trasformazioni Yeo-Johnson per mitigare l'impatto della non-normalità nello spazio dei parametri.
• Efficienza Computazionale: I metodi proposti operano come una correzione post-hoc a una singola esecuzione MCMC, evitando l'onere computazionale dei metodi di replica "brute-force" (che richiedono la ristima del modello per centinaia di dataset di replica).
• Validazione Empirica: I metodi sono validati attraverso studi di simulazione (Campionamento Casuale Semplice, Probabilità Proporzionale alla Dimensione e Campionamento a Due Stadi a Grappolo) e un'applicazione al National Survey on Drug Use and Health (NSDUH).

Risultati

• Simulazioni:
  • Negli scenari di Campionamento Casuale Semplice (SRS), l'aggiustamento naif ha sottocoperto gravemente gli effetti casuali e i parametri di varianza. L'approccio Yeo-Johnson (YJ) con curvatura del prior ha raggiunto una copertura vicina al nominale per gli effetti casuali, superando sia il metodo naif sia quello basato solo sulla curvatura del prior.
  • Nei disegni di campionamento informativi (PPS e a due stadi), tutti i metodi hanno faticato a raggiungere la copertura nominale del 95% a causa della forte informatività del disegno e delle piccole dimensioni campionarie. Tuttavia, l'approccio YJ ha fornito costantemente la migliore copertura per gli effetti casuali e i componenti di varianza, superando significativamente l'approccio naif.
• Applicazione NSDUH:
  • Applicato a una regressione logistica multilivello per la prevalenza della depressione tra gruppi intersezionali (razza, genere, orientamento sessuale), l'aggiustamento YJ ha prodotto intervalli credibili più ampi e conservativi rispetto alla pseudo-posteriore non aggiustata, riflettendo la necessaria penalità dell'"effetto del disegno".
  • L'approccio YJ ha fornito intervalli più efficienti rispetto a un metodo di replica brute-force applicato a un dataset sottocampionato, mantenendo al contempo prestazioni simili per domini piccoli.
  • Limitazione nelle Gerarchie Profonde: Quando applicato a un modello gerarchico "più profondo" con prior globali-locali (che penalizzano le interazioni di ordine superiore), l'aggiustamento YJ è diventato estremamente instabile, producendo intervalli inutilizzabili. Ciò suggerisce che l'aggiustamento automatico ha limiti quando applicato a strutture gerarchiche complesse e profonde.

Significato e Affermazioni
Il documento afferma che, sebbene l'inferenza bayesiana per dati di sondaggi complessi sia fattibile, gli aggiustamenti automatizzati standard sono insufficienti per i modelli multilivello contenenti parametri locali. Le modifiche proposte (in particolare la trasformazione Yeo-Johnson combinata con la correzione per la curvatura del prior) offrono un modo computazionalmente efficiente per migliorare la quantificazione dell'incertezza per i parametri globali e locali nei modelli gerarchici "bassi".

Gli autori concludono con modestia che, sebbene il loro approccio migliori i metodi esistenti per i modelli multilivello standard, non è una soluzione universale. L'instabilità osservata nei modelli gerarchici profondi indica la necessità di lavori futuri per diagnosticare quando i parametri sono "troppo profondi" o quando l'aggiustamento a sandwich è inappropriato, richiedendo potenzialmente strategie di aggiustamento differenziali o diagnosi (come il data cloning) per identificare i parametri stimabili. Il lavoro fornisce uno strumento pratico e automatizzato per i ricercatori che utilizzano dati di sondaggi in framework bayesiani gerarchici, in particolare per studi di intersezionalità e decomposizione della varianza.