Uncertainty Quantification for Multi-level Models Using the Survey-Weighted Pseudo-Posterior

Technische Samenvatting: Kwantificatie van Onzekerheid voor Meervoudige Modellen met Behulp van de Survey-Gewogen Pseudo-Posterior

Probleemstelling
Statistische inferentie voor complexe surveydata vertrouwt doorgaans op surveygewichten om ongelijkheid in selectiekansen en ontwerpeigenschappen (clustering, stratificatie) te corrigeren. Hoewel standaardsoftware deze gewichten kan integreren in Bayesiaanse meerlaagse (hiërarchische) modellen om consistente puntenschattingen voor globale parameters (bijv. vaste effecten) te produceren, is de resulterende kwantificatie van onzekerheid vaak onjuist. Specifiek bereiken de posteriorvarianties en geloofsbereiken die zijn afgeleid uit een survey-gewogen pseudo-posterior geen asymptotisch correcte dekkingpercentages (bijv. bevat een nominale 95%-interval de ware parameter niet 95% van de tijd).

Dit probleem wordt verergerd in meerlaagse modellen die zowel globale parameters (die profiteren van toenemende informatie naarmate de steekproefomvang $n \to \infty$) als lokale parameters (bijv. groepsgebonden willekeurige effecten) bevatten. Lokale parameters hangen vaak af van kleinere subsets van data, wat leidt tot langzamere snelheden van variantiereductie (bijv. $\propto n^{-1/2}$ of zelfs constant) in vergelijking met globale parameters. Standaard asymptotische normaliteitsaannames, die de basis vormen voor "sandwich"-variantieaanpassingen, kunnen falen voor deze lokale parameters, vooral in kleine steekproeven of onder sterk informatieve steekproefontwerpen waarbij de steekproefverdeling significant afwijkt van de populatie.

Methodologie
De auteurs stellen wijzigingen voor en evalueren deze in een bestaand geautomatiseerd nabewerkingskader (oorspronkelijk ontwikkeld door Williams en Savitsky, 2021) dat is ontworpen om de survey-gewogen pseudo-posterior aan te passen. Het kerndoel is om de variantie van de Bayesiaanse posterior af te stemmen op de asymptotische variantie van de survey-gewogen Maximum Likelihood Schatter (MLE), die een "sandwich"-vorm volgt: $H^{-1} J H^{-1}$.

Het artikel evalueert drie specifieke aanpassingsstrategieën die worden toegepast op de pseudo-posterior-steekproeven:

1. Naïeve Aanpassing (Basislijn): Deze aanpak gebruikt de gradiënten van de log-posterior (die de prior bevatten) in plaats van de gradiënten van de log-likelihood om de krommingsmatrix ($H$) en het buitenproduct van gradiënten ($J$) te schatten. Het gaat uit van een verwaarloosbare prior-kromming, een aanname die geldt voor globale parameters maar twijfelachtig is voor lokale parameters en hyperparameters.
2. Prior-Krommingsaanpassing: Met erkenning dat de prior bijdraagt aan de posterior-kromming maar niet aan de datagedreven variantie ($J$), schat deze methode expliciet de prior-krommingsmatrix ($H_0$). Het past de sandwich-schatting aan door $H_0$ terug te voegen in de schatting van de $J$-matrix ($J^* = J_{\xi} + H_0$) om kunstmatige schaalreductie te voorkomen voor parameters die sterk worden beïnvloed door de prior.
3. Transformatie + Prior-Kromming (Yeo-Johnson): Deze aanpak adresseert de niet-normaliteit van parameterverdelingen (vaak voorkomend bij variantiecomponenten en hiërarchische parameters). Het past de Yeo-Johnson-transformatie toe om parameters af te beelden op een ruimte die dichter bij normaliteit ligt. De sandwich-aanpassing wordt vervolgens uitgevoerd op de getransformeerde parameters, waarna de resultaten worden teruggetransformeerd naar de oorspronkelijke schaal. Deze methode integreert ook de prior-krommingscorrectie.

Om de benodigde variantiecomponenten ($J$) te schatten zonder de computationally dure MCMC voor elke replicate opnieuw te draaien, gebruiken de auteurs een hybride aanpak die een delete-a-group jackknife (voor replicate-gewichten) combineert met Taylor-linearisatie. Dit maakt het mogelijk om het design-effect en de sandwich-variantiematrix te schatten met behulp van één set posterior-trekkingen.

Belangrijkste Bijdragen

• Identificatie van Beperkingen: Het artikel demonstreert dat standaard "naïeve" sandwich-aanpassingen, die goed werken voor globale vaste effecten, falen in het leveren van correcte onzekerheidskwantificatie voor lokale willekeurige effecten en variantiecomponenten in meerlaagse modellen, wat vaak leidt tot ernstige onderdekking.
• Voorgestelde Wijzigingen: De auteurs introduceren twee specifieke verfijningen in het geautomatiseerde aanpassingsproces: (1) correctie voor prior-kromming om schattingen van lokale parameters te stabiliseren, en (2) toepassing van Yeo-Johnson-transformaties om de impact van niet-normaliteit in de parameterruimte te mitigeren.
• Computationele Efficiëntie: De voorgestelde methoden fungeren als een post-hoc correctie op één MCMC-run, waardoor de computatielast van "brute-force" replicatiemethoden wordt vermeden (die vereisen dat het model opnieuw wordt geschat voor honderden replicate datasets).
• Empirische Validatie: De methoden worden gevalideerd via simulatiestudies (Simple Random Sampling, Probability Proportional to Size, en Two-Stage Cluster Sampling) en een toepassing op het National Survey on Drug Use and Health (NSDUH).

Resultaten

• Simulaties:
  • In Simple Random Sampling (SRS)-scenario's onderdekte de naïeve aanpassing willekeurige effecten en variantieparameters ernstig. De Yeo-Johnson (YJ) met prior-kromming benadering bereikte een dekking die dicht bij het nominale niveau lag voor willekeurige effecten, en presteerde beter dan zowel de naïeve als de alleen-prior-kromming methoden.
  • In informatieve steekproefontwerpen (PPS en Two-Stage) hadden alle methoden moeite om een nominale 95%-dekking te bereiken vanwege de sterke informativiteit van het ontwerp en kleine steekproefomvang. De YJ-benadering leverde echter consequent de beste dekking voor willekeurige effecten en variantiecomponenten, en presteerde significant beter dan de naïeve aanpak.
• NSDUH-toepassing:
  • Toegepast op een meerlaagse logistische regressie voor de prevalentie van depressie over intersectionele groepen (ras, geslacht, seksuele geaardheid), produceerde de YJ-aanpassing bredere, conservatievere geloofsbereiken in vergelijking met de niet-aangepaste pseudo-posterior, wat de nodige "design effect"-straf weerspiegelt.
  • De YJ-benadering leverde efficiëntere intervallen op dan een brute-force replicatiemethode toegepast op een gesubsampleerde dataset, terwijl gelijkaardige prestaties voor kleine domeinen werden behouden.
  • Beperking in Diepe Hiërarchieën: Bij toepassing op een "dieper" hiërarchisch model met global-local priors (die hogere-orde interacties bestraffen), werd de YJ-aanpassing extreem instabiel, wat onbruikbare intervallen opleverde. Dit suggereert dat de automatische aanpassing grenzen heeft wanneer deze wordt toegepast op complexe, diepe hiërarchische structuren.

Betekenis en Claims
Het artikel claimt dat Bayesiaanse inferentie voor complexe surveydata haalbaar is, maar dat standaard geautomatiseerde aanpassingen ontoereikend zijn voor meerlaagse modellen die lokale parameters bevatten. De voorgestelde wijzigingen (specifiek de Yeo-Johnson-transformatie gecombineerd met prior-krommingscorrectie) bieden een computationeel efficiënte manier om de onzekerheidskwantificatie voor globale en lokale parameters in "ondiepe" hiërarchische modellen te verbeteren.

De auteurs concluderen bescheiden dat hun aanpak weliswaar een verbetering biedt ten opzichte van bestaande methoden voor standaard meerlaagse modellen, maar geen universele oplossing is. De instabiliteit die wordt waargenomen in diepe hiërarchische modellen wijst op de noodzaak van toekomstig werk om te diagnosticeren wanneer parameters "te diep" zijn of wanneer de sandwich-aanpassing ongepast is, wat mogelijk differentiële aanpassingsstrategieën of diagnostiek (zoals data cloning) vereist om schatbare parameters te identificeren. Het werk biedt een praktisch, geautomatiseerd hulpmiddel voor onderzoekers die surveydata gebruiken in hiërarchische Bayesiaanse kaders, met name voor intersectionaliteitsstudies en variantiedecompositie.