Bayesian Optimal Sample Design for Surveys with Heteroscedasticity

Technische Samenvatting: Bayesiaans Optimaal Steekproefontwerp voor Enquêtes met Heteroscedasticiteit

Probleemstelling
Steekproefstatistici zoeken al lang naar optimale allocatiestrategieën voor steekproeven om objectieve functies, zoals de variantie van een eindige populatietotaal, te minimaliseren onder beperkingen van kosten of steekproefomvang. Traditionele theorie voor optimale allocatie, daterend uit de tijd van Neyman (1934) en uitgebreid door Cochran (1977), gaat doorgaans uit van het scenario dat ontwerpparameters (bijv. strata-varianties) bekend zijn. In de praktijk zijn deze parameters echter onbekend en moeten ze worden geschat op basis van eerdere enquêtes of pilotgegevens. Praktijkgebruikers vervangen deze schattingen vaak direct in de allocatieformules (de plug-in benadering), een praktijk die de onzekerheid die inherent is aan de schattingen negeert en de efficiëntie van de steekproef in gevaar kan brengen.

Hoewel de Bayesiaanse besluitvormingstheorie voor optimaal experimenteel ontwerp een kader biedt om dergelijke substituties te vermijden door te middelen over predictieve distributies, werd deze benadering intensief bestudeerd van het midden van de jaren '60 tot het begin van de jaren '80 en is zij sindsdien over het hoofd gezien. Een kritieke beperking van dit vroege Bayesiaanse werk is dat het over het algemeen geen rekening hield met heteroscedastische foutenstructuren, die fundamenteel zijn voor veelgebruikte ratio-schattingsmodellen en vestigingsonderzoeken waar de variantie vaak meeschaalt met de grootte van de eenheid.

Methodologie
De auteurs stellen een Bayesiaanse optimale steekproefallocatiebenadering voor voor gestratificeerde steekproeftrekking (STSRS) binnen populaties die heteroscedasticiteit vertonen. De methodologie is gebaseerd op de Bayesiaanse besluitvormingstheorie (Lindley 1972) en inferentie voor eindige populaties (Ericson 1969a).

1. Modelspecificatie: De auteurs gaan uit van een univariate regressiemodel waarbij de strata-gemiddelden en -varianties functies zijn van een bekende hulpvariabele $X$. Specifiek volgt voor stratum $h$ de uitkomst $Y_{hi}$:
   $$Y_{hi} = \alpha_h X_{hi} + \epsilon_{hi}, \quad \epsilon_{hi} \sim N(0, v_h X_{hi}^b)$$
   Hierbij zijn $\alpha_h$ en $v_h$ onbekende parameters, en $b \geq 0$ is een bekende coëfficiënt van heteroscedasticiteit. De auteurs nemen een niet-informatieve prior aan op de parameters en maken gebruik van een pilot-dataset ($D_1$) om het ontwerp van een hoofdstudie ($D_2$) te informeren.

2. Besluitvormingskader: Het doel is om de verwachte posterior variantie van het gemiddelde van de eindige populatie te minimaliseren onder een kwadratische foutverliesfunctie (squared error loss function). Volgens het kader van Lindley houdt dit een tweestaps-proces in:

   • Terminale Analyse: Het afleiden van de posterior distributie van het populatiegemiddelde gegeven de gegevens van de hoofdstudie.
   • Preposterior Analyse: Het middelen van het posterior verlies over de predictieve distributie van de hoofdstudie (conditioneel op de pilotgegevens) om de verwachte posterior loss te verkrijgen.

3. Analytische Afleiding: De auteurs leiden een benaderende analytische expressie af voor de verwachte posterior variantie (Vergelijking 13) met behulp van een eerste-orde Taylor-reeksbenadering. Deze expressie is afhankelijk van bekende populatiehoeveelheden, de pilot-steekproef en de voorgestelde allocatie van de hoofdstudie $\{n_h\}$. Een exact resultaat wordt eveneens verstrekt, maar vereist Monte Carlo (MC) integratie.

4. Optimalisatie: De optimale allocatie wordt geïdentificeerd door de afgeleide verwachte posterior loss te minimaliseren onder restricties (bijv. totale kosten of steekproefomvang, en minimale stratum-steekproefgroottes $n_h \geq 4$). Standaard convexe optimalisatiemethoden worden gebruikt om dit probleem op te lossen.

Belangrijkste Bijdragen

• Uitbreiding van Bayesiaans Ontwerp: Het artikel adresseert een gat in de Bayesiaanse literatuur door rekening te houden met heteroscedastische foutenstructuren, een veelvoorkomend kenmerk in vestigingsonderzoeken en ratio-schattingen, die eerder Bayesiaanse ontwerpen (bijv. Draper en Guttman 1968b) niet konden verwerken.
• Omgaan met Parameteronzekerheid: In tegen tegenstelling tot plug-in benaderingen die punt-schattingen voor onbekende varianties gebruiken, integreert de voorgestelde methode de onzekerheid van de ontwerpparameters met behulp van de pilot-data, waardoor de efficiëntieverliezen die gepaard gaan met substitutie worden vermeden.
• Analytische en Computationele Oplossingen: De auteurs bieden een gesloten vorm benadering van de verwachte posterior loss, wat efficiënte optimalisatie faciliteert, terwijl zij ook een Monte Carlo-alternatief schetsen voor gevallen waarin de benadering ontoereikend kan zijn.

Resultaten
De auteurs evalueerden de voorgestelde Bayesiaanse strategie (B-P) tegenover verschillende alternatieven over 90 kunstmatig gegenereerde populaties en een reële toepassing met behulp van IRS Form 990-gegevens voor publieke liefdadigheidsinstellingen.

• Simulatiebevindingen:

  • Vergelijking met Design-Based Methoden: De B-P strategie presteerde consequent beter dan de zuiver design-gebaseerde Neyman-allocatie (N-HT), die geen gebruik maakte van hulpinformatie. De relatieve Root Mean Square Error (RMSE) van N-HT was 11% tot 175% hoger dan die van B-P, waarbij de grootste winsten optraden in populaties met hoge correlaties en hoge heteroscedasticiteit.
  • Vergelijking met Model-Assisted Methoden: B-P presteerde even goed als of beter dan de Cochran plug-in separate ratio estimator (C-SR). B-P toonde duidelijke voordelen in populaties met hoge scheefheid (skewness) en extreme heteroscedasticiteit (bijv. $b=2$), waar C-SR hogere RMSE-toenames vertoonde (tot 29% in specifieke scenario's).
  • Stabiliteit: B-P produceerde stabielere steekproefallocaties bij herhaalde pilot-steekproeftrekkingen vergeleken met C-SR, met name in sterk scheve populaties.
  • Vuistregel-strategieën: Strategieën die steunen op vaste vuistregels (bijv. $n_h \propto N_h \bar{X}_h$) presteerden significant slechter dan B-P en C-SR wanneer de onderliggende heteroscedasticiteit niet overeenkwam met de aanname van de regel.
  • Gevoeligheid voor Misspecificatie: De B-P strategie was gevoelig voor de misspecificatie van de heteroscedasticiteitscoëfficiënt $b$ in populaties met zeer scheve grootheidsmaten en lage werkelijke $b$-waarden. Echter, voor veel andere populaties was de strategie relatief ongevoelig voor misspecificatie.

• Reële Toepassing:

  • In een analyse van de inkomsten van publieke liefdadigheidsinstellingen bereikte de B-P strategie een aanzienlijk lagere RMSE vergeleken met N-HT.
  • Bij toepassing op de originele schaal van de gegevens (waar de normaliteitsaanname een slechte fit was), presteerde B-P nog steeds beter dan N-HT, hoewel de marge ten opzichte van C-SR kleiner werd. Dit suggereert robuustheid, zelfs wanneer de modelveronderstellingen imperfect zijn.

Betekenis en Claims
Het artikel beweert een rigoureus en flexibel kader te bieden voor steekproefallocatie dat expliciet rekening houdt met de onzekerheid in ontwerpparameters en heteroscedasticiteit. De auteurs positioneren hun werk als een herleving en modernisering van de Bayesiaanse optimale ontwerptheorie, waarbij gebruik wordt gemaakt van hedendaagse computerkracht om de analytische beperkingen van de literatuur uit de jaren '60 tot '80 te overwinnen.

De auteurs merken bescheiden op dat hoewel hun methode goed presteert onder de aangenomen modellen en in reële toepassingen, het prestatieverschil tussen B-P en model-geassisteerde alternatieven (zoals C-SR) in bepaalde scenario's met echte data klein kan zijn. Zij benadrukken dat de voorgestelde aanpak de "gekalibreerde Bayes"-paradigma volgt, waarbij Bayesiaanse methoden worden gebruikt voor het ontwerp, maar de prestaties worden geëvalueerd via frequentistische metrieken (bias, RMSE, dekking). Het artikel concludeert dat hoewel de methode effectief is, toekomstig werk nodig is om multivariate modellen, verschillende foutverdelingen en scenario's aan te pakken waarin de heteroscedasticiteitscoëfficiënt $b$ onbekend is of moet worden geschat uit zeer kleine steekproeven.