Finite Population Sampling as n to N: Empirical Evidence for the Transition from Inference to Accuracy

Technische Samenvatting: Steekproeven uit een eindige populatie als $n \to N$

Probleemstelling
Het artikel adresseert een fundamentele disconnectie tussen klassieke inferentiële statistiek en de realiteit van moderne grootschalige datasystemen. De Centrale Limietstelling (CLT) en standaard inferentiële kaders vertrouwen op de aanname dat steekproeven worden getrokken uit effectief oneindige populaties, of dat het steekproefaandeel ($f = n/N$) klein is. Onder deze omstandigheden is steekproefvariatie de primaire bron van onzekerheid, en benaderen randomisatiedistributies normaliteit.

Echter, moderne datastromen (administratieve registers, transactielogboeken, sensordata) vangen vaak grote fracties van eindige populaties, waarbij ze de volledige enumeratie benaderen ($n/N \to 1$). In dit "near-enumeratie"-regime drijft de correctiefactor voor eindige populaties (FPC) $(1 - n/N)$ de theoretische variantie van schatters naar nul. Het artikel onderzoekt het gedrag van schatters naarmate het steekproefaandeel de eenheid nadert, en stelt de vraag of klassieke inferentiële hulpmiddelen (standaardfouten, betrouwbaarheidsintervallen, normale benaderingen) nog betekenisvol blijven wanneer steekproefvariatie mechanisch instort door populatie-uitputting in plaats van door verbeterde informatiewinst.

Methodologie
De studie hanteert een computergestuurde simulatiebenadering met een GPU-gebaseerd platform om empirisch de overgang van klassieke steekproeftrekking naar near-enumeratie te observeren. De methodologie is gestructureerd in vier fasen:

1. Populatieconstructie: Twee expliciete eindige populaties ($N = 10^7$) met bekende parameters (gemiddelde $\mu$ en variantie $\sigma^2$) werden gegenereerd. De ene volgde een discrete uniforme verdeling, de andere een synthetische empirische verdeling. Deze parameters dienden als vaste ground truth, waardoor er geen behoefte was aan inferentie over onbekende parameters.
2. Steekproefontwerp: De onderzoekers voerden herhaalde steekproeven zonder teruglegging uit over een breed scala aan steekproefaandelen ($f$), van klein ($0.01$) tot volledige enumeratie ($1.00$).
3. Analyse van Randomisatiedistributie (Fasen 1–3): Voor vaste steekproefaandelen genereerde het team empirische randomisatiedistributies van het steekproefgemiddelde. Ze vergeleken de geobserveerde variantie met theoretische voorspellingen afgeleid van de theorie van steekproeven uit eindige populaties (specifiek de FPC-formule).
4. Numerieke Precisie-analyse (Fase 4): Zodra steekproefvariatie effectief was geëlimineerd (bij $n=N$), isoleerde de studie de resterende afwijking van het steekproefgemiddelde ten opzichte van het bekende populatiegemiddelde. Deze fase testte diverse computatieroutes, waaronder:
   • Hardware: CPU- versus GPU-implementaties.
   • Precisie: Dubbele precisie (FP64) versus enkele precisie (FP32) rekenkunde.
   • Algoritmen: Naïeve sommatie, gecompenseerde sommatie, boomgebaseerde reducties en sommatie in willekeurige volgorde.

Belangrijkste Resultaten
De experimenten identificeerden drie distincte regimes van schattergedrag:

1. Klassiek Steekproefregime ($n/N \ll 1$): De empirische variantie kwam nauw overeen met de benadering voor oneindige populaties ($\sigma^2/n$).
2. Regime voor Eindige Populatie (Matige tot Grote $n/N$): Naarmate het steekproefaandeel toenam, daalde de empirische variantie snel, en stemde deze precies overeen met de theorie van de correctiefactor voor eindige populaties. De randomisatiedistributie versmalde aanzienlijk voordat volledige enumeratie werd bereikt.
3. Near-Enumeratie Regime ($n/N \to 1$):
   • Inzinking van Steekproefvariatie: Naarmate $n$ de waarde $N$ benaderde, verdween steekproefvariatie. Bij $n=N$ was het steekproefgemiddelde exact gelijk aan het populatiegemiddelde, en stortte de randomisatiedistributie in tot één enkel punt.
   • Opkomst van Numerieke Dominantie: Bij afwezigheid van steekproefwillekeur werd de resterende afwijking van de schatter uitsluitend gedreven door numerieke effecten.
   • Precisiegevoeligheid: Bij volledige enumeratie was de geobserveerde variantie uitsluitend niet-nul vanwege drijvende-komma-accumulatiefouten. Gecompenseerde sommatie in FP64 verlaagde de variantie tot bijna nul ($< 10^{-15}$), terwijl naïeve sommatie in FP32 een resterende variantie vertoonde ($\approx 10^{-7}$).

Belangrijkste Bijdragen

• Empirische Validatie van Variantie-inzinking: De studie levert hoog-resolutie empirisch bewijs dat steekproefvariatie structureel afneemt naarmate de populatie wordt uitgeput, en bevestigt dat de "belkromme" van de randomisatiedistributie versmalt tot een verticale lijn lang voordat $n=N$.
• Onderscheid tussen Inferentie en Nauwkeurigheid: Het artikel schetst het punt waarop statistische analyse verschuift van probabilistische inferentie (onzekerheid over onbekende parameters) naar nauwkeurigheidsanalyse (deterministische fout door berekening).
• Identificatie van Foutbronnen: Het demonstreert dat in near-enumeratie-situaties de dominante bron van fouten niet steekproefwillekeur is, maar eerder de interactie tussen drijvende-kommarepresentatie, sommatievolgorde en computatie-architectuur.

Betekenis en Aanspraken
Het artikel betoogt dat klassiek inferentieel redeneren structureel niet in overeenstemming is met data-omgevingen met hoge dekking. Wanneer het steekproefaandeel groot is, valt de aanname van onafhankelijke en identiek verdeelde (i.i.d.) observaties uiteen, en vertegenwoordigt de randomisatiedistributie geen onzekerheid over een onbekende waarheid, maar eerder de mechanische reductie van de resterende populatie die nog moet worden bemonsterd.

De auteurs beweren dat in deze regimes:

• Standaardfouten en betrouwbaarheidsintervallen hun interpretatieve waarde verliezen omdat de onzekerheid die ze kwantificeren (steekproefvariatie) effectief is verdwenen.
• Statistische praktijk de focus moet verschuiven van resampling-gebaseerde onzekerheidskwantificatie naar de validatie van numerieke stabiliteit, precisiekeuzes en computatie-architectuur.
• De overgang van inferentie naar nauwkeurigheid een natuurlijk gevolg is van de theorie van eindige populaties, en geen pathologisch falen van statistiek.

De studie concludeert dat terwijl grote steekproefgroottes in klassieke situaties over het algemeen de inferentie verbeteren, ze ontoereikend zijn om betrouwbare inferentie in near-enumeratie-contexten te garanderen. In plaats daarvan vereist verantwoord statistisch handelen in deze situaties een rigoureuze beoordeling van numerieke precisie en algoritmische bias, aangezien deze de limiterende factoren worden voor de nauwkeurigheid van schatters.