📊 statistics

A Total Statistical Error Framework for Comparing Census Data Collection Methods

Dit artikel introduceert een Total Statistical Error-raamwerk voor het vergelijken van censusimputatiemethoden op basis van enumeratie op eenhedeniveau en adrescorrectheid, waarbij wordt aangetoond dat het aanvullen van post-enumeratiesurveymodellen met indicatoren voor census-nonrespons de ernstige biases veroorzaakt door afhankelijke nonrespons effectief corrigeert aan de hand van Australische censusgegevens uit 2021.

Oorspronkelijke auteurs: Siu-MIng Tam, Anders Holmberg

Gepubliceerd 2026-08-04

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siu-MIng Tam, Anders Holmberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een perfecte snapshot wilt maken van een bruisende stad. Je wilt precies weten wie waar woont, hoeveel mensen er in elk huis wonen en waar ze gewoonlijk slapen. Dit is de taak van een volkstelling. Maar het leven is rommelig. Mensen verhuizen, ze vergeten formulieren in te vullen, of ze slapen op een tijdelijke plek zoals een studentenkamer of een bouwkamp. Wanneer de teller van de volkstelling een persoon niet kan vinden of het "gewone" adres niet weet, moeten ze gissen. Dit gokspel wordt imputatie genoemd.

Nu stel je je voor dat je twee verschillende manieren hebt om deze gissingen te doen. Misschien gebruikt de ene methode een "nearest neighbor"-benadering (het zoeken naar de meest vergelijkbare persoon die wel heeft geantwoord en hun gegevens kopiëren), en een andere methode een complexe computerbrein genaamd een "random forest" om het antwoord te voorspellen. Hoe weet je welke gokker beter is? Meestal controleren statistici twee dingen apart: Hebben ze de persoon gevonden? En hebben ze het juiste adres geraden? Maar wat als de ene methode meer mensen vindt maar hun adressen fout raadt, terwijl de andere methere minder mensen vindt maar de adressen wel goed heeft? Het is alsof je een chef vergelijkt die een enorme maaltijd kookt maar de helft ervan aanbrandt, versus een chef die een kleine maaltijd perfect bereidt. Je hebt een manier nodig om de hele maaltijd te meten, niet alleen de onderdelen. Dit artikel bouwt een nieuwe "scorekaart" om precies dat probleem op te lossen, wat functionarissen helpt beslissen welke gokmethode het meest nauwkeurige beeld van de populatie geeft.

De Grote Census-Gokwedstrijd

In de wereld van het tellen van mensen is het juist krijgen van het adres net zo belangrijk als het juist krijgen van de telling. Als een student wordt geteld bij zijn universiteitsresident maar zijn "gewone" adres eigenlijk het huis van zijn ouders is, dan is dat een fout voor de lokale planning. De auteurs van dit artikel, Siu-Ming Tam en Anders Holmberg, realiseerden zich dat statistici geen enkele, eerlijke manier hadden om verschillende gokmethoden te vergelijken. Ze wilden een score die "Hebben we ze gevonden?" en "Hebben we hun adres goed geraden?" combineert in één enkel getal.

Ze creëerden een nieuw kader genaamd het Total Statistical Error (TSE)-framework. Denk aan een videogame waarin elke persoon in het land een personage is. Voor elk personage krijg je een "Correct"-punt (1) alleen als er twee dingen gebeuren: de census heeft de persoon daadwerkelijk gevonden, en het heeft de persoon aan het juiste woonadres toegewezen. Als de census hen volledig heeft gemist, of als de census hen wel heeft gevonden maar in het verkeerde huis heeft geplaatst, krijg je een "Wrong"-punt (0). Door al deze punten bij elkaar op te tellen, krijg je een Correctness Rate (correctheidspercentage). Dit percentage is de ultieme tie-breaker. Als Methode A een hogere correctheidsscore heeft dan Methode B, wint Methode A. Het maakt niet uit of Methode A iets minder mensen heeft gevonden; als het de juiste mensen op de juiste plaatsen heeft geplaatst, is het het betere instrument.

De Twee Manieren om de Score te Controleren

Het artikel legt uit dat er twee manieren zijn om deze score te berekenen, afhankelijk van welke informatie je hebt.

Paradigma I: De Mysteriebus (Validatieonderzoek)
Soms ken je het "ware" adres van niet iedereen. Je hebt slechts een steekproef. Stel je voor dat je een gigantische doos met censusgegevens hebt, maar je kent de echte antwoorden niet. Om je werk te controleren, stuur je een speciaal team (een Post-Enumeration Survey, of PES) naar een willekeurige steekproef van mensen om te vragen: "Hé, waar woon je echt?" Je vergelijkt de census-gissingen met de PES-antwoorden. Dit is als een leraar die een toets nakijkt door slechts een paar willekeurige vragen te controleren. Het artikel laat zien dat als de mensen die niet reageren op de PES anders zijn van de mensen die dat wel doen (bijvoorbeeld als mensen met een fout adres moeilijker te vinden zijn), je score bevooroordeeld zal zijn. Het is alsof de leraar alleen de makkelijke vragen nakijkt omdat de moeilijke vragen te slordig zijn om te lezen. De auteurs ontdekten dat deze "afhankelijke non-respons" een slechte methode er geweldig uit kan laten zien.

Paradigma II: De Meester Sleutel (Directe Benchmark)
Soms heb je de "waarheid" voor iedereen. Misschien heb je een vorige census of een perfect overheidsregister. In dat geval hoef je niet te gissen of een steekproef te nemen; je vergelijkt de nieuwe methode direct met de meesterlijst. Het is alsoj het de antwoorden sleutel voor de hele toets hebt. Je kunt het exacte correctheidspercentage berekenen zonder enige gok. Het artikel gebruikt deze methode voor hun hoofdexperiment omdat ze toegang hadden tot een enorme dataset van de Australische Census van 2021, waarbij ze de ware antwoorden voor iedereen kenden.

Het Grote Experiment: Wie Gokt het Best?

Om hun nieuwe framework te testen, voerden de auteurs een enorme simulatie uit met echte gegevens van de Australische Census van 2021. Ze namen een groep van 30.000 mensen en deden alsof 2%, 5% of 10% van hen "ontbrekende" gegevens had (zoals inkomen of type beroep). Vervolgens lieten ze twee verschillende gokmachines de gaten opvullen:

k-Nearest Neighbors (kNN): Deze methode zoekt de persoon in de database die het meest lijkt op de persoon met de ontbrekende gegevens en kopieert hun informatie.
Random Forest (RF): Dit is een complexer computermodel dat veel beslissingsbomen bouwt om de ontbrekende informatie te voorspellen.

Ze testten deze methoden onder een lastige conditie genaamd NMAR (Not Missing At Random). Dit betekent dat de mensen die "mistig" waren, niet toevallig misten; ze waren mistig omdat ze een hoog inkomen hadden, en mensen met een hoog inkomen waren minder geneigd om de censusvragen te beantwoorden. Dit is een realistisch scenario dat gokken erg moeilijk maakt.

De Schokkende Resultaat:
Toen ze naar de "Overall Correctness Rate" keken (de totale score inclusief iedereen), zagen alle drie de methoden er bijna identiek uit. Ze scoorden allemaal rond de 95% tot 98%. Waarom? Omdat de meeste mensen geen ontbrekende gegevens hadden, werden ze automatisch correct geteld. De algemene score verborg het echte probleem.

Maar toen ze inzoomden op alleen de mensen die gokken nodig hadden (de "Conditional Correctness Rate"), veranderde het verhaal volledig.

Het Random Forest-model was de duidelijke winnaar bij het gokken van individuele details. Het presteerde beter dan kNN op elke geteste variabele. Bijvoorbeeld, het gokte het juiste beroepsveld 34% van de tijd (vergeleken met 29% voor kNN) en het juiste inkomen 17% van de tijd (vergeleken met 12,5% voor kNN).
Echter, wanneer ze naar het gehele plaatje keken (alle vier de ontbrekende details tegelijkertijd correct krijgen voor dezelfde persoon), trok de k-Nearest Neighbor-methode (specifiek met slechts 1 buurman) zelfs iets voor. Het kreeg alle vier de details goed voor 3,7% van de ontbrekende mensen, terwijl Random Forest slechts 3,4% haalde.

Waarom dat verschil? Omdat Random Forest elk detail afzonderlijk gokt. Het kan het beroep voor de ene persoon goed hebben, maar het inkomen fout. De kNN-methode pakte alle details van dezelfde "buurman", waardoor de antwoorden consistent bleven met elkaar. Het was alsof je een volledige outfit krijgt van één vriend versus een shirt van de ene vriend en een broek van de andere; de volledige outfit past gewoon beter samen. Dus, terwijl Random Forest de betere "specialist" is voor individuele feiten, was de simpelere kNN-methode iets beter in het bij elkaar houden van het hele verhaal.

De Valstrik van de Bevooroordeelde Steekproef

Het meest kritieke resultaat van het artikel komt uit de "Paradigma I"-simulatie. De auteurs simuleerden een scenario waarin het "controleteam" (de PES) moeite had met het vinden van mensen bij wie de gegevens onjuist waren ingeschat.

De Standaard Aanpak: Als je alleen naar de mensen kijkt die de PES beantwoordden, zou je kunnen denken dat je gokmethode 97% accuraat is.
De Realiteit: De werkelijke nauwkeurigheid was slechts ongeveer 95%.
De Bias: De standaardaanpak overschatte de kwaliteit met ongeveer 2,5 procentpunt.

Maar hier komt de crux: wanneer ze naar specifieke groepen keken (zoals werkenden), explodeerde de fout. Omdat de groep van ontbrekende mensen klein was (slechts ongeveer 1,5% tot 6% van de groep), werd de kleine bias enorm uitvergroot. De standaardaanpak beweerde dat de nauwkeurigheid voor werkenden rond de 50-60% lag, terwijl de werkelijke nauwkeurigheid bijna 0% was! Het was een catastrofale overschatting.

De Oplossing:
De auteurs testten een fix genaamd CBB-NR. Dit houdt in dat je een eenvoudige "vlag" (flag) toevoegt aan het surveymodel: "Was de data van deze persoon oorspronkelijk ontbrekend en geïmputeerd?"

Toen ze deze eenvoudige vlag toevoegden, daalde de bias met 90%.
Verrassend genoeg hielp het toevoegen van de werkelijke gegokte waarden (het inkomen of de beroepsgokken) niet veel. De eenvoudige "Ja/Nee"-vlag die zei "Deze persoon is een gok" was het magische ingrediënt.

Waarom Dit Er Toe Doet

Dit artikel geeft statistici een nieuwe, eerlijke liniaal om de kwaliteit van de volkstelling te meten. Het bewijst dat kijken naar het "grote plaatje" (algemene nauwkeurigheid) ernstige gebreken in hoe we ontbrekende gegevens gokken kan verbergen. Het waarschuwt ons ook dat als onze controleonderzoeken de mensen missen die het moeilijkst te vinden zijn (de mensen met een foutieve gok), we zullen denken dat onze methoden veel beter zijn dan ze in werkelijkheid zijn.

De auteurs laten zien dat door hun nieuwe "Correctness Rate" te gebruiken en de survey-bias te corrigeren met een eenvoudige vlag, we methoden zoals kNN en Random Forest eindelijk eerlijk kunnen vergelijken. Ze ontdekten dat hoewel complexe computermodellen geweldig zijn in het gokken van individuele feiten, simpelere methoden die alle feiten bij elkaar houden, misschien wel beter zijn in het krijgen van het hele verhaal. Het belangrijkste is dat ze lieten zien dat zonder het corrigeren van de bias in onze controleonderzoeken, we blind vliegen, denkend dat onze kaarten perfect zijn terwijl ze misschien vol gaten zitten.

Technische Samenvatting: Een raamwerk voor totale statistische fout bij het vergelijken van methoden voor gegevensverzameling bij volkstellingen

Probleemstelling
Volkstellingen vertrouwen steeds vaker op imputatie om de gebruikelijke verblijfplaats (usual-residence, UR) toe te wijzen aan woningen waar niet is geantwoord. Echter, nationale statistische bureaus missen een formeel statistisch raamwerk om concurrerende imputatiestrategieën (of andere methoden voor gegevensverzameling) te vergelijken op basis van hun gecombineerde prestaties in zowel dekking (enumeratie) als adresnauwkeurigheid. Traditioneel worden deze metrieken afzonderlijk gemeten. Bovendien houden bestaande kwaliteitsbeoordelingstools, zoals de Dual System Estimator (DSE) die wordt gebruikt bij Post-Enumeration Surveys (PES), primair rekening met dekkingsfouten en houden ze vaak geen rekening met geografische misclassificatie (het toewijzen van een correct getelde persoon aan de verkeerde locatie). Daarnaast gaan standaard schattingsmethoden er vaak vanuit dat non-respons in validatieonderzoeken Missing At Random (MAR) is, terwijl non-respons in de werkelijkheid Non-Ignorable (NMAR) kan zijn, met name wanneer personen met onjuiste imputaties moeilijker te lokaliseren zijn voor follow-up.

Methodologie
De auteurs stellen een Total Statistical Error (TSE) raamwerk voor dat dekking en meetnauwkeurigheid verenigt in één enkele eenheidsmetriek.

Indicator voor eenheidscorrectheid ( $Z_{ki}$ ):
Voor een persoon $i$ onder methode $k$ definieert het raamwerk een binaire indicator:
$Z_{ki} = I_{ki}(1 - D_{ki})$
Waarbij:
- $I_{ki} = 1$ als de persoon is opgenomen (geënumereerd) en $0$ anders.
- $D_{ki} = 1$ als het toegewezen adres onjuist is (meetfout) en $0$ als het correct is.
- $Z_{ki} = 1$ alleen als de persoon zowel is opgenomen als aan het juiste referentieadres is toegewezen.
  Het complement, $E_{ki} = 1 - Z_{ki}$ , vertegenwoordigt de Total Statistical Error op eenheidsniveau, die ontleed kan worden in componenten van "gemiste persoon" ( $1-I_{ki}$ ) en "verkeerde eenheid" ( $I_{ki}D_{ki}$ ).
Populatiecorrectheidspercentage ( $Q_k$ ):
De primaire metriek voor vergelijking is het populatiecorrectheidspercentage, $Q_k = \frac{1}{N} \sum Z_{ki}$ . Methode $B$ wordt verkozen boven $A$ als $Q_B > Q_A$ (of equivalent: als de foutenrate $E_B < E_A$ ).
Twee beoordelingsparadigma's:
- Paradigma I (Waarheid onbekend): Wordt gebruikt wanneer referentiewaarden ( $T_i$ ) onbekend zijn voor de volledige populatie. Een validatieonderzoek (bijv. PES) levert een waarschijnlijkheidsteel. $Q_k$ wordt geschat met behulp van survey-gewichten. Het artikel breidt de Chipperfield–Brown–Bell (CBB) estimator uit naar deze context. Het adresseert NMAR PES non-respons door het response-propensity model te verrijken met de census non-responsindicator ( $I_{ki}$ ) en geïmputeerde waarden, wat een gekalibreerd gewicht ( $\tilde{w}_i$ ) creëert dat een evenredig onbevooroordeelde estimator ( $\hat{Q}^{CBB}_k$ ) oplevert, zelfs wanneer de PES-respons afhankelijk is van de correctheid van de census-record.
- Paradigma II (Waarheid bekend): Wordt gebruikt wanneer een volledige, betrouwbare benchmark (bijv. een traditionele volkstelling) bestaat voor de gehele populatie. $Q_k$ kan exact worden berekend zonder steekproefvariantie, wat een directe rekenkundige vergelijking en exacte foutenontleding mogelijk maakt.
Subgroepanalyse en afhandeling van overtelling:
Het raamwerk wordt uitgebreid naar subgroepanalyse (bijv. naar mobiliteitsstatus) en bevat mechanismen om overdekking (duplicaten) af te handelen door onderscheid te maken tussen gemiste personen, verkeerde adressen en fantoomrecords.

Empirische illustratie en resultaten
De auteurs illustreren het raamwerk met behulp van de Australische Census-microdata van 2021 ( $N=840.402$ ), waarbij een Not-Missing-At-Random (NMAR) mechanisme wordt gesimuleerd waarbij records met hogere inkomens eerder worden verwijderd (non-respondenten). Ze vergelijken drie imputatiemethoden: $k$ -nearest-neighbour ( $k=1, 5$ ) en Random Forest (RF).

Gevoeligheid van de metriek: De algemene correctheidsgraad ( $Q_k$ ) werd gedomineerd door de verwijderingsratio ( $\rho$ ) en slaagde er niet in om methoden te onderscheiden (allemaal $\approx 0,95$ ). Echter, de conditionele correctheidsgraad ( $q^{imp}_k$ ), die de nauwkeurigheid alleen onder verwijderde records meet, onthulde significante verschillen.
Prestaties van de imputatie:
- Per variabele: Random Forest presteerde beter dan $k$ -NN op individuele variabelen (bijv. +37% nauwkeurigheid op Inkomen), gedreven door het vermogen om niet-lineaire interacties te modelleren.
- Gezamenlijke correctheid: $k$ -NN (specifiek 1-NN) bereikte een hogere gezamenlijke correctheid (alle vier de variabelen correct tegelijkertijd) dan RF. Dit wordt toegeschreven aan de coherentie van single-donor imputatie, die de gezamenlijke distributie van variabelen behoudt, terwijl RF onafhankelijke modellen past die mogelijk correcte antwoorden geven voor verschillende subsets van records.
Bias-correctie (Paradigma I simulatie):
- Een simulatie van een PES met NMAR non-respons (waarbij personen met onjuiste imputaties minder waarschijnlijk reageerden) zorgde ervoor dat standaard estimators de correctheid met ongeveer 2,5 procentpunt overschatten.
- Standaard kalibratie met enkel hulpvariabelen (CBB-setB) verminderde de bias met minder dan 1%.
- CBB-NR (Census Non-Response Indicator): Het verrijken van het response-model met een binaire indicator voor of een record geïmputeerd was (census non-respons) verminderde de bias met ongeveer 90%.
- Belangrijkste bevinding: De toevoeging van de geïmputeerde waarden zelf droeg een verwaarloosbaar bij aan de reductie van de bias; de binaire non-responsindicator was het werkzame instrument dat de correctie aanstuurde.

Belangrijkste bijdragen

Verenigd Raamwerk: Het artikel biedt het eerste formele raamwerk voor het vergelijken van censusmethoden op basis van een gecombineerde metriek van dekking en adresnauwkeurigheid, waarmee verder wordt gegaan dan de traditionele scheiding van deze fouten.
Onderscheid tussen Paradigma's: Het maakt een duidelijk onderscheid tussen schattingsscenario's waarbij de waarheid bekend is (Paradigma II) versus onbekend (Paradigma I), en biedt specifieke methodologieën voor elk.
Bias-correctie voor NMAR: Het demonstreert dat standaard PES-weging faalt onder afhankelijke non-respons en valideert de uitbreiding van de CBB-estimator naar de correctheidsgraad. Cruciaal is dat het identificeert dat het opnemen van de census non-responsindicator in het PES-responsemodel voldoende is om ernstige biases in subgroepkwaliteitsschattingen te corrigeren.
Operationele inzichten: De empirische studie benadrukt dat hoewel complexe modellen (RF) de nauwkeurigheid per variabele kunnen verbeteren, simpelere coherente imputatie (1-NN) de integriteit van de gezamenlijke distributie beter kan behouden, en dat "algemene" nauwkeurigheidsmetrieken kritieke tekortkomingen in de kwaliteit van de imputatie kunnen maskeren.

Betekenis en claims
De auteurs beweren dat dit raamwerk een cruciaal gat in de censusmethodologie vult, waardoor instanties weloverwogen beslissingen kunnen nemen tussen concurrerende gegevensverzamelingsstrategieën (bijv. imputatiemethoden, Place-of-Enumeration versus Usual-Residence, of veldwerk versus administratieve gegevens).

Het artikel benadrukt dat het raamwerk operationeel haalbaar is met standaard census-microdata. De primaire praktische betekenis ligt in de demonstratie dat afhankelijke non-respons tussen een census en een validatieonderzoek de kwaliteitsbeoordelingen ernstig kan verstoren (door de correctheidspercentages van subgroepen met factoren van 15–69 te inflateren in extreme gevallen) en dat deze bias effectief kan worden gemitigeerd (met ~90%) door een specifieke, goedkope augmentatie van het wegingsmodel (de census non-responsindicator). De auteurs positioneren dit als een noodzakelijk instrument voor de transitie naar register-gebaseerde en hybride volkstellingen, waarbij adresnauwkeurigheid en koppelfouten van essentieel belang zijn.