📊 statistics

Data integration of non-probability and probability samples with deterministic predictive mean matching

Dit artikel stelt deterministische predictive mean matching mass imputatie-schatters voor en valideert deze voor het integreren van probabilistische en niet-probabilistische steekproeven, waarbij de theoretische consistentie en variantie-eigenschappen onder zowel modelspecificatie als modelspecificatiefouten worden vastgesteld, terwijl de effectiviteit ervan wordt aangetoond door middel van simulaties en een empirische toepassing op vacaturegegevens.

Oorspronkelijke auteurs: Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

Gepubliceerd 2026-07-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de gemiddelde lengte van elke student in een enorme school te achterhalen. De meest betrouwbare manier om dit te doen, is door een paar studenten volkomen willekeurig te kiezen (een "waarschijnlijkheidssteekproef") en hen te meten. Omdat de selectie willekeurig was, kun je wiskundig garanderen dat je gemiddelde dicht bij de waarheid ligt. Maar wat als je geen tijd of geld hebt om die willekeurige studenten te meten? Stel je in plaats daarvan een enorme lijst voor met vrijwilligers die zich online hebben aangemeld om lid te worden van een "club voor lange mensen" (een "niet-waarschijnlijkheidssteekproef"). Deze lijst is enorm, maar is bevooroordeeld: hij zit vol met basketbalspelers en modellen, dus de gemiddelde lengte hier is veel te hoog. Je kunt deze lijst niet zomaar gebruiken, want dan zal het gemiddelde van je school fout zijn.

Dit is een klassieke puzzel in de wereld van de statistiek, een vakgebied dat gewijd is aan het begrijpen van gegevens. De uitdaging is "data-integratie": hoe meng je een kleine, perfect eerlijke lijst met een enorme, rommelige, bevooroordeelde lijst om tot een perfect antwoord te komen? Meestal proberen statistici de "regels" te raden die de twee groepen verbinden (zoals hoe lengte zich verhoudt tot leeftijd of geslacht) en gebruiken die regels om de bevooroordeelde lijst te corrigeren. Maar wat als die regels een klein beetje verkeerd zijn? Of wat als de data zo complex is dat de regels breken? Hier komt het artikel van Czerniawska en haar team in beeld. Zij pakken het probleem aan van hoe je deze twee zeer verschillende soorten datalijsten kunt combineren om tot een betrouwbaar antwoord te komen, zelfs wanneer de wiskunde ingewikkeld wordt.

De auteurs stellen een slimme nieuwe manier voor om dit te mengen, genaamd "Predictive Mean Matching" (PMM). Denk aan een technologisch geavanceerd spelletje "Zoek je tweeling". Stel je voor dat je een student hebt uit je eerlijke, willekeurige lijst (laten we hem Alex noemen) wiens lengte je nog niet weet, maar van wie je wel de leeftijd en de klas weet. Je kijkt naar de enorme, bevooroordeelde online lijst om een student te vinden die precies op Alex lijkt op basis van die details. Zodra je die "tweeling" hebt gevonden, leen je hun lengte en geef je die aan Alex. Door dit voor elke student in de willekeurige lijst te doen, creëer je een compleet, accuraat beeld van de hele school.

Het artikel onderzoekt twee specifieke manieren om dit "Zoek je Tweeling"-spel te spelen. De eerste methode, die ze PMM A noemen, zoekt naar tweelingen op basis van wat de computer voorspelt dat de lengte zou moeten zijn. Als de computer denkt dat Alex 170 cm lang zou moeten zijn, vindt hij iemand in de bevooroordeelde lijst die de computer ook als 170 cm voorspelt. De tweede methode, PMM B, is iets directer: het zoekt naar iemand in de bevoordeelde lijst wiens werkelijke, gemeten lengte overeenkomt met wat de computer voor Alex voorspelt.

De onderzoekers hebben veel tijd besteed aan het bewijzen dat deze methoden daadwerkelijk werken. Ze hebben aangetoond dat als je genoeg data gebruikt, deze methoden uiteindelijk het juiste antwoord zullen geven, zelfs als de voorspellingsregels van je computer niet perfect zijn. Specifiek hebben ze bewezen dat de PMM A-methode (de methode die voorspelde waarden gebruikt om matches te vinden) robuust is tegen model-misspecificatie onder bepaalde omstandigheden. Dit is een grote zaak, omdat andere populaire methoden (zoals simpelweg zoeken naar de "dichtstbijzijnde buur" op basis van ruwe data) rampzalig kunnen falen als de data te complex wordt of als de voorspellingsregels er net even naast zitten. De auteurs hebben bewezen dat hun "Predictive Mean Matching"-aanpak veel robuuster is; het breekt niet zo snel af wanneer de wiskunde ingewikkeld wordt.

Ze hebben ook uitgezocht hoe je kunt meten hoe "zeker" we kunnen zijn over het antwoord. Wanneer je data leent van een bevooroordeelde lijst, is er een beetje extra onzekerheid, zoals een verborgen wiebel in je weegschaal. De auteurs hebben een nieuwe formule ontwikkeld om deze wiebel te berekenen en hebben aangetoond hoe ze computersimulaties (genaamd "bootstrapping") kunnen gebruiken om dit nauwkeurig te meten. Ze hebben hun ideeën getest met duizenden nep-datascenario's in een computervisie. In deze simulaties presteerden hun nieuwe methoden net zo goed als de beste bestaande instrumenten wanneer de regels perfect waren, maar ze waren veel beter wanneer de regels fout waren of de data ingewikkeld was.

Ten slotte hebben het team hun methode geprobeerd op echte data uit Polen. Ze wilden schatten hoeveel vacatures specifiek gericht waren op Oekraïense werknemers. Ze combineerden een kleine, officiële overheidsenquête (de eerlijke lijst) met een enorme database van vacatures van openbare arbeidsbureaus (de bevooroordeelde lijst). De resultaten lieten zien dat hun methode erin slaagde om deze twee zeer verschillende bronnen te combineren om een duidelijk, betrouwbaar schatting te geven, wat bewees dat hun "Zoek je Tweeling"-strategie in de echte wereld werkt, en niet alleen in computersimulaties.

Kortom, dit artikel biedt een stevige, betrouwbare gereedschapskist voor statistici die eerlijke maar kleine data moeten mengen met enorme maar bevooroordeelde data. Het biedt een manier om accurate antwoorden te krijgen, zelfs wanneer de wiskunde niet perfect is, waardoor wordt gewaarborgd dat beslissingen gebaseerd op deze data zijn gebouwd op een solide fundament in plaats van op wankele gissingen.

Technische Samenvatting: Dataintegratie van niet-waarschijnlijkheids- en waarschijnlijkheidsprobes met Deterministische Predictieve Middelencorrespondentie (PMM)

Probleemstelling
Het artikel behandelt de uitdaging van het schatten van populatiekenmerken door gegevens te integreren uit waarschijnlijkheidsprobes (die bekende inclusiekansen hebben maar vaak de doelvariabele $Y$ missen) en niet-waarschijnlijkheidsprobes (die de doelvariabele $Y$ bevatten maar een onbekend steekproefmechanisme missen). Terwijl de bestaande literatuur methoden voor Inverse Probability Weighting (IPW), Prediction Estimators (PE) en Doubly Robust (DR) voorstelt, richt deze studie zich op Mass Imputation (MI) estimators. Specifiek wordt Deterministische Predictieve Middelencorrespondentie (PMM) onderzocht als een techniek om waarden te imputeren voor eenheden in een waarschijnlijkheidsprobe met behulp van geobserveerde waarden uit een niet-waarschijnlijkheidsprobe. De auteurs beogen de kloof te overbruggen tussen parametrische/niet-parametrische regressie-imputatie en Nearest Neighbour (NN) imputatie, door een rigoureuze theoretische onderbouwing te bieden voor dataintegratiecontexten die in eerdere literatuur niet volledig zijn verkend.

Methodologie
De auteurs stellen twee semi-parametrische deterministische PMM-algoritmen voor en analyseren deze voor het matchen van eenheden uit een waarschijnlijkheidsprobe ( $S_P$ ) aan een niet-waarschijnlijkheidsprobe ( $S_{NP}$ ):

PMM A ( $\hat{y}-\hat{y}$ matching): Eenheden in $S_P$ worden gematcht aan eenheden in $S_{NP}$ op basis van de gelijkenis van hun voorspelde waarden ( $\hat{y}$ ), afgeleid van een regressiemodel $E[Y|X] = m(X, \beta)$ . De matching-afstand is $d(\hat{y}_i, \hat{y}_j)$ .
PMM B ( $\hat{y}-y$ matching): Eenheden in $S_P$ worden gematcht aan eenheden in $S_{NP}$ op basis van de gelijkenis tussen de voorspelde waarde van de $S_P$ -eenheid en de geobserveerde waarde van de $S_{NP}$ -eenheid. De matching-afstand is $d(\hat{y}_i, y_j)$ .

In beide benaderingen worden voor elke eenheid $i \in S_P$ de $k$ dichtstbijzijnde buren in $S_{NP}$ geïdentificeerd, waarbij de geïmputeerde waarde het gemiddelde is van de geobserveerde $Y$ -waarden van deze buren. De uiteindelijke estimator voor het populatiegemiddelde is een gewogen gemiddelde van deze geïmputeerde waarden, gebruikmakend van designgewichten uit de waarschijnlijkheidsprobe.

De theoretische analyse steunt op een superpopulatiemodel en een sequentie van eindige populaties. Belangrijke aannames zijn:

Het bestaan van een consistente estimator $\hat{\beta}$ voor de regressieparameters.
Asymptotisch verdwijnende regressieresten (A2).
Lokale Lipschitz-continuïteit van de regressiefunctie (A3).
Een milde regulariteitsvoorwaarde (A4) met betrekking tot de representativiteit van de niet-waarschijnlijkheidsprobe, die de strikte "positiviteits"-aanname vervangt die vaak vereist is bij NN-methoden.
Specifieke voorwaarden voor PMM A met betrekking tot de stabiliteit van donorgewichten (B3) en de invloedsfunctie van $\hat{\beta}$ (B2).

Belangrijkste Bijdragen

Theoretische Consistentie: De auteurs bewijzen de consistentie van zowel de PMM A als de PMM B estimators onder correcte modelspecificatie. Cruciaal is dat zij de consistentie van de PMM A ( $\hat{y}-\hat{y}$ ) estimator vaststellen, zelfs onder model-misspecificatie, mits het werkmodel voldoet aan bepaalde convexiteits- en compactheidsvoorwaarden op de ondersteuning.
Extensie naar Niet-parametrische Modellen: Het artikel toont aan dat de consistentie van de PMM B ( $\hat{y}-y$ ) estimator zich uitstrekt tot niet-parametrische regressietechnieken (bijv. Nadaraya–Watson kernelregressie, neurale netwerken), mits de regressiefunctie-estimator uniform convergeert.
Variantie-decompositie: Een nieuwe variantie-decompositie wordt afgeleid, waarbij de totale variantie wordt opgesplitst in:
- $V_1$ : De design-gebaseerde variantiecomponent (analoog aan de Horvitz-Thompson variantie van de geïmputeerde waarden).
- $V_2$ : Een extra variantiecomponent die voortkomt uit de willekeur van het imputatieproces (selectie van donoren en regressieschatting).
Variantie-schatting: De auteurs stellen voor:
- Een gedeeltelijk analytische estimator voor $V_1$ .
- Een "mini-bootstrap"-procedure (Algoritme 2) om de covariantietermen te schatten die nodig zijn voor $V_2$ .
- Een volledige bootstrap-procedure (Algoritme 3) die beide componenten combineert.
- Zij tonen aan dat de voorgestelde analytische variantie-expressie voor $V_1$ ook kan worden toegepast op de standaard Nearest Neighbour (NN) estimator, waarmee eerdere resultaten worden uitgebreid.
Onderscheid van NN: Het artikel maakt een strikt onderscheid tussen PMM en NN, waarbij wordt opgemerkt dat zij alleen identiek zijn in het specifieke geval van een lineair model met één covariabele. PMM wordt getoond minder gevoelig te zijn voor de "vloek van dimensionaliteit" en vereist niet de strikte positiviteitsaanname.

Resultaten

Simulatiestudies: Uitgebreide simulaties met $N=10^5$ $N = 1 0^{5}$ vergeleken PMM-estimators met Nearest Neighbour (NN) en Regression Prediction (GLM) estimators onder Simple Random Sampling.
- Correct gespecificeerde modellen: PMM-estimators presteerden vergelijkbaar met GLM. PMM B ( $\hat{y}-y$ ) vertoonde over het algemeen lagere standaardfouten dan PMM A ( $\hat{y}-\hat{y}$ ).
- Model-misspecificatie: PMM A toonde een superieure robuustheid, waarbij een lagere bias werd behouden vergeleken met NN en GLM wanneer het lineaire model werd misgespecificeerd voor een niet-lineair datagenererend proces.
- Variantiecomponenten: De bijdrage van de $V_2$ -component (imputatie-onzekerheid) bleek niet verwaarloosbaar in eindige steekproeven, waarbij de totale variantie van matching-estimators in de empirische studie met ongeveer 40–60% toenam.
- Dekkingspercentages: Analytische en bootstrap variantie-estimators bereikten nominale 95% dekkingspercentages.
Empirische Studie: De methoden werden toegepast om gegevens van een vacatureonderzoek (waarschijnlijkheidsprobe) te integreren met een centrale database van vacatureaanbiedingen (niet-waarschijnlijkheidsprobe) in Polen om het aandeel vacatures voor Oekraïense werknemers te schatten.
- Puntschattingen over de methoden heen waren consistent en schommelden rond de 22%.
- Het opnemen van de $V_2$ -component via de mini-bootstrap verhoogde de standaardfouten aanzienlijk, wat het belang van het rekening houden met matching-onzekerheid benadrukt.
- PMM A en PMM B leverden in deze specifieke toepassing ononderscheidbare resultaten op.

Betekenis en Claims
Het artikel claimt dat deterministische PMM een robuust alternatief biedt voor dataintegratie, met name de PMM A-variant die consistent blijft onder model-misspecificatie—een eigenschap die niet gegarandeerd is voor standaard regressie-imputatie of NN in hoge dimensies. De auteurs benadrukken dat hun rigoureuze benadering van variantie-decompositie en -schatting een praktisch kader biedt voor onzekerheidskwantificatie in massaimputatie, waarmee een gat in de bestaande literatuur wordt gedicht waar de variantie van NN- en PMM-estimators in niet-waarschijnlijkheidscontexten ofwel onbekend was, ofwel een decompositie ontbrak die design- en imputatiefouten scheidt. De beschikbaarheid van open-source software (nonprobsvy pakket) vergemakkelijkt de toepassing van deze methoden. De auteurs blijven bescheiden over de "mini-bootstrap" voor $V_2$ , waarbij zij dit karakteriseren als een heuristische correctie voor eindige steekproeven in plaats van een algemeen consistente estimator, en merken op dat verder onderzoek nodig is voor multiply robuuste PMM-procedures en de optimale selectie van de $k$ -hyperparameter.

Meer zoals dit