📊 statistics

Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data

Dit paper introduceert de Model Assisted Data Integration (MADI)-strategie, een onbevooroordeelde steekproefmethode die niet-probabiliteitsdata combineert met een probabiliteitssteekproef om via willekeurige machine learning-modellen schattingen te genereren met een aanzienlijk lagere variantie dan traditionele enquêtemethoden.

Oorspronkelijke auteurs: Martin Hyllienmark, Gustaf Strandell

Gepubliceerd 2026-04-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Martin Hyllienmark, Gustaf Strandell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Slimme Mix: Hoe je een perfecte foto maakt zonder iedereen te vragen

Stel je voor dat je een enorme foto wilt maken van een heel dorp (de bevolking) om te weten hoeveel geld de mensen gemiddeld verdienen.

Het oude probleem: De dure en moeilijke manier
Vroeger deden statistiekbureaus dit door een heel groot aantal mensen uit het dorp te kiezen en hen een vragenlijst te sturen. Dit is als het verzamelen van duizenden losse puzzelstukjes. Het is duur, het kost veel tijd, en mensen vinden het vaak lastig om het in te vullen (de "antwoordlast"). Als je maar een paar mensen vraagt, is de foto wazig (groot risico op fouten). Als je iedereen vraagt, is het te duur.

De nieuwe uitdaging: De "vondst" data
Tegenwoordig hebben we een schat aan nieuwe data: bankafschriften, belastingaangiftes, online winkelpatronen. Dit noemen ze "niet-kansdata" (nonprobability data). Het is als een enorme berg puzzelstukjes die je op de zolder hebt gevonden. Het probleem? Je weet niet precies wie er bij die stukjes hoort. Misschien hebben alleen rijke mensen hun stukjes achtergelaten, of alleen jonge mensen. Als je alleen die berg gebruikt, is je foto van het dorp scheef: je ziet alleen rijke mensen of alleen jongeren. Dit heet "selectiebias".

De oplossing van dit papier: De MADI-strategie
De auteurs, Martin en Gustaf van Statistics Sweden, hebben een slimme nieuwe manier bedacht, die ze MADI noemen (Model Assisted Data Integration).

Hier is hoe het werkt, in een simpele analogie:

1. De Twee Delen van de Puzzel

Stel je voor dat je twee bronnen hebt:

De Berg Vondsten (NPD): Een enorme, onvolledige berg puzzelstukjes (bijvoorbeeld belastingdata). We weten dat deze stukjes bestaan, maar we weten niet of ze eerlijk verdeeld zijn over het hele dorp. Misschien missen ze de armen of de ouderen.
De Kleine, Eerlijke Steekproef (Kanssteekproef): Een heel klein, willekeurig gekozen groepje mensen uit het dorp waar we wel precies weten wie ze zijn en wat ze verdienen.

2. De Slimme Mix (Het MADI-magie)

In plaats van te proberen de Berg Vondsten te "repareren" met ingewikkelde theorieën die misschien niet kloppen, doen ze het anders:

Leer van de Berg: Ze gebruiken de enorme Berg Vondsten om een slim computerprogramma (een machine learning model) te trainen. Dit programma leert patronen: "Als iemand 30 jaar is en in een bepaalde straat woont, verdient hij waarschijnlijk X euro." Omdat de berg zo groot is, kan dit programma heel complexe patronen leren, iets wat met een kleine steekproef nooit kan.
Controleer met de Steekproef: Vervolgens nemen ze hun kleine, eerlijke steekproef. Ze kijken: "Hoe goed voorspelt ons slimme programma de inkomens van deze mensen?"
- Als het programma het goed doet, gebruiken ze de voorspelling.
- Als het programma het fout doet (bijvoorbeeld omdat het de armen niet goed begrijpt), meten ze precies hoeveel het fout zit in de steekproef.
De Correctie: Ze nemen de totale schatting van de Berg, voegen daar de "fouten" uit de kleine steekproef aan toe, en poef: je hebt een perfect eerlijk totaal.

Waarom is dit zo geweldig?

Je hoeft niet iedereen te vragen: Omdat je de enorme berg data gebruikt als basis, heb je een heel kleine steekproef nodig om de fouten te corrigeren. Het is alsof je met één goed gekozen steekproef de hele berg kunt controleren. Dit bespaart enorm veel geld en tijd.
Het is eerlijk (onbevooroordeeld): Veel andere methoden gaan ervan uit dat de Berg Vondsten "toevallig" onvolledig is. MADI zegt: "Nee, we weten dat het niet toevallig is, en we corrigeren daarvoor met onze kleine steekproef." Het resultaat is dus eerlijk, zelfs als de Berg Vondsten heel scheef is.
Het werkt met slimme computers: Je kunt de krachtigste AI-modellen gebruiken om de patronen te vinden, zonder bang te zijn dat je de cijfers verpest. De kleine steekproef fungeert als de "rechter" die de AI controleert.

Het grote voorbeeld uit het papier

In hun proef hebben ze gekeken naar inkomens in Zweden.

Met de oude methode (alleen vragenlijsten) hadden ze duizenden mensen nodig om een nauwkeurig beeld te krijgen.
Met MADI hadden ze maar een paar honderd mensen nodig in de steekproef, omdat ze de rest van de informatie haalden uit de beschikbare belastingdata.
Het resultaat was nauwkeuriger en goedkoper.

Conclusie in één zin:
MADI is als het gebruik van een enorme, onvolledige kaart van een stad, gecombineerd met een paar goed gekozen wandelaars die controleren of de kaart klopt; zo krijg je een perfecte kaart zonder dat je elke straat hoeft te lopen.

1. Het Probleem

Officiële statistiekbureaus (zoals Statistics Sweden) staan voor de uitdaging om schattingen te produceren met minimale vertekening (bias) en een acceptabele variantie binnen een beperkt budget en met een lage responslast. Hoewel er een groeiende beschikbaarheid is van "gevonden data" of niet-kansdata (Non-Probability Data, NPD) zoals kasregisterdata, creditcardtransacties en administratieve registers, is de integratie hiervan in officiële statistieken problematisch.

De belangrijkste obstakels zijn:

Selectiebias: Bij NPD is het selectiemechanisme onbekend, wat leidt tot vertekende steekproeven (bijvoorbeeld: alleen computer-vaardige bedrijven leveren digitale jaarrekeningen in).
Aannames: Bestaande methoden om NPD te combineren met kanssteekproeven (zoals imputatie, responspropensiteit of dubbel robuuste schatters) maken vaak sterke aannames, zoals "Missing At Random" (MAR). Deze aannames zijn in de praktijk vaak onmogelijk te verifiëren.
Beperkingen van traditionele schatters: Schatters zoals GREG (Generalized Regression) kunnen instabiel worden of falen bij kleine steekproefgroottes in combinatie met veel hulpvariabelen, wat leidt tot singuliere matrices of onbetrouwbare gewichten.
Overfitting: Het gebruik van complexe machine learning-modellen op kleine kanssteekproeven leidt vaak tot overfitting, waarbij de variantieschattingen onbetrouwbaar worden (bijv. nul).

2. Methodologie: MADI (Model Assisted Data Integration)

De auteurs introduceren de MADI-strategie, een uitbreiding van de Data Integration (DI) schatter van Kim en Tam (2021). De kern van de methode is een ontwerp-ongevoelige (design-unbiased) schatter die NPD combineert met een kleine kanssteekproef.

De opzet:

De populatie $U$ $U$ wordt opgesplitst in twee disjuncte subsets:
- Set A: Een subset waarvoor de studievariabele $y$ bekend is uit NPD (bijv. een register), maar zonder bekende opnamekansen.
- Set B: De rest van de populatie ( $U \setminus A$ ), waarvoor $y$ onbekend is.
Er wordt een kanssteekproef ( $s_B$ ) getrokken uitsluitend uit set B.
Er is populatie-informatie beschikbaar over hulpvariabelen $\mathbf{x}$ voor alle eenheden in $U$ .

De Schatter:
De MADI-schatter voor de populatietotaal $t_y$ wordt gedefinieerd als:
$\hat{t}_{y, MADI} = \sum_{i \in A} y_i + \sum_{i \in B} \mu(\mathbf{x}_i, A) + \sum_{i \in s_B} \frac{e_i}{\pi_{iB}}$
Waarbij:

$\sum_{i \in A} y_i$ : Het bekende totaal van de NPD-set.
$\mu(\mathbf{x}_i, A)$ : Een voorspelling van $y$ voor eenheden in B, gebaseerd op een model dat is getraind op de grote NPD-set A (geen aannames over de modelstructuur; kan elke ML-methode zijn, zoals Random Forest).
$e_i = y_i - \mu(\mathbf{x}_i, A)$ : De residuen (fouten) van het model.
$\pi_{iB}$ : De opnamekans in de kanssteekproef uit set B.

De Logica:
Het model $\mu$ wordt getraind op de grote NPD-set (A) en geëvalueerd op de kanssteekproef (B). De derde term in de formule corrigeert voor eventuele vertekening in het modelvoorspelling door de residuen te schalen met de ontwerpweegs. Omdat het model onafhankelijk is van de kanssteekproef (het is getraind op A), blijft de schatter ontwerp-ongevoelig (design-unbiased), ongeacht hoe goed of slecht het model presteert.

Variantieschatting:
De auteurs presenteren een onbevooroordeelde variantieschatting die gebaseerd is op de variantie van de residuen in de kanssteekproef. Dit maakt de methode veilig voor gebruik, zelfs als het model overfit, omdat de variantieschatting dit zal weerspiegelen.

3. Belangrijkste Bijdragen

Ontwerp-ongevoelige Integratie: MADI biedt een theoretisch onderbouwde manier om NPD te gebruiken zonder de aannames van MAR (Missing At Random) te hoeven maken. De onbevooroordeeldheid is gegarandeerd door het ontwerp van de schatter, niet door het model.
Flexibiliteit in Modellen: De methode staat het gebruik van willekeurige machine learning-modellen toe (zoals Random Forests, Neural Networks), zelfs met veel hulpvariabelen, omdat het model wordt getraind op de grote NPD-set en niet op de kleine kanssteekproef.
Efficiëntie: De strategie vereist een aanzienlijk kleinere kanssteekproef dan traditionele methoden om dezelfde precisie te bereiken, omdat het grootste deel van de informatie uit de NPD komt.
Robuustheid: De methode is robuust tegen slecht gefitde modellen; de variantieschatting zal dan hoog zijn, maar de schatting zelf blijft onbevooroordeeld.

4. Resultaten (Simulaties)

De auteurs hebben de methode getest met data van het Zweedse Inkomsten- en Belastingregister (2021) via twee simulaties:

Simulatie 1 (Vergelijking van Prestaties):
- MADI met een Random Forest-model ( $SRS_B-MADI_{RF}$ ) leverde de laagste RMSE (Root Mean Square Error) op, ongeacht de steekproefgrootte.
- Traditionele GREG-schatters faalden bij kleine steekproefgroottes (bijv. $n < 400$ ) door singuliere matrices bij veel hulpvariabelen.
- De "naïeve" Random Forest (zonder MADI-structuur) leverde vertekende schattingen op, terwijl MADI onbevooroordeeld bleef.
- De variantie van MADI was aanzienlijk lager dan die van traditionele HT- en GREG-schatters.
Simulatie 2 (Steekproefgrootte voor een bepaalde CV):
- Om een coëfficiënt van variatie (CV) van 1% te bereiken, was de benodigde steekproefgrootte voor MADI vaak veel kleiner dan voor HT en GREG.
- Bij extreme selectiebias (waar NPD alleen de hoogste of laagste waarden bevatte) presteerde MADI nog steeds beter dan of gelijk aan traditionele methoden.
- In de meeste scenario's was de benodigde steekproefgrootte voor MADI slechts een fractie van die voor GREG (bijv. 42 eenheden versus 269 voor GREG in een specifiek scenario).

5. Betekenis en Conclusie

De MADI-strategie biedt een praktische en theoretisch veilige oplossing voor statistiekbureaus die willen overstappen op data-integratie.

Kostenreductie: Door de noodzakelijke kanssteekproefgrootte drastisch te verkleinen, dalen de kosten en de responslast voor respondenten.
Toepasbaarheid: De methode is geschikt voor de industriële productieomgeving van statistiekbureaus omdat deze onbevooroordeeld is en geen complexe tuning van hyperparameters vereist (bijv. met Random Forests).
Toekomstperspectief: De methode opent de deur voor het gebruik van complexe AI-modellen in officiële statistieken, zolang er maar een grote NPD-bron beschikbaar is om het model op te trainen.

Kortom, MADI combineert de kracht van big data (NPD) met de statistische zekerheid van kanssteekproeven, waardoor het mogelijk wordt om nauwkeurige, onbevooroordeelde schattingen te maken met minder middelen dan traditionele enquêtes.