📊 statistics

Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data

Dieses Paper stellt die Modellgestützte Datenintegration (MADI) vor, eine Stichprobenstrategie, die nichtwahrscheinlichkeitsbasierte Daten mit einer Wahrscheinlichkeitsstichprobe kombiniert, um design-unkomplizierte Schätzer mit geringerer Varianz als traditionelle Surveys zu ermöglichen.

Ursprüngliche Autoren: Martin Hyllienmark, Gustaf Strandell

Veröffentlicht 2026-04-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Martin Hyllienmark, Gustaf Strandell

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🎯 Das Problem: Die Lücke im Puzzle

Stellen Sie sich vor, Sie wollen herausfinden, wie viel Geld alle Menschen in Schweden im Durchschnitt verdienen. Normalerweise würde ein Statistikamt (wie das Statistics Sweden) eine große Zufallsstichprobe machen: Sie rufen zufällig ausgewählte Leute an und fragen sie. Das ist wie ein Zufallslos, bei dem jeder die gleiche Chance hat, gezogen zu werden. Das ist fair, aber es ist teuer und die Leute müssen sich die Mühe machen, die Fragen zu beantworten.

In den letzten Jahren gibt es jedoch einen neuen Schatz: Daten aus dem Internet und von Behörden. Zum Beispiel haben wir Daten von Kreditkarten, Steuererklärungen oder Jobbörsen. Das ist wie ein riesiger, bereits gefüllter Daten-Ozean.

Das Problem: Dieser Ozean ist nicht vollständig.

Nur bestimmte Leute sind darin (z. B. junge, technikaffine Menschen oder große Firmen).
Ältere Menschen oder kleine Handwerksbetriebe fehlen oft.
Wenn Sie nur diesen Ozean nutzen, erhalten Sie ein verzerrtes Bild (wie wenn Sie nur die reichen Leute fragen, wie viel Geld sie haben).

Früher war die Lösung: "Ignorieren wir die Lücken" oder "Wir machen eine riesige neue Umfrage, um die Lücken zu füllen". Aber das ist teuer und anstrengend.

💡 Die Lösung: MADI (Das "Modell-gestützte Daten-Integrations"-Verfahren)

Die Autoren Martin Hyllienmark und Gustaf Strandell schlagen eine clevere neue Methode vor, die sie MADI nennen. Stellen Sie sich MADI wie einen erfahrene Koch vor, der ein Rezept perfektioniert hat.

1. Die Zutaten (Die Daten)

Der Koch hat zwei Arten von Zutaten:

Zutat A (Der Daten-Ozean): Eine riesige Menge an Daten, die schon da ist (z. B. Steuerdaten), aber nicht alle Menschen abdeckt.
Zutat B (Die kleine Stichprobe): Eine winzige, aber perfekte Zufallsstichprobe von Leuten, die nicht im Daten-Ozean sind (z. B. die, die keine Steuererklärung digital gemacht haben).

2. Der Koch-Trick (Das Modell)

Anstatt die ganze Welt zu befragen, nutzt der Koch die riesige Menge an Daten (Zutat A), um ein sehr genaues Vorhersagemodell zu trainieren.

Analogie: Der Koch schmeckt den riesigen Topf Suppe (Zutat A) und lernt: "Wenn jemand 30 Jahre alt ist und in Stockholm wohnt, verdient er wahrscheinlich X Euro."
Das Modell lernt also die Muster aus der großen Datenmenge.

3. Die Korrektur (Der kleine Stichproben-Check)

Jetzt kommt der geniale Teil. Der Koch schaut auf die kleine, perfekte Zufallsstichprobe (Zutat B).

Er vergleicht: "Was sagt mein Modell über diese Leute voraus? Und was verdienen sie wirklich?"
Wenn das Modell einen Fehler macht (z. B. es unterschätzt das Gehalt der Handwerker), korrigiert er das Ergebnis basierend auf der kleinen Stichprobe.

Das Ergebnis: Der Koch kombiniert die Vorhersage aus dem riesigen Topf mit der genauen Korrektur aus der kleinen Probe.

🌟 Warum ist das so genial? (Die Vorteile)

1. Geringere Kosten (Der "Kleinerer Einkaufskorb")
Bei einer normalen Umfrage müssten Sie vielleicht 5.000 Leute anrufen, um ein genaues Bild zu bekommen. Mit MADI brauchen Sie vielleicht nur noch 100 Leute aus der kleinen Stichprobe, weil der "Riesentopf" (die Nicht-Wahrscheinlichkeitsdaten) schon 90% der Arbeit erledigt hat.

Metapher: Statt jeden Baum im Wald zu zählen, zählen Sie nur 10 Bäume und nutzen eine Satellitenkarte, um den Rest zu schätzen.

2. Fairness und Genauigkeit (Kein "Trügerisches Bild")
Viele andere Methoden versuchen, die Lücken im Daten-Ozean mit Vermutungen zu füllen. Wenn diese Vermutungen falsch sind, ist das Ergebnis falsch.
MADI ist wie ein Sicherheitsnetz. Da die kleine Stichprobe (Zutat B) zufällig ausgewählt ist, garantiert sie, dass das Endergebnis nicht verzerrt ist. Selbst wenn das Modell aus dem großen Daten-Ozean einen Fehler macht, wird dieser durch die kleine Stichprobe ausgeglichen. Das Ergebnis ist "design-unbiased" (von der Methode her fair).

3. Robustheit (Der "Sturmsichere Anker")
Die Autoren haben Simulationen gemacht, bei denen die Daten im Ozean extrem verzerrt waren (z. B. nur reiche Leute waren dabei). Selbst dann hat MADI funktioniert. Die kleine Stichprobe hat die Verzerrung herausgefiltert.

🚀 Was bedeutet das für die Zukunft?

Stellen Sie sich vor, das Statistikamt muss jeden Monat Berichte über die Wirtschaft machen.

Früher: Sie mussten Tausende von Firmen anrufen, warten, bis sie antworten, und dann die Daten mühsam zusammenrechnen.
Mit MADI: Sie nutzen die automatisch generierten Steuerdaten (die riesige Menge) und fragen nur noch eine winzige Gruppe von Firmen nach, um sicherzugehen, dass nichts übersehen wurde.

Das spart Geld, schont die Nerven der Bürger (weniger Umfragen) und liefert trotzdem Ergebnisse, die so genau sind wie bei einer großen Umfrage.

Zusammenfassung in einem Satz

Die Autoren haben eine Methode entwickelt, die einen riesigen, aber unvollständigen Daten-Schatz nutzt, um fast alles zu wissen, und nur einen winzigen, perfekten "Kontroll-Check" braucht, um sicherzustellen, dass das Ergebnis fair und genau ist.

Es ist, als würde man ein riesiges Puzzle fast komplett aus dem Gedächtnis zusammenlegen und nur noch die letzten 10 Teile aus der Schachtel nehmen, um sicherzugehen, dass das Bild stimmt.

1. Problemstellung und Motivation

Das Ziel der Umfragestatistik ist die Erzeugung von Schätzwerten mit minimalem Bias und akzeptabler Varianz bei begrenztem Budget und geringer Belastung der Befragten. In den letzten Jahren wurde zunehmend versucht, nicht-wahrscheinlichkeitsbasierte Datenquellen (Non-Probability Data, NPD) wie Registerdaten, Kassenbon-Daten oder Web-Panels zu nutzen, um Kosten zu senken und die Antwortlast zu verringern.

Das Hauptproblem bei der Nutzung von NPD ist jedoch der fehlende Zugriff auf den Selektionsmechanismus. Da die Einbeziehungswahrscheinlichkeiten unbekannt sind, besteht ein hohes Risiko für Selektionsbias (z. B. wenn NPD nur bestimmte Unternehmensgrößen oder Altersgruppen abdeckt).
Bisherige Methoden zur Datenintegration (z. B. Imputation, Propensity-Score-Schätzung, Gewichts-Kalibrierung, doppelt robuste Schätzer) basieren oft auf der Annahme, dass die Daten „Missing at Random" (MAR) sind oder dass der Selektionsmechanismus bekannt und anpassbar ist. Diese Annahmen sind in der Praxis schwer zu überprüfen oder oft falsch. Zudem leiden traditionelle Schätzer wie der GREG-Schätzer (Generalized Regression) bei kleinen Stichprobengrößen und vielen Hilfsvariablen unter Instabilitäten (singuläre Matrizen) oder negativer Varianzverzerrung.

2. Methodik: Model Assisted Data Integration (MADI)

Die Autoren schlagen eine neue Stichprobenstrategie vor, die auf dem Data Integration (DI) Schätzer von Kim und Tam (2021) aufbaut, diesen jedoch um maschinelles Lernen erweitert.

Grundlegende Annahmen und Setup

Die Zielpopulation $U$ $U$ wird in zwei disjunkte Teilmengen unterteilt:
- $A$ (NPD): Eine Teilmenge, für die die Zielvariable $y_i$ und Hilfsvariablen $x_i$ bekannt sind (z. B. aus einem Register), aber keine Einbeziehungswahrscheinlichkeiten vorliegen.
- $B$ (Rest): Die verbleibende Teilmenge der Population ( $U \setminus A$ ), für die $y_i$ unbekannt ist.
Es wird eine Wahrscheinlichkeitsstichprobe $s_B$ ausschließlich aus der Teilmenge $B$ gezogen.
Für alle Einheiten in $U$ sind Hilfsvariablen $x_i$ bekannt.
Es gibt eindeutige Identifikatoren, um NPD und Stichprobe zu verknüpfen.

Der MADI-Schätzer

Der Kern der Methode ist ein Differenzschätzer, der ein beliebiges maschinelles Lernmodell nutzt, ohne dass dieses Modell auf der Wahrscheinlichkeitsstichprobe trainiert werden muss.

Der Schätzer für den Populationsgesamtwert $t_y$ ist definiert als:
$\hat{t}_{y, MADI} = \sum_{i \in A} y_i + \sum_{i \in B} \mu(x_i, A) + \sum_{i \in s_B} \frac{e_i}{\pi_{iB}}$

Dabei gilt:

$\sum_{i \in A} y_i$ : Der bekannte Gesamtwert der NPD-Teilmenge.
$\mu(x_i, A)$ : Ein Modell (z. B. Random Forest, Neuronales Netz), das ausschließlich auf den Daten aus $A$ trainiert wurde, um Vorhersagen für $y_i$ in der gesamten Teilmenge $B$ zu treffen.
$e_i = y_i - \mu(x_i, A)$ : Die Residuen (Fehler) zwischen dem tatsächlichen Wert und der Modellvorhersage.
Der dritte Term schätzt den Fehler des Modells in $B$ basierend auf der Wahrscheinlichkeitsstichprobe $s_B$ unter Verwendung der Design-Gewichte $\pi_{iB}$ .

Theoretische Eigenschaften

Design-Unverzerrtheit (Design-Unbiased): Da das Modell $\mu$ nur auf $A$ trainiert wird und nicht von der Stichprobe $s_B$ abhängt, ist der Erwartungswert des Schätzers exakt gleich dem wahren Populationswert. Die Korrektur erfolgt durch den dritten Term, der den Bias des Modells eliminiert.
Unverzerrte Varianzschätzung: Es wird ein design-unverzerrter Varianzschätzer vorgeschlagen, der auf den Residuen $e_i$ basiert. Dies ermöglicht eine korrekte Unsicherheitsquantifizierung, selbst wenn das Modell schlecht angepasst ist (Overfitting führt dann nur zu einer höheren geschätzten Varianz, nicht zu einem Bias).
Flexibilität: Es können beliebige Machine-Learning-Modelle verwendet werden, da keine Annahmen über die Linearität oder die Struktur des Modells getroffen werden müssen.

3. Schlüsselergebnisse (Simulationen)

Die Autoren führten zwei Simulationen mit Daten aus dem schwedischen Einkommens- und Steuerregister durch, um die Methode zu validieren.

Simulation 1: Vergleich der Leistung (RMSE und Bias)

Szenario: NPD mit einem starken „Missing Not At Random" (MNAR) Mechanismus (höhere Einkommen waren wahrscheinlicher im NPD enthalten).
Vergleich: MADI (mit OLS und Random Forest) wurde gegen traditionelle Schätzer (HT, GREG) und naive Ansätze getestet.
Ergebnisse:
- Bias: Der MADI-Schätzer war in allen Szenarien nahezu unverzerrt (Bias $\approx$ 0), auch bei kleinen Stichprobengrößen. Im Gegensatz dazu zeigten „naive" Random-Forest-Ansätze (ohne den Differenzterm) signifikanten Bias.
- Varianz/RMSE: MADI mit einem Random-Forest-Modell ( $SRS_B-MADI_{RF}$ ) erzielte die niedrigste Root Mean Squared Error (RMSE) über alle Stichprobengrößen hinweg.
- Stabilität: Der GREG-Schätzer scheiterte bei kleinen Stichproben und vielen Hilfsvariablen oft (Matrix-Singularität), während MADI stabil blieb, da das Modell auf dem großen NPD-Datensatz trainiert wurde.

Simulation 2: Benötigte Stichprobengröße für eine Ziel-CV

Ziel: Ermittlung der Stichprobengröße, die notwendig ist, um einen Variationskoeffizienten (CV) von 1 % zu erreichen.
Ergebnisse:
- Die MADI-Strategie benötigte deutlich kleinere Stichproben als der traditionelle HT-Schätzer (Faktor ~10-20) und oft auch kleiner als der GREG-Schätzer.
- Selbst bei extremen Selektionsverzerrungen in den NPD-Daten (z. B. wenn nur die höchsten oder niedrigsten Werte im NPD enthalten waren) blieb MADI dem HT-Schätzer überlegen oder gleichwertig.
- Die Effizienzsteigerung war besonders hoch, wenn der Anteil der NPD an der Population groß war.

4. Hauptbeiträge und Bedeutung

Theoretische Fundierung: Die Arbeit liefert einen rigorosen, design-unverzerrten Schätzer für die Integration von NPD, der keine Annahmen über den Selektionsmechanismus der NPD (wie MAR) erfordert.
Lösung des Overfitting-Problems: Durch die Trennung von Trainingsdaten (NPD) und Evaluierungsdaten (Wahrscheinlichkeitsstichprobe) wird das Risiko von Overfitting kontrolliert. Ein schlechtes Modell führt nicht zu einem Bias, sondern nur zu einer höheren Varianz, was durch den Varianzschätzer korrekt erfasst wird.
Praktische Relevanz für Statistikämter:
- Kosteneffizienz: Da die benötigte Größe der teuren Wahrscheinlichkeitsstichprobe drastisch reduziert werden kann, sinken die Erhebungskosten und die Antwortlast.
- Robustheit: Die Methode ist robust gegenüber großen Mengen an Hilfsvariablen, was bei traditionellen GREG-Modellen oft ein Problem darstellt.
- Implementierbarkeit: Die Methode nutzt vertraute Konzepte der Umfragestatistik (Design-Gewichte, Differenzschätzer) und ist daher für Statistikämter gut integrierbar.
Zukunftsperspektive: Die Methode ermöglicht den Einsatz komplexer Machine-Learning-Modelle (wie tiefe neuronale Netze), die für die typisch kleinen Umfragedatensätze zu rechenintensiv oder datenhungrig wären, da hier das große NPD als Trainingsbasis dient.

Fazit

Das Paper zeigt, dass die MADI-Strategie einen vielversprechenden Weg darstellt, um nicht-wahrscheinlichkeitsbasierte Daten sicher und effizient in die offizielle Statistik zu integrieren. Sie kombiniert die Vorteile von Big Data (große Trainingsdatenmengen, komplexe Modelle) mit der Strenge des Design-basierten Ansatzes (Unverzerrtheit, korrekte Varianzschätzung), wodurch sie signifikante Verbesserungen gegenüber traditionellen Methoden in Bezug auf Präzision und Kosteneffizienz bietet.