📊 statistics

Small area estimation using incomplete auxiliary information

Die Studie stellt ein zweistufiges Verfahren zur kleinen Bereichsschätzung vor, das designbasierte Kalibrierung mit einem Messfehlermodell kombiniert, um unvollständige und nicht-wahrscheinlichkeitsbasierte Hilfsinformationen in ein Fay-Herriot-Modell zu integrieren und so die Präzision der Schätzungen ohne Modellierung des Auswahlmechanismus zu verbessern.

Ursprüngliche Autoren: Donatas Šlevinskas, Ieva Burakauskaitė, Andrius Čiginas

Veröffentlicht 2026-02-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Donatas Šlevinskas, Ieva Burakauskaitė, Andrius Čiginas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Suche nach dem perfekten Zähler: Wie man kleine Gruppen besser zählt

Stellen Sie sich vor, Sie sind ein Statistiker, der die Wirtschaft eines Landes überwacht. Ihr Job ist es, herauszufinden, wie viel Geld Unternehmen verdienen, wie viel sie investieren oder wie viele offene Stellen es gibt.

Das Problem ist: Die Welt ist riesig. Sie können nicht jedes einzelne Unternehmen fragen. Also nehmen Sie eine Stichprobe (eine kleine Gruppe von Unternehmen), die zufällig ausgewählt wurde. Das ist wie ein Wahlergebnis: Wenn Sie genug Leute befragen, können Sie auf das Ergebnis für alle schließen.

Aber hier kommt das Problem:
Manchmal wollen Sie wissen, wie es einer sehr kleinen Gruppe geht (z. B. nur kleine Handwerksbetriebe in einem bestimmten Dorf). Wenn Sie nur Ihre kleine Zufallsstichprobe nutzen, ist die Antwort oft ungenau oder gar falsch, weil in dieser kleinen Gruppe vielleicht niemand dabei war. Das ist wie wenn Sie versuchen, das Wetter in einem einzelnen Dorf vorherzusagen, indem Sie nur einen einzigen Thermometer im ganzen Land ablesen.

Die Lösung: Der "unvollständige" Helfer
Glücklicherweise gibt es heute riesige Datenmengen aus anderen Quellen: Steuerdaten, Online-Jobportale oder große Verwaltungsregister. Diese Daten sind oft unvollständig (sie decken nicht alle Unternehmen ab) und nicht zufällig (sie kommen von Leuten, die sich freiwillig gemeldet haben oder von Algorithmen gesammelt wurden).

Die Autoren dieses Papiers sagen: "Auch wenn diese Daten nicht perfekt sind, können wir sie nutzen, um unsere kleinen Gruppen besser zu zählen!"

Die zwei Schritte der neuen Methode

Die Autoren schlagen einen cleveren Zwei-Schritte-Plan vor, den wir uns wie das Reparieren eines kaputten Bildes vorstellen können.

Schritt 1: Der "Schatten"-Vergleich (Modell-Kalibrierung)

Stellen Sie sich vor, Sie haben ein Foto (Ihre offizielle Umfrage) und ein zweites, etwas unscharfes Foto (die neuen, unvollständigen Daten).

Der Überlappungsbereich: Sie suchen nach den Unternehmen, die auf beiden Fotos zu sehen sind.
Die Brücke bauen: An diesen gemeinsamen Stellen schauen Sie genau hin: Wie unterscheidet sich das scharfe Foto vom unscharfen? Ist das unscharfe Foto immer etwas zu dunkel? Oder zeigt es immer etwas zu viele Details? Sie bauen eine kleine "Übersetzungsregel" (ein mathematisches Modell), um die Fehler des unscharfen Fotos zu verstehen.
Die Korrektur: Jetzt nehmen Sie diese Regel und wenden sie auf das ganze unscharfe Foto an. Sie sagen: "Ah, wenn das unscharfe Foto hier 100 zeigt, aber wir wissen, dass es in der Realität 110 sein müsste, dann korrigieren wir das."
Das Ergebnis: Sie nutzen diese korrigierten Informationen, um Ihre ursprüngliche kleine Stichprobe neu zu gewichten. Es ist so, als würden Sie Ihre kleine Gruppe mit dem Wissen aus dem riesigen, aber unvollständigen Datensatz "füttern", um die Lücken zu schließen.

Das Geniale daran: Sie müssen nicht wissen, warum die Leute im unvollständigen Datensatz dort sind (z. B. warum sie sich für eine Online-Umfrage entschieden haben). Sie nutzen einfach den Vergleich, um die Zahlen zu glätten.

Schritt 2: Der "Klumpen-Effekt" (Fay-Herriot-Modell)

Nach Schritt 1 haben Sie schon viel bessere Zahlen für die kleinen Gruppen. Aber wir können noch einen Schritt weitergehen.

Stellen Sie sich vor, Sie schätzen die Anzahl der offenen Stellen in 50 verschiedenen Dörfern. In manchen Dörfern ist die Schätzung immer noch wackelig.
Der zweite Schritt nutzt die Nachbarschaft. Wenn Dorf A und Dorf B ähnlich sind (gleiche Größe, gleiche Branche), dann helfen wir uns gegenseitig. Wenn Dorf A eine sehr unsichere Schätzung hat, schauen wir auf die stabilen Daten von Dorf B und "leihen" uns deren Stärke.

Das ist wie bei einer Gruppe von Freunden, die eine Schätzung abgeben: Wenn einer unsicher ist, sagt er: "Okay, ich nehme den Durchschnitt von uns allen, der aber stärker gewichtet ist, wenn meine eigene Zahl sehr unsicher ist."

Was haben die Autoren getestet?

Die Autoren haben ihre Methode an drei echten Beispielen aus Litauen getestet:

Umsatz von Dienstleistungsunternehmen: Hier nutzten sie Steuerdaten (Mehrwertsteuer), die nur für einen Teil der Firmen vorlagen.
- Ergebnis: Die Schätzungen wurden viel genauer. Die "unzuverlässigen" Gruppen verschwanden fast ganz.
Investitionen in Maschinen: Hier nutzten sie Daten aus einer anderen, größeren Umfrage, die aber nur Firmen über einer bestimmten Größe abdeckte.
- Ergebnis: Auch hier wurde es besser, besonders bei den Gruppen, die vorher am meisten gezittert haben.
Offene Stellen (Jobvacancies): Hier nutzten sie Daten von Online-Jobportalen (Web-Scraping), die nicht zufällig sind, aber sehr aktuell.
- Ergebnis: Der größte Gewinn! Die Schätzungen für kleine Gemeinden wurden von "unzuverlässig" auf "gut" gehoben.

Warum ist das so wichtig?

Früher hätten Statistiker gesagt: "Oh, wir haben keine perfekten Daten für diese kleine Gruppe. Wir müssen warten oder die Zahl weglassen."

Mit dieser neuen Methode können sie sagen: "Wir haben zwar keine perfekten Daten, aber wir haben einen unvollständigen Helfer. Wir können ihn nutzen, um unsere kleine Gruppe so genau wie möglich zu zählen, ohne uns über die Fehlerquellen des Helfers den Kopf zerbrechen zu müssen."

Zusammenfassend:
Die Autoren haben einen Weg gefunden, schmutzige, unvollständige Daten (wie ein unscharfes Foto) mit sauberen, aber kleinen Daten (ein scharfes Foto) zu mischen, um ein perfektes Bild für kleine Gruppen zu erhalten. Das hilft Regierungen und Unternehmen, bessere Entscheidungen zu treffen, basierend auf Zahlen, die man früher für zu unsicher gehalten hätte.

1. Problemstellung

In der amtlichen Statistik sind Wahrscheinlichkeitsstichproben die Grundlage für verlässliche Schätzungen. Für kleine Domänen (Subpopulationen) führen jedoch direkte design-basierte Schätzer oft zu hohen Varianzen aufgrund kleiner Stichprobengrößen. Gleichzeitig stehen zunehmend alternative Datenquellen wie Verwaltungsregister oder Big Data zur Verfügung. Diese Quellen sind jedoch oft unvollständig, stammen aus Nicht-Wahrscheinlichkeitsstichproben und unterliegen unbekannten Selektionsmechanismen.

Das zentrale Problem besteht darin, diese unvollständigen, nicht-probabilistischen Hilfsinformationen (die oft nur für einen Teil der Population vorliegen und als verrauschte Proxy-Variablen $y^*$ für die Zielvariable $y$ dienen) zu nutzen, ohne Annahmen über den Selektionsmechanismus der Nicht-Wahrscheinlichkeitsstichprobe treffen zu müssen (z. B. keine „Missing at Random" (MAR)-Annahme). Klassische Kalibrierungsmethoden sind in diesem Setting oft nicht direkt anwendbar, da die Hilfsdaten nicht für alle Einheiten verfügbar sind und Definitionen abweichen können.

2. Methodik

Die Autoren schlagen einen zweistufigen Ansatz vor, der Design-basierte Schätzung mit Small Area Estimation (SAE) verbindet, ohne den Selektionsmechanismus der externen Quelle zu modellieren.

Schritt 1: Design-basierte Modellschätzung und Kalibrierung (Unit-Level)

Dieser Schritt integriert die Nicht-Wahrscheinlichkeitsdaten in die Wahrscheinlichkeitsstichprobe auf Einheitsniveau.

Datenstruktur: Eine Wahrscheinlichkeitsstichprobe $A$ und eine große Nicht-Wahrscheinlichkeitsstichprobe $B$ liegen vor. Es gibt eine Überlappung $A \cap B$ , in der sowohl die Zielvariable $y$ als auch die Proxy-Variable $y^*$ beobachtet werden.
Messfehlermodell: Auf der Überlappung wird ein Arbeitsmodell (Working Model) für Messfehler angepasst:
$y_i = g(y^*_i, x_i) + \varepsilon_i, \quad i \in A \cap B$
Dabei kann $g(\cdot)$ linear, nichtlinear oder nichtparametrisch sein (z. B. k-Nearest-Neighbors).
Vorhersage: Das angepasste Modell wird genutzt, um Vorhersagen $\hat{y}_i$ für die Einheiten in $B \setminus A$ zu generieren.
Modellkalibrierung: Für jede Domäne $U_m$ $U_{m}$ werden Kalibrierungsgewichte $w_i$ $w_{i}$ bestimmt. Diese Gewichte minimieren die Distanz zu den ursprünglichen Design-Gewichten $d_i$ $d_{i}$ unter Einhaltung von Constraints:
1. Abgleich der Populationsgrößen der Strata (Daten vorhanden vs. fehlend).
2. Abgleich der Summe der Vorhersagen $\hat{y}_i$ innerhalb der Domäne mit der Summe der Vorhersagen aus der Nicht-Wahrscheinlichkeitsstichprobe.
Ergebnis: Ein modellschätzbasierter, aber design-unverzerrter Schätzer für die Domänensumme $\hat{t}^{MC}_m$ .
Varianzschätzung: Da asymptotische Approximationen bei kleinen Domänen unzuverlässig sind, wird ein Design-basierter Bootstrap (Rao-Wu-Yue Bootstrap) verwendet, um die Varianz robust zu schätzen, wobei das Vorhersagemodell als fest betrachtet wird.

Schritt 2: Flächen-Level-Modellierung (Fay-Herriot)

Die aus Schritt 1 gewonnenen Schätzer $\hat{t}^{MC}_m$ und ihre Varianzen dienen als Eingabe für ein klassisches Small-Area-Modell.

Fay-Herriot (FH) Modell: Ein hierarchisches Modell auf Log-Skala wird verwendet, um die Varianzen zu stabilisieren und Informationen über Domänen hinweg zu „borgen" (Borrowing Strength).
Kovariablen: Das FH-Modell nutzt ausschließlich exakt bekannte Hilfsdaten (fehlerfreie Kovariablen auf Domänenebene).
EBLUP: Es werden Empirical Best Linear Unbiased Predictors (EBLUP) berechnet.
Rücktransformation: Eine Log-Normal-Bias-Korrektur wird angewendet, um die Schätzer auf die ursprüngliche Skala zurückzuführen.

Vergleichsbaseline: Ybarra-Lohr Ansatz

Als Benchmark wird ein modifizierter Fay-Herriot-Ansatz nach Ybarra und Lohr (2008) verwendet. Dieser integriert die Proxy-Information direkt als fehlerbehaftete Kovariable auf Flächen-Niveau. Dies erfordert jedoch die MAR-Annahme für die Selektion der Nicht-Wahrscheinlichkeitsstichprobe, was im vorgeschlagenen Ansatz vermieden wird.

3. Anwendungsfälle (Empirische Studien)

Die Methode wurde in drei Szenarien aus der litauischen amtlichen Statistik getestet:

Monatlicher Umsatz (Dienstleistungsunternehmen):
- Proxy: Umsatz aus Mehrwertsteuererklärungen (nur für Teil der Population).
- Modell: Lineares Messfehlermodell.
- Ergebnis: Deutliche Verbesserung der Präzision. Die Anzahl der „unzuverlässigen" Domänen sank drastisch.
Jährliche Investitionen in Sachanlagen:
- Proxy: Investitionsdaten aus einer anderen Unternehmensstichprobe (Cut-off-Stichprobe).
- Besonderheit: Starke Null-Überrepräsentation (Zero-Inflation).
- Modell: Zwei-Teil-Modell (Hurdle-Modell: Logit für Nullen, lineare Regression für positive Werte).
- Ergebnis: Stabilisierung der Domänen mit hoher Varianz, auch bei kleinerem Verhältnis von Hilfs- zu Stichprobengröße.
Quartalsweise offene Stellen (Job Vacancies):
- Proxy: Web-gescrapte Online-Jobanzeigen (Nicht-Wahrscheinlichkeitsdaten).
- Modell: Nichtparametrisches k-Nearest-Neighbors (kNN) Modell.
- Ergebnis: Stärkste praktische Verbesserung. Die Anzahl der unzuverlässigen Gemeinden sank von über 10 auf unter 1 im Durchschnitt.

4. Wichtige Ergebnisse

Präzisionsgewinn: Der vorgeschlagene Ansatz (MC + EBLUP) führt zu konsistenten Verbesserungen der Domänenpräzision im Vergleich zu direkten Schätzern (GREG, HT, Hájek) und zum Ybarra-Lohr-Benchmark.
Reduktion der Unsicherheit: Der relative Root Mean Squared Error (RRMSE) sank signifikant. Besonders die „schwanzenden" Domänen (die am wenigsten präzisen) profitierten stark.
- Beispiel Umsatz: Median RRMSE sank von 0,067 (GREG) auf 0,029 (MC).
- Beispiel Job Vacancies: Median RRMSE sank von 0,249 (Hájek) auf 0,139 (EBLUP).
Rolle der Schritte: Der größte Präzisionsgewinn wird bereits im ersten Schritt (Modellkalibrierung auf Einheitsniveau) erzielt. Der zweite Schritt (FH-Modell) bietet eine zusätzliche, aber geringere Stabilisierung.
Vergleich mit Ybarra-Lohr: Der Ybarra-Lohr-Ansatz (der MAR voraussetzt) performte weniger konsistent. Er war bei Umsatz und Job-Vakanzen kaum besser als der direkte Schätzer, während der vorgeschlagene Ansatz in allen Fällen überlegen war.
Abhängigkeit von Datenmenge: Die Verbesserungen korrelieren mit dem Verhältnis der Größe der Nicht-Wahrscheinlichkeitsstichprobe zur Wahrscheinlichkeitsstichprobe ( $|B|/|A|$ ) und der Stärke des Zusammenhangs zwischen Proxy und Zielvariable.

5. Bedeutung und Fazit

Vermeidung von MAR-Annahmen: Der größte methodische Vorteil ist die Möglichkeit, nicht-probabilistische Daten zu integrieren, ohne Annahmen über den Selektionsmechanismus (Ignorabilität) treffen zu müssen. Dies macht die Methode robuster für reale Anwendungen, wo solche Annahmen oft nicht verifizierbar sind.
Flexibilität: Der Ansatz erlaubt flexible, nichtlineare Zusammenhänge zwischen Proxy und Zielvariable durch die Wahl des Arbeitsmodells (linear, Hurdle, kNN).
Praktische Relevanz: Die Studie zeigt, wie amtliche Statistikbehörden unvollständige administrative oder Big-Data-Quellen nutzen können, um die Qualität von Schätzungen für kleine Domänen (z. B. nach NACE-Klassen oder Gemeinden) erheblich zu verbessern, ohne die Design-Eigenschaften der Wahrscheinlichkeitsstichprobe zu verlieren.
Einschränkung: Die Methode erfordert eine verlässbare Verknüpfung (Linkage) der Datensätze und eine ausreichende Überlappung ( $A \cap B$ ) innerhalb der Domänen, um stabile Kalibrierungslösungen zu gewährleisten.

Zusammenfassend stellt der vorgeschlagene zweistufige Ansatz einen robusten und effizienten Weg dar, um die Lücke zwischen traditionellen Wahrscheinlichkeitsstichproben und modernen, unvollständigen Datenquellen in der Small Area Estimation zu schließen.