📊 statistics

Toward design-based inference for data integration

Dieser Beitrag schlägt ein designbasiertes Rahmenwerk zur Integration von Nicht-Wahrscheinlichkeits- und Wahrscheinlichkeitsstichproben vor, indem er erstere als eine Sicherheitsschicht behandelt, was die Entwicklung konsistenter Regressions-Schätzer ermöglicht, die unverzerrt bleiben, ohne sich auf nicht überprüfbare Annahmen des Fehlens nach dem Zufallsprinzip zu stützen.

Ursprüngliche Autoren: Andrius Čiginas, Ieva Burakauskaitė, Jae Kwang Kim

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrius Čiginas, Ieva Burakauskaitė, Jae Kwang Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Gesamtzahl der Äpfel in einem riesigen Obstgarten zu zählen, um dem Stadtrat Bericht zu erstatten. Sie haben zwei Möglichkeiten, diese Daten zu erhalten:

Der „Freiwilligen"-Haufen: Eine Gruppe von Menschen, die Äpfel lieben, hat bereits einen riesigen Haufen Äpfel aus dem Obstgarten gepflückt und zum Tor gebracht. Sie wissen genau, wie viele Äpfel in diesem Haufen sind, weil sie sie gezählt haben. Allerdings wissen Sie nicht, von welchen Bäumen sie gepflückt haben. Vielleicht haben sie nur von den großen, leicht erreichbaren Bäumen gepflückt, oder vielleicht nur von den am tiefsten roten. Sie können nicht sicher sein, ob ihr Haufen den gesamten Obstgarten repräsentiert.
Die „Offizielle" Umfrage: Sie haben einen strengen, wissenschaftlichen Plan, durch den Obstgarten zu gehen, Äpfel von bestimmten Bäumen mit einer zufälligen Methode zu pflücken und sie zu zählen. Dies ist der Goldstandard für Genauigkeit, aber er ist teuer und langsam.

Das Problem:
Traditionell versuchen Statistiker, diese beiden Haufen zu mischen. Sie gehen davon aus, dass der „Freiwilligen"-Haufen eine faire Darstellung des gesamten Obstgartens ist (eine große Annahme, die als „Fehlen zufällig" bezeichnet wird). Wenn diese Annahme falsch ist – wenn die Freiwilligen beispielsweise nur rote Äpfel gepflückt haben –, wird die endgültige Zählung falsch sein, und keine Menge an Mathematik kann dies korrigieren.

Die Lösung des Papiers: Eine „Zwei-Schritt"-Strategie
Die Autoren dieses Papiers schlagen einen cleveren, schrittweisen Weg vor, um diese beiden Quellen zu kombinieren, ohne riskante Vermutungen über die Gewohnheiten der Freiwilligen anzustellen.

Schritt 1: Die „Gewissheits"-Zone

Zuerst behandeln Sie den „Freiwilligen"-Haufen als eine abgeschlossene Zone. Sie sagen: „Okay, wir haben jeden einzelnen Apfel in dieser spezifischen Gruppe gezählt. Wir müssen nichts über sie raten; wir akzeptieren sie einfach als bekannte Tatsache."

Schritt 2: Die „Ergänzende" Umfrage

Als nächstes schicken Sie Ihr offizielles Umfrage-Team los, aber mit einer strengen Regel: Sie dürfen die Bäume, die bereits im Freiwilligen-Haufen sind, nicht betrachten. Sie befragen nur die verbleibenden Bäume, die die Freiwilligen verpasst haben.

Da das Umfrage-Team nur die „übrig gebliebenen" Bäume betrachtet und eine strenge Zufallsmethode anwendet, sind ihre Daten perfekt zuverlässig. Sie haben nun zwei distincte, sich nicht überschneidende Gruppen:

Gruppe A: Der bekannte, vollständig gezählte Freiwilligen-Haufen.
Gruppe B: Der wissenschaftlich beprobte Rest des Obstgartens.

Die zwei Möglichkeiten, die Daten zu kombinieren

Sobald Sie diese beiden Gruppen haben, schlägt das Papier zwei Möglichkeiten vor, die Gesamtzahl zu berechnen:

Die „Separate" Methode: Sie berechnen die durchschnittliche Apfelgröße für die Freiwilligen und die Durchschnittswerte für das Umfrage-Team separat und addieren sie dann. Dies ist die sicherste Methode. Sie funktioniert auch dann, wenn die Freiwilligen verzerrt waren (z. B. wenn sie nur rote Äpfel gepflückt haben), da Sie nicht versuchen, ihre Daten so zu zwingen, dass sie den Umfragedaten entsprechen.
Die „Kombinierte" Methode: Sie gehen davon aus, dass die Freiwilligen und das Umfrage-Team im Wesentlichen die gleiche Art von Menschen sind, und mischen ihre Daten, um einen einzigen Durchschnitt zu erhalten. Dies ist effizienter (liefert eine engere Schätzung), nur wenn die beiden Gruppen tatsächlich ähnlich sind.

Der „Pilot"-Trick (Die Umfrage intelligenter machen)

Hier kommt der clevere Teil: Da Sie bereits den riesigen „Freiwilligen"-Haufen haben, können Sie ihn als Pilotstudie verwenden, um Ihrem Umfrage-Team zu helfen, intelligenter zu arbeiten.

Bevor das Umfrage-Team losgeht, betrachten Sie den Freiwilligen-Haufen, um zu sehen, wie stark die Apfelgrößen variieren. Wenn Sie sehen, dass große Bäume stark unterschiedliche Apfelgrößen haben, können Sie Ihrem Umfrage-Team sagen: „Hey, überprüft mehr Bäume, die wie diese großen aussehen." Dies hilft Ihnen, eine bessere Umfrage zu entwerfen, die mit dem geringsten Aufwand die genaueste Antwort liefert. Dies wird als optimale Stichprobenziehung bezeichnet.

Warum dies wichtig ist (Die Ergebnisse)

Die Autoren haben diese Idee mit Computersimulationen und echten Daten aus der litauischen Regierungsstatistik getestet (Zählung von Unternehmensverkäufen und Apotheken-Drogenverkäufen).

Es ist robust: Selbst wenn der „Freiwilligen"-Haufen stark verzerrt war (nur bestimmte Apfeltypen gepflückt), blieb die neue Methode genau. Alte Methoden, die versuchten, die Verzerrung mathematisch zu „korrigieren", versagten in diesen Fällen kläglich.
Es ist effizient: Wenn die beiden Gruppen ähnlich waren, lieferte das Mischen eine etwas bessere Antwort. Wenn sie sehr unterschiedlich waren, war es sicherer, sie getrennt zu halten.
Keine magischen Annahmen: Die Methode erfordert nicht, dass Sie glauben, die Freiwilligen hätten Äpfel zufällig gepflückt. Sie behandelt sie einfach als einen bekannten Datenblock und führt die harte Mathematik für den Rest durch.

Das Fazit

Betrachten Sie dieses Papier als ein neues Regelbuch zum Mischen von „unordentlichen, nicht verifizierten Daten" mit „sauberen, wissenschaftlichen Daten". Anstatt zu versuchen, die unordentlichen Daten in ein perfektes Modell zu zwingen (was oft scheitert), isoliert es die unordentlichen Daten als einen bekannten Block, nutzt sie, um eine bessere Umfrage für den Rest der Welt zu entwerfen, und kombiniert die Ergebnisse dann auf eine Weise, die mathematisch garantiert genau ist, egal wie seltsam die unordentlichen Daten waren.

Technischer Überblick: Hin zu einem designbasierten Inferenzansatz für die Datenintegration

Problemstellung
Die Integration von nicht-wahrscheinlichkeitsbasierten Stichproben (z. B. freiwillige Antworten, Verwaltungsdaten) in Inferenzverfahren für endliche Populationen stellt eine wachsende Herausforderung in der amtlichen Statistik dar. Traditionelle Ansätze verlassen sich typischerweise auf die Modellierung unbekannter Auswahlwahrscheinlichkeiten unter der Annahme „Missing-At-Random" (MAR), häufig unter Verwendung von Inverse-Probability-Weighting (IPW) oder doppelt robusten (DR) Schätzern. Diese Methoden sehen sich jedoch drei kritischen Einschränkungen gegenüber:

Unüberprüfbare Annahmen: Die MAR-Annahme und die Positivitätsbedingung sind in der Praxis schwer zu verifizieren, insbesondere wenn die Auswahl von unbeobachteten Variablen oder dem Studienergebnis selbst abhängt (Not-Missing-At-Random, NMAR).
Redundanz und Effizienz: In unabhängigen Stichprobenrahmen, bei denen Wahrscheinlichkeits- und Nicht-Wahrscheinlichkeits-Stichproben separat aus derselben Population gezogen werden, ist eine Überlappung unvermeidbar. Dies führt zu duplizierten Beobachtungen und einer verringerten Schätzeffizienz.
Fusionskomplexität: Die Kombination unabhängiger Stichproben erfordert häufig einen Fusions-Tuning-Parameter (z. B. ein Gewicht $\alpha$ ), der selten optimal gewählt wird und von geschätzten Varianzen abhängt, die in der Praxis schwer zu minimieren sind.

Methodik: Ein sequenzieller designbasierter Rahmen
Die Autoren schlagen einen sequenziellen Stichprobenrahmen vor, der die Nicht-Wahrscheinlichkeits-Stichprobe ( $S_{np}$ ) als vollständig beobachtete Gewissheitsstratum behandelt. Die Wahrscheinlichkeits-Stichprobe ( $S_p$ ) wird dann ausschließlich aus dem komplementären Satz von Einheiten ( $U_1 = U \setminus S_{np}$ ) gezogen, die nicht in der Nicht-Wahrscheinlichkeits-Stichprobe enthalten waren.

Dieser Ansatz eliminiert die Notwendigkeit, den Auswahlmechanismus von $S_{np}$ vollständig zu modellieren, da ihre Einbeziehungswahrscheinlichkeiten effektiv 1 sind. Innerhalb dieses Rahmens werden zwei Generalisierte Regressions-Schätzer (GREG) entwickelt:

Separater GREG-Schätzer ( $\hat{Y}_{sepDI}$ ): Passt das Ergebnisregressionsmodell separat innerhalb des komplementären Stratum $U_1$ an.
Kombinierter GREG-Schätzer ( $\hat{Y}_{comDI}$ ): Pooled sowohl $S_{np}$ als auch $S_p$ , um einen einzigen Regressionskoeffizienten zu schätzen, wobei Homogenität über die Strata hinweg angenommen wird.

Zur Steigerung der Effizienz dient die Nicht-Wahrscheinlichkeits-Stichprobe als Pilot, um Varianzkomponenten zu schätzen. Unter einem arbeitenden Superpopulation-Modell werden diese Schätzungen verwendet, um zweite-stufige Einbeziehungswahrscheinlichkeiten für $S_p$ zu konstruieren, die proportional zur bedingten Standardabweichung des Ergebnisses sind (Isaki–Fuller-Optimalität). Ein diagnostischer Test auf Koeffizientenhomogenität wird vorgeschlagen, um die Wahl zwischen dem separaten und dem kombinierten Schätzer zu leiten.

Hauptbeiträge
Der Artikel leistet zwei distincte, geschichtete theoretische Beiträge:

Robustheit der Inferenz (Design-Konsistenz):
Die Autoren zeigen, dass sowohl der separate als auch der kombinierte GREG-Schätzer unter Standard-Regularitätsbedingungen für das zweite-stufige Wahrscheinlichkeitsdesign design-konsistent sind. Entscheidend ist, dass diese Konsistenz ohne jede Annahme bezüglich des Auswahlmechanismus der Nicht-Wahrscheinlichkeits-Stichprobe gilt. Die Schätzer bleiben sowohl unter MAR- als auch unter NMAR-Bedingungen gültig. Diese Robustheit ist strukturell bedingt: Durch die Behandlung von $S_{np}$ als Gewissheitsstratum gehen die unbekannten Auswahlwahrscheinlichkeiten niemals in den Schätzer ein, wodurch die Modellierung des Nicht-Wahrscheinlichkeits-Mechanismus unnötig wird. Konsistente Plug-in-Varianzschätzer werden ebenfalls bereitgestellt.
Asymptotische Optimalität des Designs:
Unter einem arbeitenden Superpopulation-Modell, das in beiden Strata gilt (eine Bedingung, die strikt stärker ist als MAR), ermöglicht die Pilot-Nicht-Wahrscheinlichkeits-Stichprobe die Konstruktion von zweite-stufigen Einbeziehungswahrscheinlichkeiten, die für den separaten Schätzer eine Isaki–Fuller-Asymptotische Optimalität erreichen. Die Autoren betonen, dass diese Optimalität zwar auf starken Modellannahmen beruht, das Versagen dieser Annahmen jedoch die Ergebnisse zur Design-Konsistenz oder Varianzschätzung des ersten Beitrags nicht ungültig macht. Somit bietet das pilotbasierte Design potenzielle Effizienzgewinne, ohne die Gültigkeit der Inferenz zu beeinträchtigen.

Ergebnisse
Der Artikel validiert diese Beiträge durch umfangreiche Simulationsstudien und zwei Anwendungen auf Realdaten unter Verwendung litauischer amtlicher Statistiken (Umsatz von Dienstleistungsunternehmen und Apotheken-Verkäufe von Arzneimitteln).

Simulationsbefunde:
- Unter MAR: Sowohl die sequenziellen Schätzer als auch die standardmäßigen, durch Propensitäten angepassten Konkurrenten (IPW, DR) performen gut, wobei die sequenziellen Schätzer im Allgemeinen einen niedrigeren mittleren quadratischen Fehler (RMSE) erreichen und die Redundanz unabhängiger Stichproben vermeiden.
- Unter NMAR: Die sequenziellen Schätzer bleiben im Wesentlichen unverzerrt mit gut kalibrierten Varianzschätzungen und einer nominalen 95%-Konfidenzintervall-Abdeckung. Im scharfen Kontrast dazu zeigen propensitätsbasierte Konkurrenten (IPW, DR und Fusions-Schätzer) eine schwere Verzerrung (über 4,5 % relative Verzerrung), wenn der Auswahlmechanismus vom Ergebnis abhängt.
- Design-Effizienz: Das geschätzte optimale Design (unter Verwendung von Pilot-Varianzschätzungen) übertrifft Designs mit gleicher Wahrscheinlichkeit signifikant und ist weit überlegen gegenüber Designs mit Wahrscheinlichkeit proportional zur Größe (PPS), die Instabilität und hohe RMSE-Werte zeigten.
Anwendungen auf Realdaten:
- Umsatzdaten (Hohe Heterogenität): In einer Anwendung, bei der die administrative Pilotstichprobe große Unternehmen überrepräsentierte, wurde der separate Regressions-Schätzer bevorzugt. Der kombinierte Schätzer war aufgrund starker Heterogenität zwischen den Strata weniger effizient.
- Apothekendaten (Niedrige Heterogenität): In einer Anwendung, bei der die freiwillige Stichprobe und das Komplement ähnlich waren, bot der kombinierte Schätzer einen bescheidenen Effizienzgewinn gegenüber dem separaten Schätzer, obwohl der statistische Test die Koeffizientenhomogenität ablehnte (ein häufiges Phänomen bei großen Stichproben, bei denen selbst vernachlässigbare Unterschiede erkannt werden).

Bedeutung und Behauptungen
Der Artikel behauptet, dass sein sequenzieller Rahmen eine robuste Alternative zu modellabhängigen Methoden der Datenintegration darstellt. Durch die Verlagerung des Fokus von der Modellierung unbekannter Auswahlwahrscheinlichkeiten hin zu einem designbasierten geschichteten Ansatz stellt die Methode eine gültige Inferenz sicher, selbst wenn die Auswahl NMAR ist.

Die Autoren positionieren die beiden Beiträge als „geschichtet und nicht gekoppelt": Die Gültigkeit der Inferenz (Design-Konsistenz) ist unabhängig vom Auswahlmechanismus garantiert, während die Effizienzgewinne (Isaki–Fuller-Optimalität) von einem arbeitenden Modell abhängen. Der Artikel schließt, dass der sequenzielle Ansatz die Notwendigkeit von unüberprüfbaren Annahmen und Tuning-Parametern eliminiert und eine transparente und umsetzbare Lösung für die Integration von Nicht-Wahrscheinlichkeits-Daten in die amtliche Statistik bietet, insbesondere in Szenarien, in denen die Nicht-Wahrscheinlichkeits-Quelle groß ist und der Auswahlmechanismus unbekannt oder komplex ist.