A Total Statistical Error Framework for Comparing Census Data Collection Methods

Stellen Sie sich vor, Sie möchten eine perfekte Momentaufnahme einer geschäftigen Stadt machen. Sie wollen genau wissen, wer wo lebt, wie viele Menschen in jedem Haus wohnen und wo sie normalerweise schlafen. Das ist die Aufgabe einer Volkszählung. Aber das Leben ist chaotisch. Menschen ziehen um, sie vergessen, Formulare auszufüllen, oder sie schlafen an einem vorübergehenden Ort, wie einem Studentenwohnheim oder einem Bauarbeiterlager. Wenn die Volkszähler eine Person nicht finden können oder deren „üblichen“ Wohnort nicht kennen, müssen sie raten. Dieses Ratespiel wird als Imputation bezeichnet.

Stellen Sie sich nun vor, Sie hätten zwei verschiedene Möglichkeiten, diese Vermutungen anzustellen. Vielleicht nutzt eine Methode einen „Nearest-Neighbor“-Ansatz (den ähnlichsten Menschen finden, der tatsächlich geantwortet hat, und dessen Details kopieren), und eine andere nutzt ein komplexes Computergehirn namens „Random Forest“, um die Antwort vorherzusagen. Woher wissen Sie, welcher Ratgeber besser ist? Normalerweise prüfen Statistiker zwei Dinge getrennt voneinander: Haben sie die Person gefunden? Und haben sie die richtige Adresse geraten? Aber was ist, wenn eine Methode mehr Menschen findet, aber deren Adressen falsch rät, während die andere weniger Menschen findet, aber deren Adressen richtig rät? Es ist, als würde man einen Koch vergleichen, der ein riesiges Mahl kocht, aber die Hälfte davon anbrennt, gegenüber einem Koch, der eine kleine Mahlzeit perfekt zubereitet. Sie brauchen eine Möglichkeit, das gesamte Mahl zu messen, nicht nur die einzelnen Teile. Dieses Papier entwickelt ein neues „Bewertungssystem“, um genau dieses Problem zu lösen und Beamten dabei zu helfen, zu entscheiden, welche Ratemethode das genaueste Bild der Bevölkerung liefert.

---

Das große Volkszählungs-Ratespiel

In der Welt der Menschenzählung ist es genauso wichtig, die richtige Adresse zu erhalten, wie die korrekte Anzahl zu ermitteln. Wenn ein Student in einem Studentenwohnheim gezählt wird, sein „üblicher“ Wohnsitz aber eigentlich das Elternhaus ist, ist das ein Fehler für die lokale Planung. Die Autoren dieser Arbeit, Siu-Ming Tam und Anders Holmberg, erkannten, dass Statistiker kein einheitliches, faires Verfahren hatten, um verschiedene Ratemethoden zu vergleichen. Sie wollten einen Score, der „Haben wir sie gefunden?“ und „Haben wir die richtige Adresse erhalten?“ in einer einzigen einfachen Zahl kombiniert.

Sie entwickelten ein neues Framework namens Total Statistical Error (TSE) Framework. Denken Sie an es wie an ein Videospiel, bei dem jeder Mensch im Land ein Charakter ist. Für jeden Charakter erhalten Sie einen „Korrekten“ Punkt (1) nur dann, wenn zwei Dinge passieren: Die Volkszählung hat die Person tatsächlich gefunden und ihr die korrekte Heimatadresse zugewiesen. Wenn die Volkszählung sie ganz übersehen hat oder sie zwar gefunden, aber in das falsche Haus gesteckt hat, erhalten Sie einen „Falschen“ Punkt (0). Durch das Zusammenrechnen all dieser Punkte erhalten Sie eine Korrektheitsrate (Correctness Rate). Diese Rate ist der ultimative Tie-Breaker. Wenn Methode A eine höhere Korrektheitsrate als Methode B hat, gewinnt Methode A. Es spielt keine Rolle, ob Methode A etwas weniger Menschen gefunden hat; wenn sie die richtigen Menschen an den richtigen Orten gefunden hat, ist sie das bessere Werkzeug.

Die zwei Wege, den Score zu berechnen

Das Papier erklärt, dass es zwei Wege gibt, diesen Score zu berechnen, abhängig davon, welche Informationen man hat.

Paradigma I: Die Geheimnisvolle Box (Validierungsumfrage)
Manchmal kennt man die „wahre“ Adresse nicht für alle. Man hat nur eine Stichprobe. Stellen Sie sich vor, Sie haben eine riesige Box mit Volkszählungsdaten, aber Sie kennen die echten Antworten nicht. Um Ihre Arbeit zu überprüfen, entsenden Sie ein spezielles Team (eine Post-Enumeration Survey, oder PES) zu einer zufälligen Stichprobe von Menschen, um zu fragen: „Hey, wo wohnst du wirklich?“ Sie vergleichen die Schätzungen der Volkszählung mit den PES-Antworten. Dies ist vergleichbar mit einem Lehrer, der eine Prüfung bewertet, indem er nur einige zufällige Fragen prüft. Das Papier zeigt, dass wenn die Menschen, die nicht an der PES teilnehmen, sich von denen unterscheiden, die teilnehmen (zum Beispiel, wenn Menschen mit falschen Adressen schwerer zu finden sind), Ihr Score verzerrt sein wird. Es ist, als würde der Lehrer nur die leichten Fragen bewerten, weil die schwierigen zu unleserlich sind. Die Autoren fanden heraus, dass diese „abhängige Nichtantwort“ (dependent non-response) eine schlechte Methode großartig aussehen lassen kann.

Paradigma II: Der Generalschlüssel (Direkter Benchmark)
Manchmal hat man die „Wahrheit“ für alle. Vielleicht haben Sie eine vorherige Volkszählung oder ein perfektes Register der Regierung. In diesem Fall müssen Sie nicht raten oder stichprobenartig vorgehen; Sie vergleichen die neue Methode einfach direkt mit der Masterliste. Es ist, als hätte man den Lösungsschlüssel für den gesamten Test. Sie können die exakte Korrektheitsrate berechnen, ohne zu raten. Das Papier nutzt diese Methode für sein Hauptexperiment, da es Zugang zu einem massiven Datensatz der australischen Volkszählung 2021 hatte, bei dem die wahren Antworten für alle bekannt waren.

Das große Experiment: Wer rät am besten?

Um ihr neues Framework zu testen, führten die Autoren eine massive Simulation unter Verwendung von Realdaten der australischen Volkszählung 2021 durch. Sie nahmen eine Gruppe von 30.000 Menschen und taten so, als hätten 2 %, 5 % oder 10 % von ihnen „fehlende“ Daten (wie Einkommen oder Art der Beschäftigung). Dann ließen sie zwei verschiedene „Ratemaschinen“ die Lücken füllen:

1. k-Nearest Neighbors (kNN): Diese Methode sucht die Person in der Datenbank, die der fehlenden Person am ähnlichsten ist, und kopiert deren Informationen.
2. Random Forest (RF): Dies ist ein komplexeres Computermodell, das viele Entscheidungsbäume aufbaut, um die fehlenden Informationen vorherzusagen.

Sie testeten diese Methoden unter der schwierigen Bedingung namens NMAR (Not Missing At Random). Das bedeutet, dass die Menschen, die „fehlend“ waren, nicht zufällig fehlten; sie fehlten, weil sie ein hohes Einkommen hatten, und Menschen mit hohem Einkommen waren weniger wahrscheinlich bereit, die Fragen der Volkszählung zu beantworten. Dies ist ein realistisches Szenario, das das Raten sehr schwierig macht.

Das schockierende Ergebnis:
Als sie sich die „Gesamtkorrektheitsrate“ (den Gesamt-Score inklusive aller Personen) ansah, sahen alle drei Methoden fast identisch aus. Sie alle erzielten etwa 95 % bis 98 %. Warum? Weil die meisten Menschen keine fehlenden Daten hatten, sodass sie automatisch korrekt gezählt wurden. Der Gesamtwert verbarg das eigentliche Problem.

Aber als sie sich nur auf die Menschen konzentrierten, die Raten erforderten (die „bedingte Korrektheitsrate“ / Conditional Correctness Rate), änderte sich die Geschichte völlig.

• Das Random Forest-Modell war der klare Gewinner beim Raten einzelner Details. Es übertraf kNN bei jeder einzelnen Variable, die getestet wurde. Zum Beispiel rät es zum Beispiel 34 % der Zeit korrekt über die Branche (im Vergleich zu 2- 29 % für kNN) und 17 % der Zeit korrekt über das Einkommen (im Vergleich zu 12,5 % für kNN).
• Wenn man jedoch das Gesamtbild betrachtete (alle vier fehlenden Details gleichzeitig für dieselbe Person korrekt zu erhalten), zog die k-Nearest-Neighbor-Methode (speziell unter Verwendung von nur einem Nachbarn) tatsächlich leicht an ihr vorbei. Sie brachte alle vier Details für 3,7 % der fehlenden Personen korrekt unter, während Random Forest nur 3,4 % erreichte.

Warum der Unterschied? Weil Random Forest jedes Detail separat rät. Es könnte das passende Berufsbild für eine Person richtig erraten, aber das Einkommen falsch. Die kNN-Methode hingegen nahm alle Details von demselben „Nachbarn“, sodass die Antworten untereinander konsistent blieben. Es war, als würde man ein komplettes Outfit von einem Freund bekommen im Gegensatz dazu, ein Hemd von einem Freund und eine Hose von einem anderen zu bekommen; das komplette Outfit passt einfach besser zusammen. Während Random Forest also der bessere „Spezialist“ für einzelne Fakten ist, war die einfachere kNN-Methode etwas besser darin, die gesamte Geschichte kohärent zu halten.

Die Falle der verzerrten Umfrage

Die wichtigste Erkenntnis des Papers stammt aus der „Paradigma I“-Simulation. Die Autoren simulierten ein Szenario, in dem das „Kontrollteam“ (die PES) Schwierigkeiten hatte, Menschen zu finden, die falsch geraten worden waren.

• Der Standardansatz: Wenn man nur die Menschen betrachtet, die an der PES teilgenommen haben, könnte man denken, dass die Ratemethode zu 97 % genau ist.
• Die Realität: Die wahre Genauigkeit lag nur bei etwa 95 %.
• Die Verzerrung: Der Standardansatz überschätzte die Qualität um etwa 2,5 Prozentpunkte.

Aber hier kommt der entscheidende Punkt: Wenn sie sich spezifische Gruppen (wie Erwerbstätige) ansah, explodierte der Fehler. Da die Gruppe der fehlenden Personen klein war (nur etwa 1,5 % bis 6 % der Gruppe), wurde die kleine Verzerrung massiv verstärkt. Der Standardansatz behauptete, die Genauigkeit für Erwerbstätige läge bei etwa 50–60 %, während die wahre Genauigkeit tatsächlich nahe bei 0 % lag! Es war eine katastrophale Überschätzung.

Die Lösung:
Die Autoren testeten eine Korrektur namens CBB-NR. Dies beinhaltet das Hinzufügen eines einfachen „Flags“ zum Umfragemodell: „Wurden die Daten dieser Person ursprünglich fehlend und imputiert?“

• Als sie dieses einfache Flag hinzufügten, sank die Verzerrung um 90 %.
• Überraschenderweise half es nicht viel, die tatsächlich geratenen Werte (das Einkommen oder die Berufs-Schätzungen) hinzuzufügen. Das einfache „Ja/Nein“-Flag, das besagte: „Diese Person wurde geraten“, war die magische Zutat.

Warum dies wichtig ist

Dieses Papier liefert den Statistikern ein neues, faires Lineal, um die Qualität von Volkszählungen zu messen. Es beweist, dass die Betrachtung des „großen Ganzen“ (Gesamtgenauigkeit) schwerwiegende Mängel in der Art und Weise verbergen kann, wie fehlende Daten geraten werden. Es warnt uns auch davor, dass wir unsere Methoden viel besser einschätzen, als sie tatsächlich sind, wenn unsere Kontrollumfragen die Menschen verpassen, die am schwersten zu finden sind (diejenigen mit falschen Schätzungen).

Die Autoren zeigen, dass wir durch die Verwendung ihres neuen „Korrektheits-Maßstabs“ und die Korrektur der Umfrageverzerrung mit einem einfachen Flag endlich Methoden wie kNN und Random Forest fair vergleichen können. Sie fanden heraus, dass komplexe Computermodelle zwar großartig darin sind, einzelne Fakten zu raten, einfachere Methoden, die alle Fakten zusammenhalten, aber tatsächlich besser darin sein können, die gesamte Geschichte richtig zu erzählen. Am wichtigsten ist jedoch, dass sie gezeigt haben, dass wir ohne die Behebung der Verzerrung in unseren Kontrollumfragen blind fliegen – wir glauben, unsere Karten seien perfekt, während sie in Wahrheit voller Löcher sein könnten.