A Unified Bayesian Model for Voter Turnout Estimation: Combining Surveys, Aggregate Data, and Selection Correction

Das große Wähler-Ratespiel

Stellen Sie sich vor, Sie versuchen herauszufinden, wer genau zu einer riesigen, geheimen Party kommen wird. Sie können nicht jeden direkt fragen, da die meisten Leute nicht an der Tür aufmachen würden und die wenigen, die es tun, vielleicht lügen und behaupten, sie seien super begeistert teilzunehmen, obwohl sie eigentlich zu Hause bleiben wollen. Dies ist das tägliche Kopfzerbrechen für Politikwissenschaftler, die versuchen, die Wahlbeteiligung zu verstehen. Sie haben zwei Hauptwerkzeuge, aber beide sind etwas fehlerhaft. Erstens haben sie Umfragen, bei denen sie Menschen fragen, was sie planen zu tun. Das Problem? Die Menschen, die antworten, sind oft die politisch am stärksten Interessierten und neigen dazu, ihre Begeisterung zu übertreiben (ähnlich wie Menschen in sozialen Netzwerken eher über das Training im Fitnessstudio posten, als sie es tatsächlich tun). Zweitens haben sie offizielle Zählungen, die ihnen genau sagen, wie viele Menschen in einer ganzen Stadt oder Region gewählt haben, aber sie haben keine Ahnung, wer diese Menschen waren. Es ist, als wüsste man die Gesamtzahl der gegessenen Pizzastücke auf einer Party, aber nicht, welche Gäste die Salami gegessen und welche nur beim Käse geblieben sind.

Um dies zu lösen, nutzen Wissenschaftler eine Methode namens Multilevel Regression and Poststratification (MRP). Stellen Sie sich das wie den Bau einer riesigen, detaillierten Karte der Bevölkerung unter Verwendung von Volkszählungsdaten (der Liste aller Menschen, die dort leben) vor, und versuchen dann, das „Wahl“-Bild mit den Umfragedaten darauf zu malen. Da die Umfragedaten jedoch unordentlich und verzerrt sind, kommt das Bild oft verschwommen oder falsch heraus. Dieses Paper, geschrieben von Forschern aus Estland, stellt eine große Frage: Können wir einen smarteren, vereinheitlichten Weg finden, um die unordentlichen Umfrageantworten mit den perfekten offiziellen Zählungen zu kombinieren, um ein kristallklares Bild davon zu bekommen, wer genau wählt und wer nicht? Sie wollen über das bloße Schätzen der Gesamtzahl hinausgehen und anfangen, die spezifischen Gewohnheiten verschiedener Gruppen zu verstehen, wie etwa junger Menschen, unterschiedlicher Ethnien oder Menschen mit variierenden Bildungsständen.

Die drei neuen Modelle: Ein Detektiv-Werkzeugkasten

Die Autoren schlagen ein neues „Bayesianisches“ Framework vor, was eine elegante Art zu sagen ist, dass sie ein mathematisches System verwenden, das seine Überzeugungen aktualisiert, sobald es neue Beweise sieht. Sie haben drei verschiedene Detektiv-Werkzeuge (Modelle) gebaut, um das Rätsel der Wahlbeteiligung zu lösen, wobei jedes Modell ein Stück komplexer ist als das vorherige.

1. Der „ökologische“ Detektiv (EI-Modell)
Das erste Werkzeug ist ein Multilevel Ecological Inference (EI) Modell. Stellen Sie sich vor, Sie haben eine Tüte gemischter Süßigkeiten (die offiziellen Stimmenzahlen für eine ganze Stadt) und Sie kennen das exakte Rezept der Tüte (die Volkszählungsdaten, die zeigen, wie viele Kinder, Erwachsene und Senioren dort leben). Dieses Modell versucht zu erraten, wie viele von jeder Süßigkeitstyp gegessen wurden, indem es lediglich das Gesamtgewicht der Tüte betrachtet. Es ist clever, weil es die bekannte Bevölkerungsstruktur nutzt, um fundierte Vermutungen anzustellen, aber es ist immer noch ein Raten basierend auf dem „großen Ganzen“, was manchmal zu Fehlern führen kann (wie die Annahme, dass jeder in einer Nachbarschaft gleich gewählt hat).

2. Der „Umfrage-und-Marge“-Detektiv (PM-Modell)
Das zweite Werkzeug, das Poll-and-Margin (PM) Modell, ist der Hauptdarsteller des Papers. Dieses Modell agiert wie ein Detektiv, der zwei Zeugen gleichzeitig belauscht: die Umfrageteilnehmer (die vielleicht lügen oder übertreiben) und die offiziellen Stimmenzähler (die genau sind, aber schweigsam). Anstatt sie getrennt zu behandeln, zwingt das PM-Modell sie dazu, sich auf eine einzige Geschichte zu einigen. Es nutzt die offiziellen Stimmenzahlen, um die Umfragedaten zu „verankern“, und sagt effektiv: „Okay, die Umfrage sagt, dass 90 % der Menschen planen zu wählen, aber die offizielle Zählung sagt, dass nur 70 % es getan haben. Lassen Sie uns die Übertreibung der Umfrage so anpassen, dass die Mathematik aufgeht.“
In ihren Tests war dieses Modell eine enorme Verbesserung gegenüber der derzeit besten Methode (genannt Ghitza-Gelman). In Simulationen reduzierte es die mediane Kullback-Leibler (KL)-Divergenz um etwa 30 % im Vergleich zum Ghitza-Gelman-Benchmark. Es ist wie das Aufnehmen eines verschwommenen Fotos und die Verwendung eines scharfen Referenzbildes, um den Fokus zu korrigieren. Die Autoren schlagen vor, dass dies der neue Standard für politische Analysten sein sollte, da es Unsicherheiten viel besser handhabt als die alten Zwei-Schritt-Methoden.

3. Der „Full Selection“-Detektiv (FS-Modell)
Das dritte Werkzeug, das Full Selection (FS) Modell, ist das ehrgeizigste. Es versucht, die Ursache des Problems zu lösen: Warum nehmen die „falschen“ Leute an der Umfrage teil? Es verwendet einen statistischen Trick namens Heckman-Selection-Correction. Stellen Sie sich vor, die Umfrage ist ein Club mit einem Türsteher. Das FS-Modell versucht, die geheimen Regeln des Türstehers zu entschlüren (z. B. „Ich lasse nur Leute rein, die Sport lieben“) und dann die Daten mathematisch zu „ent-Türstehern“, um zu sehen, wie die gesamte Menge aussieht.
Dieses Modell zeigte die besten Ergebnisse in Simulationen, insbesondere wenn die Umfrage sehr verzerrt war (wie etwa, wenn nur 21 % der Bevölkerung bereit waren, mit den Umfrageleitern zu sprechen). In diesen schwierigen Fällen war die mediane KL-Divergenz des FS-Modells um 57 % niedriger als die des Ghitza-Gelman-Benchmarks. Es gibt jedoch einen Haken: Dieses Modell ist sensibel. Es muss mit „intelligenten Vermutungen“ (sogenannten informativen Priors) gefütert werden, darüber, wie verzerrt die Umfrage ist, um richtig zu funktionieren. Wenn die Verzerrung der Umfrage durch zufälliges Rauschen verursacht wird, das das Modell nicht erwartet hat, verschwindet der Vorteil des FS-Modells.

Was sie herausgefunden haben (und was nicht)

Die Forscher testeten diese Modelle mithilfe einer massiven Simulation, die auf realen Volkszählungsdaten aus Estland basiert. Sie erstellten fiktive Wahlszenarien, in denen sie die „Wahrheit“ kannten, und sahen dann, welches Modell der Wahrheit am nächsten kam.

• Der Gewinner: In den Simulationen war das Full Selection (FS) Modell am genauesten, dicht gefolgt vom Poll-and-Margin (PM) Modell. Beide waren signifikant besser als die aktuelle State-of-the-Art-Methode (Ghitza-Gelman) in Bezug auf die Verteilungsabstandskennzahlen.
• Der Realitätscheck: Als sie diese Modelle auf die estnische Parlamentswahl 2023 anwandten, waren die Ergebnisse etwas gemischter. Das PM-Modell performte sehr ähnlich wie die besten existierenden Methoden bei den Daten, die sie überprüfen konnten. Das FS-Modell zeigte eine leichte Verbesserung, aber nur, weil es jene „intelligenten Vermutungen“ (Priors) über die Verzerrung der Umfrage nutzte. Ohne diese spezifischen Vermutungen performte das FS-Modell genauso wie das PM-Modell.
• Die Warnung: Die Autoren sind vorsichtig und betonen, dass die Superkraft des FS-Modells davon abhängt, dass die Umfrage „zufällig kontaktiert“ wurde (wie ein Anruf bei einer zufälligen Liste) und man eine Vorstellung über die Rücklaufquote hat. Wenn die Umfragedaten auf eine Weise unordentlich sind, die das Modell nicht erwartet (wie zufälliges Rauschen), verliert das FS-Modell seinen Vorsprung.

Das Fazit

Dieses Paper behauptet nicht, das Rätsel der Wahlen für immer gelöst zu haben. Stattdessen bietet es ein besseres Werkzeugset an. Das Poll-and-Margin (PM) Modell wird als zuverlässiges, robustes Upgrade für fast jede Situation präsentiert, das einen saubereren Weg bietet, Umfragedaten mit offiziellen Zählungen zu kombinieren. Das Full Selection (FS) Modell ist ein mächtiges, spezialisiertes Werkzeug, das in schwierigen, verzerrten Situationen zusätzliche Genauigkeit herausholen kann, aber eine sorgfältige Handhabung und spezifische Annahmen erfordert, um zu funktionieren.

Die Autoren empfehlen, dass jeder, der diese Methoden anwendet, sowohl das PM- als auch das FS-Modell laufen lassen und die Ergebnisse vergleichen sollte. Wenn sie übereinstimmen, können Sie zuversichtlich sein. Wenn sie voneinander abweichen, ist das ein Zeichen dafür, dass die Daten zu unordentlich oder die Annahmen zu wackelig sind, um einer einzigen Antwort zu vertrauen. Es ist eine Erinnerung daran, dass in der Welt der Politikwissenschaft selbst die beste Mathematik eine gesunde Portion Skepsis benötigt.