A Unified Bayesian Model for Voter Turnout Estimation: Combining Surveys, Aggregate Data, and Selection Correction

Het Grote Stemmersraadspel

Stel je voor dat je probeert uit te vogelen wie er precies naar een enorm, geheim feestje gaat komen. Je kunt niet iedereen rechtstreeks vragen, want de meeste mensen nemen niet op en de enkelingen die dat wel doen, kunnen liegen en zeggen dat ze super enthousiast zijn om te komen, zelfs als ze van plan zijn thuis te blijven. Dit is de dagelijkse hoofdpijn voor politicologen die de opkomst van kiezers proberen te begrijpen. Ze hebben twee belangrijke instrumenten, maar beide zijn een beetje defect. Ten eerste hebben ze enquêtes, waarbij ze mensen vragen wat ze van plan zijn te gaan doen. Het probleem? De mensen die antwoorden zijn vaak degenen die het meest geïnteresseerd zijn in politiek, en ze hebben de neiging hun enthousiasme te overdrijven (een beetje zoals hoe mensen op sociale media vaker over sporten posten dan ze daadwerkelijk doen). Ten tweede hebben ze officiële tellingen, die hen precies vertellen hoeveel mensen er in een hele stad of regio hebben gestemd, maar ze hebben geen idee wie die mensen waren. Het is alsof je weet hoeveel plakjes pizza er in totaal zijn gegeten op een feestje, maar niet weet welke gast de pepperoni heeft gegeten en welke bij de kaas bleef.

Om dit op te lossen, gebruiken wetenschappers een methode genaamd Multilevel Regression and Poststratification (MRP). Denk hierbij aan het bouwen van een enorme, gedetailleerde kaart van de populatie met behulp van censusgegevens (de lijst van iedereen die daar woont) en vervolgens proberen het "stemmen"-plaatje op die kaart te schilderen met de enquêtegegevens. Echter, omdat de enquêtegegevens rommelig en bevooroordeeld zijn, komt het plaatje vaak wazig of fout uit. Dit artikel, geschreven door onderzoekers uit Estland, stelt een grote vraag: Kunnen we een slimmere, meer verenigde manier bouwen om de rommelige enquêteantwoorden te combineren met de perfecte officiële tellingen om een kristalhelder beeld te krijgen van exact wie er wel en wie er niet stemt? Ze willen verder gaan dan alleen het raden van het totaal aantal en beginnen met het begrijpen van de specifieke gewoonten van verschillende groepen, zoals jongeren, verschillende etniciteiten of mensen met variërende opleidingsniveaus.

De Drie Nieuwe Modellen: Een Detectives Gereedschapskist

De auteurs stellen een nieuw "Bayesiaans" kader voor, wat een chique manier is om te zeggen dat ze een wiskundig systeem gebruiken dat zijn overtuigingen bijstelt zodra het nieuwe bewijs ziet. Ze hebben drie verschillende detectietools (modellen) gebouwd om het mysterie van de opkomst van kiezers op te lossen, elk een stap complexer dan de vorige.

1. De "Ecologische" Detective (EI Model)
Het eerste hulpmiddel is een Multilevel Ecological Inference (EI) model. Stel je voor dat je een zak gemengde snoepjes hebt (de officiële stemtotalen voor een hele stad) en je weet het exacte recept van de zak (de censusgegevens die laten zien hoeveel kinderen, volwassenen en ouderen er wonen). Dit model probeert te raden hoeveel van elk type snoepje is gegeten door alleen naar het totale gewicht van de zak te kijken. Het is slim omdat het de bekende populatiestructuur gebruikt om onderbouwde gissingen te doen, maar het blijft nog steeds gissen op basis van het "grote plaatje" alleen, wat soms tot fouten kan leiden (zoals aannemen dat iedereen in een buurt op dezelfde manier stemt).

2. De "Poll-and-Margin" Detective (PM Model)
Het tweede hulpmiddel, het Poll-and-Margin (PM) model, is de hoofdrolspeler van het artikel. Dit model werkt als een detective die naar twee getuigen tegelijk luistert: de enquête-respondenten (die kunnen liegen of overdrijven) en de officiële stemtellers (die accuraat maar zwijgzaam zijn). In plaats van hen apart te behandelen, dwingt het PM-model hen om één enkel verhaal te vertellen. Het gebruikt de officiële stemtotalen om de enquêtegegevens te "verankeren", wat effectief zegt: "Oké, de enquête zegt dat 90% van de mensen van plan is te stemmen, maar de officiële telling zegt dat slechts 70% dat deed. Laten we de overdrijving in de enquête aanpassen zodat de wiskunde klopt."
In hun tests was dit model een enorme verbetering ten opzichte van de huidige beste methode (genaamd Ghitza-Gelman). In simulaties verminderde het de mediane Kullback-Leibler (KL) divergentie met ongeveer 30% vergeleken met de Ghitza-Gelman benchmark. Het is als het nemen van een wazige foto en een scherp referentiebeeld gebruiken om de focus te herstellen. De auteurs suggereren dat dit de nieuwe standaard moet zijn voor politieke analisten omdat het de onzekerheid veel beter aanpelt dan de oude tweestapsmethoden.

3. De "Full Selection" Detective (FS Model)
Het derde hulpmiddel, het Full Selection (FS) model, is het meest ambitieuze. Het probeert de kernoorzaak van het probleem aan te pakken: waarom reageren de verkeerde mensen überhaupt op de enquête? Het gebruikt een statistische truc genaamd Heckman selection correction. Stel je voor dat de enquête een club is met een uitsmijter. Het FS-model probeert de geheime regels van de uitsmijter te achterhalen (bijv. "Ik laat alleen mensen toe die van sport houden") en probeert vervolgens de data wiskundig te "ont-uitsmijten" om te zien hoe de hele menigte eruitziet.
Dit model toonde de beste resultaten in simulaties, vooral wanneer de enquête zeer bevooroordeeld was (zoals wanneer slechts 21% van de bevolking bereid was om met de enquêteurs te praten). In deze moeilijke gevallen was de mediane KL-divergentie van het FS-model 57% lager dan die van de Ghitza-Gelman benchmark. Er zit echter een addertje onder het gras: dit model is gevoelig. Het moet gevoed worden met enkele "slimme gissingen" (genaamd informatieve priors) over hoe bevooroordeeld de enquête is om goed te functioneren. Als de bias in de enquête wordt veroorzaakt door willekeurige ruis die het model niet verwachtte, verdwijnt het voordeel van het FS-model.

Wat Ze Vonden (en Wat Ze Niet Vonden)

De onderzoekers testten deze modellen met behulp van een enorme simulatie gebaseerd op echte censusgegevens uit Estland. Ze creëerden fictieve verkiezingsscenario's waarin ze de "waarheid" kenden en keken vervolgens welk model het dichtstbij kwam.

• De Winnaar: In de simulaties was het Full Selection (FS) model het meest accuraat, gevolgd door het Poll-and-Margin (PM) model. Beiden waren aanzienlijk beter dan de huidige state-of-the-art methode (Ghitza-Gelman) wat betreft distributieafstand-metrieken.
• De Realiteitscheck: Wanneer ze deze modellen toepasten op de parlementaire verkiezingen van Estland in 2023, waren de resultaten wat gemengder. Het PM-model presteerde zeer vergelijkbaar met de beste bestaande methoden op de gegevens die zij konden controleren. Het FS-model toonde een lichte verbetering, maar alleen omdat het gebruik maakte van die "slimme gissingen" (priors) over hoe bevooroordeeld de enquête was. Zonder die specifieke gissingen presteerde het FS-model net als het PM-model.
• De Waarschuwing: De auteurs zijn voorzichtig in hun stelling dat de kracht van het FS-model afhangt van het feit dat de enquête "willekeurig wordt benaderd" (zoals een telefoontje naar een willekeurige lijst) en dat er een idee is van het responspercentage. Als de enquêtegegevens rommelig zijn op manieren die het model niet verwacht (zoals willekeurige ruis), verliest het FS-model zijn voorsprong.

De Kern van het Verhaal

Dit artikel beweert niet dat het het mysterie van het stemmen voor altijd heeft opgelost. In plaats daarvan biedt het een betere gereedschapskist. Het Poll-and-Margin (PM) model wordt gepresenteerd als een betrouwbare, robuuste upgrade voor bijna elke situatie, die een schonere manier biedt om enquêtegegevens te combineren met officiële tellingen. Het Full Selection (FS) model is een krachtig, gespecialiseerd instrument dat extra nauwkeurigheid kan opleveren in moeilijke, bevooroordeelde situaties, maar het vereist zorgvuldige behandeling en specifieke aannames om te werken.

De auteurs bevelen aan dat iedereen die deze methoden gebruikt, zowel het PM- als het FS-model draait en de resultaten vergelijkt. Als ze het met elkaar eens zijn, kun je er zeker van zijn. Als ze van mening verschillen, is dat een teken dat de data te rommelig zijn of de aannames te wankel zijn om een enkel antwoord te vertrouwen. Het is een herinnering aan het feit dat in de wereld van de politieke wetenschappen zelfs de beste wiskunde een gezonde dosis scepsis nodig heeft.