A Unified Bayesian Model for Voter Turnout Estimation: Combining Surveys, Aggregate Data, and Selection Correction

伟大的选民猜谜游戏

想象一下，你正试图弄清楚到底谁会出现在一场盛大的、秘密的派对上。你不能直接询问每个人，因为大多数人都不会开门，而且少数开门的人可能会撒谎，即便他们计划留在家里，也会说自己对参加派对非常兴奋。这是政治学家在理解选民投票率（voter turnout）时面临的日常难题。他们有两个主要工具，但这两个工具都有缺陷。首先是调查（surveys），即询问人们计划做什么。问题在于？回答问题的人通常是对政治最感兴趣的人，而且他们往往会夸大自己的热情（有点像人们在社交媒体上发帖说自己在健身，但实际锻炼频率远低于此）。其次是官方统计（official counts），它能准确告诉你在整个城市或地区有多少人投票了，但它完全不知道这些人是谁。这就像知道派对上总共吃了多少片披萨，但不知道哪些客人吃了意大利香肠，哪些只吃了奶酪。

为了解决这个问题，科学家们使用了一种叫做多层回归与后分层化（Multilevel Regression and Poststratification, MRP）的方法。把这想象成利用人口普查数据（那里每个居民的名单）构建一张巨大的、详细的人口地图，然后尝试用调查数据将“投票”的图景绘制在这张地图上。然而，由于调查数据是混乱且带有偏差的，最终呈现出的图景往往模糊不清甚至错误。这篇由爱沙尼亚研究人员撰写的论文提出了一个大问题：我们能否建立一种更聪明、更统一的方法，将混乱的调查答案与完美的官方统计结合起来，从而获得一张清晰的图景，精准地展示究竟是谁在投票以及谁没有投票？他们希望超越仅仅猜测总数，转而开始理解不同群体（如年轻人、不同族裔或不同受教育程度的人）的具体行为习惯。

三种新模型：侦探的工具箱

作者提出了一种新的“贝叶斯（Bayesian）”框架，这是一种高级说法，意指他们使用一个随着看到新证据而不断更新其信念的数学系统。他们构建了三个不同的侦探工具（模型）来破解选民投票率之谜，每一个都比前一个更复杂。

1. “生态学”侦探 (EI 模型)
第一个工具是**多层生态推断（Multilevel Ecological Inference, EI）**模型。想象你有一袋混合糖果（整个城市的官方投票计数），并且你知道这袋糖果的确切配方（显示有多少儿童、成年人和老年人的普查数据）。该模型试图仅通过观察糖果袋的总重量，来猜测每种类型的糖果被吃了多少。它很聪明，因为它利用已知的总体结构来进行有根据的推测，但它仍然仅仅基于“大局观”进行猜测，这有时会导致误差（比如假设同一个社区的所有人都以同样的方式投票）。

2. “调查与边际”侦派 (PM 模型)
第二个工具，调查与边际（Poll-and-Margin, PM）模型，是本文的主角。这个模型就像一个同时倾听两位证人陈述的侦探：调查受访者（他们可能会撒谎或夸大其词）和官方计票员（他们很准确但保持沉默）。PM 模型并没有将它们分开对待，而是强迫它们达成一个统一的故事。它利用官方投票总量来“锚定”调查数据，有效地表达为：“好吧，调查显示 90% 的人计划去投票，但官方计数显示只有 70% 的人去了。让我们调整调查中的夸大成分，使数学逻辑成立。”
在测试中，这个模型比现有的最佳方法（称为 Ghitza-Gelman）有了巨大的进步。在模拟实验中，与 Ghitza-Gelman 基准相比，它将中位数 Kullback-Leibler (KL) 散度降低了约 30%。这就像是拿着一张清晰的参考图像来修复一张模糊的照片，使其重新聚焦。作者建议，这应该成为政治分析师的新标准，因为它处理不确定性的方式比旧的两步法要好得多。

3. “全选择”侦探 (FS 模型)
第三个工具，**全选择（Full Selection, FS）**模型，是最具野心的。它试图解决问题的根源：为什么错误的人首先参与了调查？它使用了一种叫做 Heckman 选择修正（Heckman selection correction）的统计技巧。想象调查是一个带有保安的俱乐部。FS 模型试图弄清楚保安的秘密规则（例如，“我只让热爱运动的人进来”），然后通过数学手段“撤销保安”的过程，来看清整个人群的真实面貌。
这个模型在模拟实验中表现出了最好的结果，尤其是在调查偏差非常严重的情况下（例如，只有 21% 的人口愿意与调查员交流）。在这些困难案例中，FS 模型的中位数 KL 散度比 Ghitza-Gelman 基准低了 57%。然而，这里有一个限制：这个模型非常敏感。它需要被喂入一些“智能猜测”（称为信息先验，informative priors），关于调查偏差有多大，才能正常工作。如果调查的偏差是由模型未曾预料到的随机噪声引起的，那么 FS 模型的优势就会消失。

他们的发现（以及没发现的）

研究人员使用基于爱沙尼亚真实普查数据的庞大模拟实验测试了这些模型。他们创建了虚假的选举场景，其中他们已知“真相”，然后观察哪个模型最接近真相。

• 获胜者： 在模拟实验中，**全选择（FS）模型最为准确，紧随其后的是调查与边际（PM）**模型。在分布距离指标方面，两者都显著优于目前最先进的方法（Ghitza-Gelman）。
• 现实检验： 当他们将这些模型应用于 2023 年爱沙尼亚议会选举时，结果则变得有些复杂。在他们可以核查的数据上，PM 模型的表现与现有的最佳方法非常相似。FS 模型显示出了一定的改进，但仅限于它使用了关于调查偏差的那些“智能猜测”（先验知识）。如果没有这些特定的猜测，FS 模型表现得和 PM 模型一样。
• 警告： 作者谨慎地指出，FS 模型的超能力取决于调查是否是“随机接触”（例如拨打随机名单上的电话）以及是否了解响应率。如果调查数据以模型未预料到的方式（如随机噪声）变得混乱，FS 模型就会失去优势。

总结

这篇论文并不声称已经永远解决了投票之谜。相反，它提供了一个更好的工具箱。**调查与边际（PM）**模型被呈现为一个可靠、稳健的升级方案，适用于几乎任何情况，提供了一种将调查数据与官方计数结合的更清晰的方法。**全选择（FS）**模型是一个强大的专业工具，可以在困难、有偏差的情况下榨取额外的准确性，但它需要精细的处理和特定的假设才能发挥作用。

作者建议，任何使用这些方法的人都应该同时运行 PM 和 FS 模型并比较结果。如果它们达成一致，你可以确信结果。如果它们产生分歧，这说明数据可能太乱，或者假设太脆弱，不足以信任单一的答案。这提醒我们，在政治科学的世界里，即使是最好的数学也需要加入大量的怀疑精神。