A Total Statistical Error Framework for Comparing Census Data Collection Methods

想象一下，你正试图为一座繁忙的城市拍摄一张完美的快照。你想确切知道谁住在哪里，每个房子里有多少人，以及他们通常在哪里睡觉。这就是人口普查的工作。但生活是混乱的。人们会搬家，有人会忘记填写表格，或者有人可能正睡在临时地点，比如学生宿舍或建筑营地。当普查人员找不到一个人，或者不知道他们的“常住”地址时，他们必须进行猜测。这种猜谜游戏被称为插补（imputation）。

现在，想象你有两种不同的猜测方法。也许一种方法使用“最近邻”（寻找与已回答的人最相似的人并复制其细节）的方法，而另一种方法则使用一个被称为“随机森林”的复杂计算机大脑来预测答案。你如何知道哪种猜测者更好？通常，统计学家会分别检查两件事：他们是否找到了那个人？以及他们是否猜对了地址？但如果一种方法能找到更多的人，却猜错了他们的地址，而另一种方法找的人较少，却猜对了地址呢？这就像是在比较一位厨师做了一大桌菜却烧焦了一半，与另一位厨师做了一小份菜却做得完美无瑕。你需要一种衡量“整顿饭”的方法，而不仅仅是衡量其中的部分。这篇论文构建了一个新的“计分卡”来解决这个问题，帮助官员们决定哪种猜测方法能提供最准确的人口画像。

---

伟大的普查猜谜赛

在统计人口的世界里，把地址弄对与把人数数对同样重要。如果一名学生被统计在大学宿舍，但其实际“常住”地址是父母家，那么这对地方规划来说就是一个错误。本文的作者，Siu-Ming Tam 和 Anders Holmberg，意识到统计学家缺乏一种单一、公平的方法来比较不同的猜测方法。他们想要一个能将“我们找到了他们吗？”和“我们猜对他们的地址了吗？”结合成一个简单数字的分数。

他们创建了一个名为全统计误差（Total Statistical Error, TSE）框架的新框架。把它想象成一个电子游戏，每个国家的人都是一个角色。对于每个角色，只有当两件事同时发生时，你才能获得一个“正确”点数（1）：普查实际上找到了他们，并且 将他们分配到了正确的家庭地址。如果普查完全漏掉了他们，或者虽然找到了他们但把他们放错了房子，你就会得到一个“错误”点数（0）。通过累加这些点数，你会得到一个正确率（Correctness Rate）。这个比率是最终的决胜局。如果方法 A 的正确率高于方法 B，那么方法 A 就胜出。即便方法 A 找到的人稍微少一点，只要它找到了正确的人并放在了正确的地方，它就是更好的工具。

两种检查分数的方式

论文解释说，根据你拥有的信息，有两种计算此分数的方法。

范式 I：神秘盒子（验证调查）
有时，你并不知道每个人的“真实”地址。你只有一个样本。想象你有一个巨大的普查数据箱，但你不知道真实的答案。为了检查你的工作，你派出了一支特别小组（后备调查，或称 PES）去随机抽样的人群中询问：“嘿，你真的住在哪里？”你将普查的猜测与 PES 的答案进行对比。这就像老师在批改试卷时，只检查了几个随机的问题。论文指出，如果那些没有回答 PES 的人与那些回答的人有所不同（例如，地址错误的统计对象更难被找到），那么你的得分就会产生偏差。这就像老师因为有些题目太乱而无法阅读，所以只批改了简单的题目。作者发现，这种“依赖性非响应”会导致一个糟糕的方法看起来表现优异。

范式 II：万能钥匙（直接基准）
有时，你拥有所有人的“真相”。也许你有一份之前的普查数据或一份完美的政府登记册。在这种情况下，你不需要猜测或抽样；你只需直接将新方法与主列表进行对比。这就像拥有整张试卷的答案解析。你可以直接计算出精确的正确率，而无需任何猜测。本文在主要实验中使用这种方法，因为他们可以接触到 2021 年澳大利亚普查的大规模数据集，其中已知所有人的真实答案。

大实验：谁的猜测最棒？

为了测试他们的新框架，作者利用 2021 年澳大利亚普查的真实数据进行了一场大规模模拟。他们取了 30,000 人，并假定其中 2%、5% 或 10% 的人存在“缺失”数据（如收入或职业类型）。然后，他们让两个不同的猜测机器尝试填补空白：

1. k-最近邻 (kNN)： 这种方法在数据库中寻找与缺失者最相似的人，并复制其信息。
2. 随机森林 (RF)： 这是一个更复杂的计算机模型，通过构建许多决策树来预测缺失的信息。

他们在一种被称为 NMAR（非随机缺失） 的棘手条件下测试了这些方法。这意味着那些“缺失”的人并不是随机缺失的；他们是因为高收入而缺失的，而高收入人群不太可能回答普查问题。这是一个非常现实的情景，使得猜测变得异常困难。

令人震惊的结果：
当他们观察“整体正确率”（包含所有人的总分）时，所有三种方法看起来几乎一模一样。它们都得分在 95% 到 98% 左右。为什么？因为大多数人并没有缺失数据，所以他们被自动正确统计了。整体得分掩盖了真正的核心问题。

但当他们缩小范围，仅观察那些需要猜测的人（“条件正确率”）时，情况发生了彻底的变化。

• 随机森林 (Random Forest) 模型在猜测单个细节方面是明显的赢家。它在测试的每一个变量上都优于 kNN。例如，它猜对正确职业行业的概率为 34%（相比之下 kNN 为 29%），猜对正确收入的概率为 17%（相比之下 kNN 为 12.5%）。
• 然而，当观察整体情况（即同时将同一个人的四个缺失细节都猜对）时，k-最近邻 (k-Nearest Neighbor) 方法（具体使用仅 1 个邻居时）实际上略微领先。它能让缺失人群中的 3.7% 实现四项细节全部正确，而随机森林仅为 3.4%。

为什么会有这种差异？因为随机森林是分别猜测每个细节的。它可能猜对了某人的职业，但猜错了收入。kNN 方法则是从同一个“邻居”那里获取所有细节，因此答案之间保持了连贯性。这就像是从一个朋友那里买一套完整的套装，而不是从一个朋友那里买件衬衫，又从另一个朋友那里买条裤子；整套搭配显然更合身。因此，虽然随机森林是单个事实更好的“专家”，但更简单的 kNN 方法在保持整个故事的连贯性方面其实略胜一筹。

有偏调查的陷阱

论文最重要的发现来自于“范式 I”的模拟。作者模拟了一种场景：即“检查小组”（PES）在寻找那些被错误猜测的人时遇到了困难。

• 标准做法： 如果你仅仅观察那些回答了 PES 的人，你可能会认为你的猜测方法有 97% 的准确率。
• 现实情况： 真实的准确率其实只有 95% 左右。
• 偏差： 标准做法将质量高估了约 2.5 个百分点。

但关键在于：当他们观察特定群体（如就业人员）时，误差呈爆炸式增长。因为缺失人群的比例很小（仅占该群体的 1.5% 到 6%），这个微小的偏差被极度放大。标准做法声称就业人员的准确率在 50%-60% 左右，而真实的准确率实际上接近 0%！这是一个灾难性的高估。

解决方案：
作者测试了一个名为 CBB-NR 的修复方法。这涉及在调查模型中添加一个简单的“标记”：“此人的数据最初是否缺失并经过了插补？”

• 当他们添加了这个简单的标记后，偏差降低了 90%。
• 令人惊讶的是，添加实际的猜测值（如收入或职业猜测）并没有带来多少帮助。那个简单的表示“此人是被猜测出来的”的“是/否”标记才是神奇的要素。

这为何重要

这篇论文为统计学家提供了一个衡量普查质量的新型、公平的标尺。它证明了，仅仅观察“大局”（整体准确率）可能会掩盖如何猜测缺失数据的严重缺陷。它还警告我们，如果我们的检查调查漏掉了那些最难被找到的人（即那些被猜错的人），我们将以为我们的方法比实际情况要好得多。

作者展示了，通过使用他们新的“正确率”并利用简单的标记来修复调查偏差，我们终于可以公平地比较 kNN 和随机森林等方法。他们发现，虽然复杂的计算机模型在猜测单个事实方面表现出色，但那些能让所有事实保持一致的更简单的方法，在还原“完整故事”方面可能反而更好。最重要的是，他们表明，如果不修复检查调查中的偏差，我们就是在盲目飞行，以为自己的地图完美无缺，而实际上地图可能漏洞百出。