Simulation-consistent Estimation of the Marginal Likelihood for Block Models

想象一下，你正走进一个规模宏大、混乱不堪的派对，成千上万的人正在其中交谈、呐喊并分享着各自的故事。你的目标是弄清楚谁属于哪个群体。是在角落里讨论最新科幻电影的人，与在茶水间旁争论气候变化的人属于不同的群体吗？在数据科学的世界里，这场派对就是一个“网络”（network），而这些群体被称为“簇”（clusters）。科学家使用被称为“块模型”（block models）的数学工具来绘制这些隐形的社交圈。但棘手之处在于，就像试图在不知道答案的情况下猜出派对上有多少个小组一样，要判断你找到的是否是“正确”数量的簇，是非常困难的。你可能会猜有 5 个组，或者可能有 50 个组；如果没有一种可靠的方法来核实，你可能会完全出错。这是一个巨大的问题，因为如果你无法准确计算群体的数量，你就无法理解信息、思想甚至病毒是如何在网络中传播的。

这就是一种名为 THAMES（用于块模型的截断调和平均估计法，Truncated Harmonic Mean Estimator for Block Models）的新方法——它扮演着一个超级智能、由模拟驱动的侦探角色。由 Martin Metodiev 及其同事领导的研究人员构建了这个工具，它可以计算不同群体配置的“得分”，以观察哪一种配置最合理。与那些经常陷入困境、半途而废或产生极不稳定结果的旧方法不同，THAMES 被设计为具有“模拟一致性”（simulation-consistent）。把它想象成品尝一碗汤：如果你只尝一勺，你可能不知道它是否够咸。但如果你不断地尝试更多次的品尝（模拟），你的味觉就会变得越来越精准，直到你百分之百确定。THAMES 对网络数据也是如此，它允许科学家自信地确定隐藏群体的真实数量，即使面对的是规模巨大且杂乱无章的数据集。他们通过一个涉及关于重大气候会议的数百万条帖子的真实案例测试了这一点，证明了该方法能在其他方法感到困惑的地方发现清晰的模式。

问题所在：“标签切换”导致的混乱

要理解为什么这个新工具如此特别，我们首先需要观察数据的混乱程度。想象一下，你正在将一堆彩色弹珠分类到不同的桶里。你有红、蓝、绿色的弹珠。但在计算机的思维里，今天的“红色”桶明天可能会被称为“第 3 号桶”，尽管里面装的是完全相同的弹珠。这就是所谓的标签切换（label switching）现象。

在用于分析网络的复杂数学运算中，计算机通过运行模拟（类似于虚拟实验）数千次来确定群体。由于标签切换，计算机可能会说：“好的，在这次运行中，气候活动家是 A 组，”而在下一次运行中说：“气候活动家是 B 组。”如果你试图对这些结果取平均值，你会得到一个巨大且混乱的结果。这就像是在计算一群人的平均身高时，如果每次测量某人时，你都随机把他们的名字换成别人的名字，那么平均值就变得毫无意义了。

大多数现有的网络分组计数方法在处理这个问题时都显得力不从心。它们要么在数据量过大时崩溃，要么依赖于（称为“近似值”的）捷径——这些捷径在理论上表现良好，但在现实生活中可能极其不准确。有些方法就像是通过观察玻璃杯来猜测罐子里有多少颗豆子；而另一些方法则像是通过摇晃罐子并希望它们不会粘在一起来进行计数。作者认为，这些旧方法通常是不可靠的，尤其是在数据有限（而非无限）且群体难以区分的情况下。

解决方案：作为“截断”侦探的 THAMES

论文介绍了一种计算“边际似然值”（marginal likelihood）的新方法——THAMES。简单来说，边际似然值是一个分数，它能告诉你特定数量的群体在多大程度上解释了你拥有的数据。分数越高，意味着模型与数据的拟合度越高。

作者通过结合两种现有的想法并修复其最大的缺陷，创造了 TH AMES。

1. 调和平均估计法（Harmic Mean Estimator）： 这是一种计算简便的老方法，但极其不稳定。它就像是在飓风中试图维持一座纸牌屋的平衡；一个小小的气流（一个异常数据点）就可能让整个结构倒塌。
2. 变分近似法（Variational Approximation）： 这是一种基于简化问题的快速、智能的猜测。它通常很准确，但可能会存在偏差（略微错误），因为它是一种简化。

THAMES 兼具了两者的优点。它利用智能猜测来定义一个“截断集”（truncation set）——即一个特定的、可控的、最可能的群体配置列表，以便进行重点关注。通过忽略那些奇怪的、不太可能的离群值（分布的“尾部”），它避开了旧版调和平均法的不稳定性。同时，它利用实际的模拟数据来确保结果的准确性，从而避免了简化猜测带来的偏差。

至关重要的一点是，THAMES 是对称的。这意味着它不在乎计算机将一个群体称为“第 1 类簇”还是“第 100 类簇”。它将所有群体视为一个统一的集合。这自动解决了“标签切换”问题。如果计算机交换了群体的名称，THAMES 的得分会保持完全不变。这就像一位评委，他只关心表演的质量，而不关心参赛者的名字。

证明：模拟与现实世界测试

作者不仅构建了这个工具，还对其进行了严苛的测试。

模拟测试：
他们创建了已知确切答案（“真实”群体数量）的虚构网络。他们将 THAMES 与其他流行方法（包括旧的调和平均估计法和一种名为 ChibPartition 的方法）进行了对比。

• 结果： 随着模拟次数的增加（从 1,000 次增加到 10,000 次），THAMES 计算的误差稳步下降。它是“模拟一致”的，这意味着随着模拟次数的增加，他们会越来越接近真相。
• 对比： 旧的调和平均估计法表现得极其不稳定，在数据棘手时有时会彻底失效。ChibPartition 方法仅在某个特定群体占据压倒性优势时表现良好，但当各群体分布较为均匀时，它就会崩溃。然而，THAMES 在所有场景下都保持了稳定和准确。

现实世界测试：COP28
为了观察 THAMES 是否能处理真实的、混乱的情况，作者将其应用于 2023 年联合国气候变化大会（COP28）的海量数据集。他们抓取了来自社交网络 X（原 Twitter）的超过 400 万条帖子，涉及超过 100 万名用户。在清理数据后，他们分析了一个包含约 11,000 名用户的网络。

• 发现： THAMES 判定该网络最好由 12 个截然不同的簇 来解释。
• 对比： 他们将此结果与另一种流行的替代方法 ICL（集成完全似然法）进行了比较，后者认为存在 37 个簇。
• 洞察： 当作者观察 ICL 方法得出的 37 个簇时，他们发现这些簇是“破碎”的。例如，ICL 方法将具有影响力的核心人物（如阿尔·戈尔和联合国气候变化机构）拆分成了多个微小且独立的群体。它还将 #SaveSoil（拯救土壤）运动拆分成了四个互不相连的簇。
• THAMES 的视角： 相比之下，THAMES 发现的 12 个簇在社会学意义上更加合理。它识别出了一个清晰的“核心-边缘”（core-periphery）结构。存在一个极小的中心簇（第 11 簇），仅包含 5 名用户：联合国气候变化、阿尔·戈尔、COP28 阿联酋、损失与损害协作组织以及安东尼奥·古特雷斯。网络中的所有其他用户都属于“边缘”群体，他们主要引用或转发这个中心核心的内容。这揭示了一个星形模式：少数主导性的声音驱动着对话，而其他所有人都在围绕他们做出反应。

作者指出，这种结构符合现实世界的逻辑：重大的气候事件通常会有几个核心人物主导叙事，而草根运动和机器人账号则围绕着他们运行。THAMES 能够找到这种清晰、逻辑严密的结构，而另一种方法却找到了 37 个微小群体的混乱局面，这表明 THAMES 更擅长发现复杂社交网络中真实的隐藏结构。

为什么这很重要

论文总结道，THAMES 是一个重要的进步，因为它是同类方法中第一个既具有模拟一致性（随着计算能力的提升而变得更精确），又具有标签切换不变性（不会被命名规则所困扰）的方法。

虽然作者谨慎地指出，这只是一个用于估计和模型选择的工具，而非解决网络科学中所有问题的“万灵药”，但其研究结果是令人信服的。他们表明，通过将智能近似法与严谨的模拟相结合，我们终于可以更有信心地统计出数字世界中隐藏群体的数量。无论是为了理解气候信息如何传播、政治泡沫如何形成，还是疾病如何在人群中移动，拥有一个可靠的方法来统计群体数量，都是理解全局的第一步。

简而言之，THAMES 是测量社交网络隐藏形状的新型可靠标尺，它证明了有时，寻找真相的最佳方式是停止猜测，开始进行精准的模拟。