Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

想象一下你是一名正在试图破解谜题的侦探，但你的现场不是一个单一的犯罪现场，而是一个充满了数百万个线索、闪闪发光的巨大仓库。这就是“大数据”科学的世界，研究人员通过研究庞大的人群（比如来自全球的数千名教师）来理解事物的运作方式。但棘手之处在于：当你拥有如此多的线索时，你可以用无数种不同的方式来排列它们，从而讲述不同的故事。你可能会决定只关注红色的线索，或者忽略左侧房间的线索，或者按大小而不是颜色进行分组。每一种选择都像是走过花园中不同的路径。如果你走了一条路，你可能会发现隐藏的宝藏；如果你走了另一条路，你可能会遇到死胡同。这个概念被称为“分叉路径的花园”（garden of forking paths），它表明，有时我们讲述的故事更多地取决于侦探选择了走哪条路径，而不是取决于他们实际发现了哪些线索。

这篇由挪威奥斯陆大学的马克·怀特（Mark White）撰写的论文，利用名为 TALIS 2018 的大规模数据集深入探讨了这个问题，该数据集调查了许多国家的教师。作者想要看看关于教师培训（即“入职指导”，induction）的一项著名且高引用的研究所讲述的“故事”是否真实，或者它是否仅仅是由于选择了其中一条特定的路径而产生的结果。这篇论文并不只是观察一种数据分析方法；相反，它尝试了近五十万种不同的数据处理方式。这就像是让 50-万名不同的侦探使用略微不同的规则来解决同一个案件，并观察他们是否都找到了同一个罪犯。其目标并不是要说原始研究是“错误”的，而是为了表明，结果会随着过程中所做的选择而发生剧烈变化，从而让人难以确定真正的答案是什么。

百万路径的花园

把作者正在调查的原始研究想象成一张通往宝藏箱的地图。这张地图声称，某些教师培训活动——比如协作教学或写日记——是让教师变得更快乐、工作表现更好的关键。绘制这张地图的研究人员使用了一套特定的规则来寻找宝藏：他们观察美国教师，仅纳入全职员工，并使用特定的数学公式将培训与结果联系起来。他们找到了一个闪亮的宝藏箱，并说道：“看！培训是有效的！”

但马克·怀特在想：“如果我们稍微改变一下规则会怎样呢？”如果我们观察的是澳大利亚或新西兰的教师，而不是仅仅看美国呢？如果我们只观察处于教学第一年的教师呢？如果我们稍微改变一下数学公式呢？为了回答这个问题，怀特并没有仅仅靠猜测；他构建了一个“多元宇宙”（multiverse）。在科学中，多元宇宙分析就像是在进行一次模拟，你在其中同时测试所有合理的规则组合。

在这种情况下，怀特确定了 13 个不同的“旋钮”或选择。这些选择包括：

• 谁算作样本？（应该只包括新教师，还是包括所有教师？应该只看美国，还是也看其他英语国家？）
• 我们使用哪些数字？（我们应该根据受访人数进行调整，还是仅仅平等地计算每个人？）
• 我们如何衡量培训？（我们应该观察整个培训计划，还是将其分解成细小的部分？）

当你把所有这些选择相乘时，你会得到一个惊人的数字：497,664 种不同的可能分析方式。这是近五十万条不同的路径。怀特对每一种路径都进行了分析。

移动的宝藏

结果令人震惊。当怀特观察“多元宇宙”中的结果时，他发现宝藏箱在每条路径中的位置并不相同。

在 497,664 次分析中的某些情况下，培训活动看起来像是一根神奇的魔杖，让教师变得极其快乐和高效。在另一些分析中，完全相同的培训活动看起来甚至会对教师产生负面影响，使他们的效率降低。在许多其他路径中，培训似乎毫无作用。

论文通过一张巨大的图表展示了这一点（见原文图 1）。想象一排从极左到极右延伸的圆点。最左边的圆点代表那些认为培训是一场灾难的分析。最右边的圆点代表那些认为培训是一场奇迹的分析。中间的圆点则代表培训无关紧要。可怕之处在于，两边都有绿色的圆点（意味着“统计学显著”或“真实的”）。这意味着对于几乎每一种特定的培训活动和每一种特定的教师产出，研究人员都可以找到一种“合理”的方式来证明它是巨大的成功，以及另一种“合理”的方式来证明它是巨大的失败。

原始研究选择了这条花园中的一条特定路径，并找到了一个积极的结果。但怀特的多元宇宙分析表明，这个结果并不一定是“绝对的”真相。它只是成千上万种可能真相中的一种，而选择走哪条路径在某种程度上是随意的。

为什么这很重要

这篇论文并不是说教师培训是没用的。它也不是说原作者是错误的。相反，它强调了我们在进行科学研究时一个微妙但巨大的问题。当研究问题有点模糊时——比如“培训是否有助于教师？”——回答问题的方式如此之多，以至于答案往往取决于研究人员在开始查看数据之前所做的选择。

作者将此称为“分叉路径的花园”。如果你不知道自己在哪条路径上，你就无法确定你发现的宝藏是真实的，还是仅仅是特定路径选择的结果。论文建议，当我们看到一项具有单一、清晰结果的研究时，我们应该更加好奇。我们应该问：“如果他们选择了另一条路径会怎样？”

通过运行近五十万次分析，这篇论文向我们展示了关于教师培训的“真相”远比单一的标题所暗示的要复杂和不确定得多。它没有给我们一个新的、更好的答案；相反，它给了我们一个更清晰的视角，让我们了解我们究竟在多大程度上是不确定的。它提醒我们，在科学的花园里，存在着许多路径，而有时，景观会完全取决于你选择行走的那条路。