From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
本研究认为，对于非认知类 PISA 问卷指标，国际比较应当从依赖可能具有误导性的国家平均值排名，转向分析校内斜率，因为后者能为教育系统如何塑造学生体验与成就提供更稳健且具政策相关性的理解。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名试图解开关于世界各地学校表现如何这一谜团的侦探。多年来，侦探们使用的主要工具是一个巨大的计分板，或者说是一个“排行榜”，它仅仅根据平均分将国家从第一名列到最后一名。这就像仅仅通过观察一支篮球队在整个赛季中的总得分来对它们进行排名，而不关心谁在打球、他们是怎么打的，或者他们是否在玩同一场游戏。对于数学或阅读这类答案通常非黑即白的事情，这种方法还可以，但当涉及到情感、动力或学生有多快乐时，情况就会变得复杂。这些事情无法用尺子来测量；它们就像味道或颜色一样。如果你问不同文化背景的人食物有多“辣”，一个国家口中的“非常辣”在另一个国家可能意味着完全不同的意思。这篇论文讲述了一群研究人员，他们决定不再仅仅盯着计分板看，而是开始观察玩家与游戏之间的“关系”。他们不再问：“哪个国家的平均幸福感最高？”，而是问：“一个学生的背景或他们的测试成绩是如何改变他们对学校的感觉的？”他们想看看，当你从单个学生放大到整个国家时，游戏的规则是否会发生变化。
由许继泰（Kit-Tai Hau）及其团队领导的研究人员，从 2018 年 PISA 测试收集的来自 80 个国家、612,004 名学生的庞大快照数据中提取了信息。他们研究了关于动机、福祉以及学生对课堂感受的 31 份不同问卷。他们的第一个重大发现是，对于这些感受而言，计分板基本上是没用的。当他们处理这些数据时，发现国家之间的差异微乎其微——这些感受的变化中，只有约 6% 是因为学生所在的国家不同。剩下的 94% 发生在国家内部，主要是发生在不同的学校之间。这就像是在比较法国和意大利人的平均身高，发现两者的差异小到可以忽略不计，而同一个城市里的一支篮球队和一支体操队的差异却是巨大的。
但真正的魔力发生在他们停止观察平均值，转而观察“斜率”的时候。想象一条线向上或向下移动的图表。“斜率”告诉你一个事物是如何随着另一个事物的变化而变化的。研究人员发现，如果你只看国家的平均水平，故事往往会完全反转。例如，在个体学生层面，阅读成绩好通常会让学生感到自信；但在国家层面，一些平均阅读成绩较高的国家，其学生报告的自我信心反而较低。这有点像“大鱼、小池塘”效应：如果你是一条在充满其他聪明鱼儿的池塘里的聪明鱼，你可能会觉得自己没那么特别，而如果你是某个安静小池塘里最聪明的鱼，情况则不同。国家的平均值掩盖了这一点，因为它把所有的“池塘”都混在一起了。
该论文认为，我们不应该通过排名国家的平均值来判断教育系统，而应该通过观察这些“斜率”来理解教育系统是如何运作的。他们发现，通过观察这些关系（即斜率），是衡量一个系统的更好方式，比如一个学生背景（如家庭财富）与其学校体验之间的关系。他们发现，这些关系（斜率）在方向上大多是一致的——这意味着理论是成立的——但这些关系的“强度”在不同国家之间却存在差异。有趣的是，大多数斜率的差异并非发生在国家之间，而是发生在同一个国家内的不同学校之间。这表明，如果我们想要解决问题或改进现状，我们不应仅仅关注国家政策，而需要关注特定学校内部正在发生的事情。
作者还检查了他们的发现是否仅仅是由统计数据计算方式错误而导致的偶然现象。他们尝试了不同的权重计算方法，结果保持不变。他们还发现，一些国家的结构性特征，例如学校的隔离程度（即不同背景的学生被分隔的程度），可以解释为什么某些地方的斜率会有所不同。例如，在学校更加混合型的国家，表现出色与感觉良好之间的联系往往更强。
最后，论文建议我们要转变对国际教育报告的看法。我们不应该完全抛弃计分板，但不应依赖它来告诉我们学生有多快乐或有多少动力。计分板是衡量情感的弱工具，因为它忽略了语境。相比之下，“斜率”方法就像是从一张模糊的合影切换到一段高清视频，展示了学生如何与他们的世界互动。它告诉我们，最重要的差异不在于国家之间，而在于国家内部的学校之间。通过关注这些关系而非仅仅是平均值，我们可以得到一个更清晰、更真实的画面，了解教育系统是如何塑造年轻人的生活的。这让我们从仅仅是排名谁是“最好”的，转向理解如何让每个人都变得更好。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。