Invariance of multiple-choice item difficulty to item position: a counterbalanced quasi-experimental study in emergency medical services education

想象一下你正在参加一场大型考试，比如一门很难的学科的期末考试。你坐了下来，手里握着铅笔，第一道题扑面而来。如果第一道题是个“怪兽”——超级难且令人困惑——你可能会感到恐慌。你的心跳加速，大脑变得一片混沌，突然间，连那些你本来能够回答的问题看起来都变得不可能了。这就是“考试焦虑”背向后的理念：担心问题的顺序会产生影响。如果你在早期就碰壁了，你可能会在剩下的考试中步履蹒跚。

但这里有一个转折：如果问题本身其实并不在意它们坐在哪里呢？在教育测量领域，有一个黄金法则叫做“不变性”（invariance）。这就像是在说，一块砖头就是一块砖头，无论它是在墙的底部还是顶端。砖头的重量和大小并不会因为你移动了位置而改变。同样地，一道测试题的难度应该是题目本身的固定特征，而不是位置带来的陷阱。如果这一规则成立，那么计算机可以随机打乱题目顺序以防止学生使用未经授权的资源，而分数依然是公平的。但如果这一规则被打破，那么打乱题目顺序可能会在无意中让测试对某些人变得更难或更容易，从而破坏公平性。

这正是沙特阿拉伯的一组研究人员决定解决的谜团。他们不仅仅是在猜测；他们针对学习急救医疗服务的学生进行了一场聪明的实验。他们想看看，将一个问题从测验的最开始移动到最后面，是否会改变它感觉起来有多难，或者改变有多少学生能答对。他们还想知道，先做简单的题目、把难的留在后面（即“由易到难”的方式）是否真的比相反的方式对每个人的大脑更有利。

伟大的题目大洗牌

为了破解这个案例，研究人员设计了一个“平衡抵消”（counterbalanced）的游戏。想象你有一副由10张卡片组成的牌，每张卡片代表一个关于心脏健康的医学问题。他们制作了两个版本的测验。A组按照从易到难的顺序拿到卡片。B组拿到的是完全相同的卡片，但顺序正好相反：从难到易。因为两组是完美匹配的，所以每一道题在其中一组中出现在测试开始时，而在另一组中出现在测试结束时。这就像是在看同一部电影，但一组先看到了结局，而另一组先看到了开头。

这项研究涉及89名学生（65名男性和24名女性）参加的一场关于心脏病学的10题测验。题目范围涵盖了从简单的记忆检查（如“这个心脏瓣膜的名字是什么？”）到复杂的临床谜题（如“观察这个心律条，并告诉我们出了什么问题”）。研究人员使用了一种特殊的统计技巧，来观察题目的“难度”是否会仅仅因为位置的变化而改变。

结论：砖头不会移动

结果出人意料地平静。研究人员发现，题目的难度对其位置几乎是完全不变的。用通俗的话说：无论出现在第一题还是最后一题，一道题的难度都是一样的（或一样容易）。

当他们观察男性学生（占较大比例）时，数据表现得极其一致。一道题目在测试开始时的难度与它在测试结束时的难度相关性极高（得分0.975）。即使是将题目移动到了测试的另一端——跨越了九个位置——其难度也几乎没有波动。题目感觉难度的平均差异在0到1的量表中仅为微小的0.05。

研究人员还检查了题目的类型是否重要。复杂的、烧脑的临床问题是否会在学生在测试结束感到疲劳时变得更难？并没有。对于简单的记忆问题和困难的临床问题，“不变性”都成立。题目的位置并没有改变学生答对该题的概率。

顺序改变了分数吗？

团队还问道：“从易到难的顺序是否有助于学生获得更高的分数？”答案是一个礼貌的“也许，但可能并不”。

当比较两组时，采取“由易到难”版本的学生平均得分略高于采取“由难到易”版本的学生。综合得分高出0.48分（满分10分）。然而，这种差异在统计学上并不显著；置信区间范围为**-0.33 到 1.28**，这意味着真实的差异很可能为零。换句话说，顺序似乎并没有带来真正的优势。

只有一个微弱且不稳定的迹象显示了益处。“由易到难”的顺序确实让测试得分在内部看起来稍微更具一致性（一种统计度量，KR-20 从 0.390 变为 0.488）。但研究人员警告说，由于测试太短（只有10道题）且样本量较小，这些数字是不稳定的。因此，虽然从易到难的做法可能是一种“不错”的习惯，但这项研究并未证明它是提高分数的“灵丹妙药”。

这为什么重要

对于任何设计测试或参加测试的人来说，这个结论性的发现都是一种慰藉。这项研究表明，打乱题目顺序——这是计算机自动执行的操作，旨在防止使用未经授权的资源——并不会破坏测试的公平性。题目的难度是一个稳定的特征，就像砖头的重量一样，它并不在意自己是在队伍的开头还是结尾。

这一发现将我们的理解从普通大学生扩展到了高风险的急救医疗培训领域。它告诉我们，即使对于复杂的、关乎生死的医疗推理，题目的顺序也不会扭曲结果。虽然“由易到难”的方法对学生来说可能感觉更好，但数据表明，随机化顺序是安全且公平的，这确保了分数反映的是学生的知识水平，而不仅仅是他们在题目序列中所处的位置。