Perceived Fairness of Algorithm Driven High Stakes Examinations The Role of Statistical Equivalence System Transparency and Explanation in Shaping Trust Legitimacy and Acceptance

以下是使用简单语言和创意类比对该研究论文进行的解释。

大局观： “黑盒”考试

想象一下，你正在参加一场非常重要的考试，比如决定你未来的期末考试。在过去，你可能参加的是纸笔考试，每个人拿到的题目都完全一样。而今天，许多学校使用计算机来生成这些测试。计算机从一个巨大的数字“题库”中挑选题目，甚至可能会根据你的回答来改变难度。

这很高效，但也产生了一个问题：“黑盒”感。 学生看着电脑会想：“它怎么知道我的测试是公平的？为什么我拿到了难题，而我的朋友拿到的却是简单的题目？是电脑在作弊吗？”

这项由雅鲁穆克大学（Yarmouk University）研究人员进行的调查研究了：是什么让学生信任这些计算机化考试？ 他们想知道，技术上的“公平性”（背后的数学逻辑）是否足够，还是说学生需要从心理上“感觉到”它是公平的，才能接受结果。

研究的成分

研究人员调查了 502 名参加过此类计算机化考试的学生。他们观察了几个可能混合在一起产生“信任”的“成分”：

1. 统计等值性（“数学魔力”）： 这是技术上的保证，即即使题目不同，测试 A 也与测试 B 同样难。这就像是在说：“别担心，天平是完美平衡的。”
2. 透明度（“玻璃房”）： 这是向学生展示系统是如何运作的。这就像打开汽车引擎盖，让你能看到引擎。
3. 不透明性（“神秘盒子”）： 这是相反的情况——当系统是一个秘密时。你不知道它是如何挑选题目或计算分数的。
4. 题库暴露度（“演练环节”）： 这是学生对这类测试的熟悉程度。他们以前见过这种形式吗？还是说这是第一次？
5. 解释（“翻译官”）： 这不仅仅是展示引擎；而是有一个机械师用简单的语言解释为什么这辆车会这样运行。

他们的发现：令人惊讶的结果

研究人员使用了两种不同的方式来分析数据（就像使用两种不同的食谱来烤蛋糕），以观察究竟什么才是关键。

1. “熟悉度”因素才是王道

最大的惊喜是？了解系统比看到引擎更重要。
曾经参加过这些计算机化测试的学生（高“题库暴露度”）更有可能认为该系统是公平的。

• 类比： 想想看，就像玩电子游戏。如果你以前玩过这个游戏，你就知道拿到“困难关卡”并不是不公平，而只是游戏的一部分。如果你从未玩过，拿到困难关卡会让你觉得游戏在针对你。研究发现，经验是感知公平性的最强驱动力。

2. “玻璃房”并没有帮助（透明度悖论）

研究人员原以为，如果向学生展示计算机如何运作（透明度），学生就会觉得它是公平的。他们错了。

• 发现： 仅仅展示技术细节并不能让学生觉得系统是公平的。事实上，它几乎没有任何影响。
• 类比： 想象一位魔术师向你展示舞台上的秘密暗门。如果你不知道为什么会有这些暗门，或者不知道这些暗门是如何运作的，仅仅看到它们只会让你更加困惑，而不是更加信任。研究表明，如果信息过于技术化或令人困惑，仅仅“公开”是不够的。

3. “翻译官”才是真正的英雄（解释）

虽然仅仅“展示引擎”（透明度）不起作用，但解释逻辑（解释）才是最强大的因素。

• 发现： 当系统能够以学生能理解的方式，清晰地解释为什么给出某个分数，或者如何选择题目时，信任度会飙升。
• 类比： 这就像医生递给你一本 50 页的医学教科书（透明度），与医生说：“你的体温升高是因为你的身体正在对抗病毒，而这种药会帮助你的免疫系统获胜”（解释）之间的区别。解释建立了信任，而教科书只会制造噪音。

4. 连锁反应：公平性 $\rightarrow$ 信任 $\rightarrow$ 合法性 $\rightarrow$ 接受度

研究绘制了一条连锁反应路径：

1. 公平性： 如果学生觉得测试是公平的（通常是因为他们对此很熟悉），他们就会开始信任这个系统。
2. 合法性： 信任转化为合法性。这是一个高级词汇，意为：“我相信这个系统有权对我未来的决策做出决定。”
3. 接受度： 最后，合法性导致了接受度。学生愿意接受结果，即使他们没有得到理想的分数。

核心要点： 链条中最强的环节是合法性。如果学生认为这个系统是“合法的”（理应掌管），他们就会接受它。如果他们认为它是非法的，那么无论数学多么精确，他们都会拒绝它。

“双透镜”方法

研究人员使用了两种不同的工具来分析数据：

• SEM（线性透镜）： 它寻找直线关系（例如，“更多公平性 = 更多信任”）。它证实了上述的连锁反应。
• ANN（神经网络透镜）： 这是一种人工智能，用于寻找复杂的、非线性的模式。它证实了解释是预测学生是否接受系统的最重要的单一因素，其重要性甚至超过了技术数学。

一句话总结

学生之所以接受计算机化考试，不仅仅是因为数学是完美的或系统是开放的；而是因为他们通过清晰的解释理解了其运作方式，并且拥有经验，从而建立了信任感和合法性。

这篇论文没有说的是

• 它并没有说学校应该停止使用这些系统。
• 它并没有说透明度永远没用，只是说在本次特定研究中，如果没有好的解释，透明度不起作用。
• 它没有提供具体的软件解决方案，而是提供了一个关于如何向学生沟通该系统的指南。

核心信息是：技术上的公平性是必要的，但仅此是不够的。你必须让屏幕另一端的感性人类感受到公平，并能理解其中的逻辑。