Revisiting validation in language testing: an updated critical review of argument-based approaches in the era of justice-oriented and AI-mediated assessment
本文通过考察截至2026年的发展情况，更新了2019年关于语言测试中基于论证的效度验证的批判性综述，强调了该领域向多样化情境及相邻学科的扩张，同时应对了由公正导向型批判和人工智能介导评分所带来的新兴挑战，并最终主张将公平性和算法透明度作为效度论证中的核心依据。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每天都有数百万人参加标准化考试，以证明其语言能力足以胜任某份工作、进入某所大学或移居到一个新的国家。这些分数充当着“守门人”的角色，决定了谁能获得机会，而谁不能。几十年来，专家们一直在追问一个至关重要的问题：我们如何知道这些测试确实测量了它们声称要测量的东西？答案已经从简单的清单演变为一种更复杂的方法，即“基于论证的方法”（argument-based approach）。想象一位律师在为陪审团构建案例；他们不仅仅是列举事实，还必须构建一条逻辑链条，将学生的考试表现与现实世界的决策（如授予签证）联系起来。这条链条中的每一个环节——测试是如何评分的、分数如何代表学生的真实能力，以及这种能力如何预测未来的成功——都必须有证据支持。如果其中一个环节薄弱，整个案例就会崩塌。
最近，语言测试的格局发生了剧烈变化。两股强大的力量正在重塑这些测试的构建和评判方式。首先，对公平性的需求日益增长，研究人员认为，测试必须积极对抗种族和社会不平等，而不仅仅是避免明显的错误。其次，人工智能现在正在为许多此类测试进行评分，用计算机算法取代了人类阅卷员，这些算法能以惊人的速度处理语言。研究员 Thi Tuyet Hanh Nguyen 在 2026 年发表的一项关于该领域的最新综述中，探讨了“律师案例”在面对这些新挑战时是如何维持其有效性的。通过观察 2019 年至 2026 年间发表的研究，Nguyen 追踪了该领域如何试图在严谨的证明与对正义的迫切需求以及机器评分的神秘本质之间取得平衡。
该综述首先回顾了近年来研究人员如何应用基于论证的方法。Nguyen 发现，尽管该方法已扩展到新的测试类型，从移民考试到针对幼儿的评估，但支持这些测试的证据仍然参差不齐。大多数研究过度集中在链条的前端环节：证明测试评分的一致性和可靠性。然而，后期更困难的环节却经常被忽视。研究人员很少收集强有力的证据来证明测试分数实际上能预测一个人在现实工作中表现如何，或者基于这些分数的决策是否真正公平。这种模式多年来一直存在；即使随着领域的发展，针对一项测试的“论证”往往在证明其最终的现实价值方面止步不前。
该综述的一个重要部分讨论了一种被称为“面向正义的效度”（justice-oriented validity）的新理论运动。这种方法挑战了这样一种观点，即只要技术上准确，测试就可以被视为有效。相反，它追问：是谁的价值观被用来定义什么是“正确”的？如果一个测试是由特定群体构建的，它可能会在无意中偏袒其文化背景，同时惩罚其他文化背景，即使其评分在数学上是完美的。Nguyen 强调了该领域内的一场辩论：一些研究人员担心，过度关注社会正义可能会削弱测试的科学严谨性，而另一些人则认为，如果不解决这些深层的不平等问题，测试从根本上就是有缺陷的。该综述指出，公平性不应是一个事后补充或独立的检查项；它必须被编织进证明测试为何有效的论证核心之中。
第二个重大发展是人工智能在评分中的兴起。大型语言模型（即先进聊天机器人背后的同类技术）现在正在批改作文和口语测试。这产生了一个独特的验证问题。当人类教师批改论文时，他们可以解释为什么给出某个分数。当人工智能进行评分时，这个过程通常是一个“黑箱”，其推理过程隐藏在复杂的计算机代码之中。Nguyen 指出，现有的测试框架并非为了处理这种不透明性而设计。研究表明，虽然人工智能有时能与人类评分者达成一致，但在不同语言或不同背景的学生之间，它往往无法保持一致。该综述警告说，如果依赖人工智能而不要求透明度和公平性的证明，可能会在系统中引入新的、隐形的偏见。
论文最后提出了对语言测试未来发展的七个关键考量。前五个考量因素在早前的综述中已被确定，目前依然适用：研究人员必须分析测试所模拟的现实任务，在过程中引入广泛的人群，并使用混合方法来收集证据。然而，Nguyen 认为现在有两个新的考量因素变得至关重要。首先，公平与正义必须被视为效度论证中明确的部分，而非可选的附加项。这意味着测试必须证明其分数对每一个子群体都是公平的，而不仅仅是在平均水平上公平。其次，当使用人工智能进行评分时，证据必须包括算法是透明且无偏见的证明。该综述建议，测试开发者应该从一开始就将这些伦理检查融入测试的设计中，而不是在测试投入使用后再去试图解决问题。
最终，论文并未要求放弃基于论证的方法。相反，它主张扩大“强有力证据”的定义。针对一项测试的“律师案例”现在必须包含证明该系统是公正的，以及负责评分的机器是值得信赖的。随着该领域向前发展，目标是使这些考量变得像检查评分一致性一样常规且理所当然。通过这样做，语言测试界希望确保这些测试所开启的大门对每个人都是公平的，无论其背景如何，也无论用于衡量他们的技术为何。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。