When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

在第二语言学习领域，教师和研究人员长期以来一直依赖一个三部分框架来理解学生的写作水平。他们观察复杂度（即句子结构的复杂程度和多样性）、准确度（衡量写作中语法错误的多少）以及流利度（计算学生在单个思维单位内产出的词数）。几十年来，衡量这些特征需要人类专家阅读每一个句子、统计每个从句并标记每一个错误，这一过程既缓慢、昂贵，又难以保持一致的重复性。现在，人工智能提供了一种新的可能性。大型语言模型——即那些能够撰写论文或回答问题的强大计算机系统——也可以被要求瞬间统计这些语言特征。但一个关键问题仍然存在：仅仅因为计算机在论文的总体排名上与人类达成一致，并不意味着它实际上能产生相同的数值。如果教师使用这些数值来追踪学生随时间变化的进步情况，那么计算机计数中微小且持续的误差，可能会导致对学生是在进步还是在退步做出完全错误的结论。

马拉盖大学（位于伊朗）的一个研究小组致力于通过将六种不同的公开人工智能系统与人类专家进行对比，来回答这个问题。他们收集了45名大学生撰写的90篇议论文，每位学生在两周内就同一社交媒体话题各写了两篇文章。人类专家首先阅读了所有文章，并根据严格的规则对复杂度、准确度和流利度达成了一套统一的数值。随后，研究人员将完全相同的文章输入到包括 ChatGPT、Gemini 在内的六个不同 AI 模型中，要求它们应用同样的严格规则并返回统计结果。其目标并非看 AI 能否写出优秀的文章，而是看它能否作为一个精确的测量工具，复制人类计算出的确切值。

结果揭示了 AI 与人类在实际测量值之间存在着令人惊讶的差距。每一个 AI 模型都与人类评分表现出强相关性：当人类认为一篇论文具有高复杂度时，AI 也将其评为高复杂度。这意味着计算机能够很好地理解论文的相对顺序。然而，当研究人员观察实际数值时，发现计算机经常出错，且出错的方式具有特定性。对于涉及统计句子中包含多少个从句的复杂度指标，六个模型中的五个都一致地低估了该数值。它们看到的复杂结构比人类看到的要少。这并非随机错误，而是一种系统性偏差，即这些模型似乎遗漏了学生写作中精妙的部分。相比之下，模型在衡量准确度方面表现得更好。它们能够可靠地识别一个句子是否包含语法错误，且它们的数值与人类的计数非常接近。

研究还考察了模型检测学生写作随时间变化的表现能力。由于学生写了两篇文章，研究人员可以观察 AI 是否捕捉到了与人类观察到相同的变化模式。人类专家发现，在第二篇文章中，学生写的语法错误显著减少，但句子变得更短、复杂度更低。AI 模型成功复制了这种在准确度和流利度方面的模式，正确识别出学生犯的错误更少了，且每个句子的词数也减少了。然而，在涉及复杂度时，模型的表现却不尽相同。有些模型完全未能察觉复杂度的下降，而另一些模型观察到的变化则过小。这表明，虽然 AI 可能有助于识别大规模学生群体的总体趋势，但目前还不能在没有人类监督的情况下，被信任用于对句子结构进行详细分析所需的精确测量。

在测试的六个系统中，一个名为 DeepSeek 的模型整体表现最好，在三个类别中实现准确度的平衡性优于其他模型。另一个模型 ChatGPT 则在衡量准确度方面表现尤为出色。然而，研究人员强调，没有任何一个模型是完美的，能胜任所有任务。AI 的表现高度取决于正在测量的具体内容。一个擅长统计错误的模型可能在统计句子结构方面表现较差。这一发现挑战了“高相关性即意味着两者可以互换”的观点。它表明，使用人工智能进行语言评估需要一种谨慎且针对性的方法，即必须验证工具是否适用于其被要求执行的具体工作，而不是假设它在所有方面都同样有效。

最终，研究结论指出，这些强大的计算机系统是极具价值的助手，但并非该领域中人类判断力的替代品。它们可以快速扫描大量文本以发现总体模式或标记需要密切检查的文章。然而，对于精确测量，尤其是关于句子结构的复杂度，它们产生的数值仍需对照人类标准进行核查。这项研究强调，在追求自动化语言分析的过程中，能够“朝着同一个方向移动”与“落在同一个数值上”之间存在着本质的区别，这是研究人员和教师必须牢记的关键点。