Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

在语言学习的世界里，撰写学术论文是一项复杂的活动。它不仅仅是关于单词拼写是否正确或句子排列是否符合语法规范。为了取得成功，学生还必须发展出深刻的思想，使这些思想流畅地衔接，从而使文本逻辑连贯，并采用一种符合学术对话严肃、客观预期的语气。几十年来，教师们一直难以公平且一致地为这些论文评分。人类的判断虽然具有价值，但速度慢、成本高，且容易产生疲劳，这可能导致不同的教师对同一份作品给出不同的分数。这便催生了对能够自动阅读并评改写作内容的计算机的需求。

最近，被称为“大语言模型”的强大人工智能系统脱颖而出。这些技术与能够进行对话、撰写故事或回答问题的技术属于同类。由于它们能如此出色地理解人类语言，研究人员开始好奇，它们是否也能扮演公正且准确的教师角色，像人类一样为学生的论文评分。人们希望这些机器可以同时为成千上万的学生提供即时反馈。然而，一个关键问题仍悬而未决：这些机器究竟是真的理解了什么是优秀的写作，还是仅仅在猜测一些看起来合理的数字？为了找出答案，研究人员 Pegah Merrikhi 着手将目前最先进的三种 AI 系统与人类判断的“金标准”进行了对比测试。

这项研究聚焦于一个名为 LICA 的特定框架，该框架将论文质量分解为四个不同的部分。第一部分是“语言”（Language），考察语法和词汇；第二部分是“观点”（Ideas），衡量论点的深度和支持程度；第三部分是“衔接”（Cohesion），检查句子与段落之间的连接是否紧密；最后一部分是“学术得体性”（Academic Appropriateness），判断写作听起来是像一位严肃的学者在说话，还是像一场随意的谈话。研究人员选取了五篇由第二语言学习者撰写的论文，并要求三种不同的 AI 系统——GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Pro——针对这四个维度对每篇论文进行评分。与此同时，一位人类专家也提供了“正确”的分数。其目标是观察这些机器与人类专家的匹配程度如何，以及它们彼此之间表现如何。

结果揭示了一个充满惊喜的精准度与特定小规模测试中截然不同个性的故事。其中一个 AI 系统，GPT-4o，在这五篇用于初步校准的论文上表现出了完美的准确性。它在这一特定样本中，针对每一篇论文的每一个类别都与人类专家的评分完全一致，有效地复制了人类专家的判断。第二个系统，Claude 3.5 Sonnet，也非常接近人类专家，但它表现出一种略微慷慨的倾向。在评判思想流向和学术语气时，它给出的分数比人类专家给出的要稍微高一点。它并没有出错，只是稍显宽松。

第三个系统，Gemini 1.5 Pro，展现了不同的模式。虽然它在判断段落连接方面做得很好，但在评价时却比人类专家更为严格。在评估学生观点的深度和学术语气的得体性时，它给出的分数明显低于人类专家。这表明，尽管机器能够识别写作的结构，但对于内容和作者的声音（voice）则更为严苛。

或许最令人深思的发现不在于机器如何与人类相比，而在于它们彼此之间如何比较。当这三种 AI 系统在没有任何人类帮助的情况下对论文进行评分时，它们在语言的技术层面和文本流向方面几乎达成了完美的共识。然而，在判断学术语气和观点质量时，它们却难以达成一致。在关于写作是否适用于大学环境的问题上，机器经常出现分歧，有的表现得慷慨，有的则表现得严苛。这表明，虽然这些系统擅长识别语法和结构，但它们尚未形成对于“何为正确的学术论证”的统一理解。

研究结论认为，这些人工智能工具虽然功能强大且极具实用价值，但尚未准备好完全取代人类教师。它们可以极其快速且准确地处理评分中的机械部分，但在判断学术写作中微妙的社会与文化细微差别方面，仍缺乏一致的人类直觉。研究人员建议，最好的方法是将这些机器作为助手，让它们提供反馈的初稿，同时保持人类教师在环节之中，以做出最终判断，尤其是在处理更复杂的写作层面时。这能确保学生既能获得自动化的速度，又不会失去人类理解的深度。