ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
本文介绍了 ArguLens，这是一个开源且可本地部署的系统，它通过将过程分解为话语移动分类器、基于特征的评分器和标签感知反馈生成器，解决了现有自动作文评分工具的局限性，在确保数据隐私和可解释性的同时，在 PERSUADE 2.0 数据集上取得了强劲的性能表现。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在教室静谧的嗡嗡声中，一位教师正在阅读学生的一篇议论文，权衡着句子的清晰度、逻辑性和力度。几十年来，计算机一直试图模仿这种人类的判断力，这一领域被称为自动作文评分。早期的尝试依赖于对单词数量或句子长度的简单计数，而现代版本则使用复杂的神经网络，这些网络就像“黑箱”一样运作，只能提供一个分数，却很少解释原因。这造成了一个困境：准确性高的系统往往缺乏透明度，而透明度高的系统又往往缺乏精确度。此外，当今最强大的工具通常需要将学生的作文发送到遥远的商业服务器，这引发了对隐私和成本的担忧。研究人员的目标长期以来一直是构建一个既足够聪明以实现准确评分，又足够开放以展示其推导过程，同时还能将数据安全地保存在学校自有计算机内的系统。
复旦大学的一个研究团队通过 ArguLens 解决了这一挑战，这是一个旨在本地安装、使学生作文无需上传至互联网的新型开源系统。该系统并没有试图通过一次性的巨大跨越来猜测分数，而是将任务分解为三个截然不同且易于管理的步骤。首先，它扮演着“修辞侦探”的角色，逐句阅读文章，识别每个部分的职能。它寻找论证中的特定动作，例如观点（claim）、证据（evidence）、反论（counter-argument）或驳斥（rebuttal）。为此，它使用了一个专门版本的语言大模型，该模型经过训练可以识别这些模式，而无需重写整个文章。一旦系统理解了论证的结构，它就进入第二步：评分。在这里，它不再依赖沉重的语言模型。相反，它统计三十一个特定的特征，例如词汇的多样性、句子结构的复杂性以及它刚刚识别出的论证动作的频率。这些数字被输入到一个轻量级、高效的评分引擎中，从而计算出最终成绩。第三步是生成反馈。利用这些分数和识别出的论证动作，系统会为学生撰写一份结构化的报告，指出优点并提出具体的改进建议，同时确保建议具有建设性并基于实际文本。
研究人员在一组大规模的中学生议论文集上测试了这个系统，该数据集包含数千篇由美国学生撰写的范文。他们发现，该系统识别不同论证部分的能力相当强，正确标注句子职能的准确率超过了 82%。虽然它有时会将主要观点与支持该观点的证据混淆——这是人类也会遇到的常见困难——但它在大多数情况下都能成功区分不同类型的论证。在分配最终成绩方面，该系统的表现与人类教师的一致性水平在这一领域被认为是极高的。研究人员发现，加入关于论证动作的结构信息显著提高了最终评分的准确性。当他们测试不包含这种结构性知识、仅依赖词汇和句子模式的系统时，准确性明显下降。这表明，理解论证是如何构建的，与了解使用了哪些词汇同样重要。
这项工作的显著之处不仅在于数字，更在于设计。该系统旨在实现透明和可复现。从提取特征的代码到用于训练模型的特定设置，每一个组件都对公众开放以供检查。研究人员仔细区分了系统在拥有完美信息时的表现与在现实世界中的表现。他们展示了如果系统预先知道确切的论证结构，它可以实现高精度的评分，但他们也承认，在真实的课堂环境中，系统必须自行预测这种结构。他们测量了每个步骤在标准计算机硬件上的运行时间，发现评分步骤几乎是瞬间完成的，而论证结构的分析对于一篇典型的文章来说耗时仅一秒多。反馈生成步骤旨在保持灵活性，能够运行在本地服务器上，或者根据需要连接到外部服务，尽管在初始版本中并未测量该最后一步的具体速度。
团队明确了他们作品的局限性。该系统完全基于美国中学生和高中生的作文进行训练，研究人员提醒说，在没有进一步训练的情况下，不应将其用于评分其他类型的写作，如创意故事或科学报告。他们还指出，该系统尚未在部分草稿上进行过测试，仅针对完成后的文章，这对于希望在写作过程中利用其进行持续指导的教师来说非常重要。或许最重要的一点是，研究人员强调，虽然该系统很准确，但在高风险情况下，它不能取代人类的判断。它的定位是作为教师的辅助工具，提供第二种意见和详细的拆解，帮助学生理解自己的写作。通过使整个系统开源且免费使用，研究人员希望鼓励其他教育者和科学家在他们的基础上进行开发，在不同的语境和语言中进行测试，并最终完善其提供的反馈，以确保它能帮助每一位学习者进步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。