Multimodal examination answer data with expert-designed Outcome-Based Education rubrics for criterion-level assessment
本文介绍了一个多模态数据集，该数据集包含来自四所机构的 415 名学生的 485 份扫描考试答案，并配有专家设计的成果导向型教育（OBE）评分标准及详尽的元数据，旨在支持自动化评估、多模态文档理解以及隐私保护评估领域的研究。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在教育领域，考试的最终成绩往往只是一个数字，一个总结了数周学习过程的单一分数。但在那个数字背后，隐藏着一个复杂的流程：教师需要阅读学生的笔迹、解读草图、检查计算过程，并判断学生对某个特定概念的理解程度。这种过程被称为基于结果的评估（outcome-based assessment），这是一种不仅关注是否得到正确答案，更关注在过程中如何展示特定技能和知识步骤的方法。几十年来，计算机在理解这种人类评分方面一直表现挣扎。它们擅长阅读打印的文本，但在面对充满涂改词汇、潦草图表以及在页边空白处书写的方程组等混乱的真实手写试卷时，往往会出错。为了教会计算机像人类一样评分，研究人员需要一个庞大的真实案例库，并将其与教师用于决定分数的详细笔记相结合。如果没有这些，人工智能对于学生展示知识方式中的细微差别将依然视而不见。
孟加拉国陆军科学技术大学（Bangladesh Army University of Science and Technology）的一个研究小组正是构建了这样一种类型的库。他们创建了一个新的集合，包含 485 份扫描的考试试卷，这些试卷收集自来自四所不同机构的 415 名学生。这些并非简单的文本文件；它们是真实考试卷的数字照片，包含了原始的手写内容、印刷的图表、表格和代码。这个集合之所以独特，是因为每一页扫描件都链接到了一个详细的数字记录，解释了人类专家是如何对其进行评分的。该记录包括原始问题、标准答案以及一套被称为“评分细则”（rubric）的具体规则。评分细则将一个问题分解为更小的部分，例如“对概念的理解”或“表达的清晰度”，并根据学生的表现为每个部分分配分数。这使得数据不仅能显示一名学生得了 11 分（总分 15 分），还能精确展示其答案中的哪些部分赢得了这些分数，以及哪些部分缺失了。
研究人员从八位教师那里收集了这些材料，这些教师教授了九门不同的学科，涵盖了从机器学习和算法等计算机科学主题，到渔业和电子商务等更专业的领域。该集合涵盖了 12 种不同类型的题目，这些题目共同包含了 47 项具体的评价标准。为了确保数据能够用于训练计算机应对现实世界的状况，团队并没有仅仅以完美、统一的方式进行扫描。他们混合使用了移动端应用程序和传统的平板扫描仪。这意味着集合中的图像在亮度、对比度和角度上各不相同，就像教室里的真实文档一样。有些页面略微倾斜，有些带有阴影，有些则压缩程度不同。学生的作业也各具特色：有的卷面整洁，有的则包含涂改的错误、插入的修正以及指向特定细节的箭头。这种多样性是刻意设计的，旨在帮助研究人员构建即使在面对凌乱或不完美的文档时也能进行读取和理解的系统。
这项工作的核心在于数据本身的结构。对于每一个扫描的 PDF 文件，都有一个对应的数字文件充当“地图”。这张地图将图像与所提问题、正确答案以及教师用于评分的具体标准列表联系起来。对于每一项标准，地图都会记录学生获得了多少分，并描述针对该问题的完美、良好、平均或较差的表现分别是什么样的。这种细致程度至关重要，因为它超越了简单的总分。它允许研究人员训练计算机去识别手写答案中哪些部分是正确的，哪些是不正确的，而不是仅仅猜测一个最终数字。团队花费了大量时间来清理和组织这些数据。他们检查了每一项分数以确保数学计算无误，标准化了学科名称，并将所有学生姓名和 ID 替换为随机代码以保护隐私。他们还确保了每个文件名与其对应的图像完全匹配，从而创建了一个安全且可靠的数据集。
该集合现在已开放供其他研究人员使用，但设有严格的规则以保护涉及的学生。由于图像中仍包含原始手写内容，有时甚至可见姓名或标志，因此该数据不对公众开放。它仅保留给旨在改进计算机理解文档和评估能力的获批研究项目。研究人员强调，这些数据是一种研究工具，而非用于为真实学生评分的系统。集合中的分数是由人类教师为自己的课程所评定的，该数据集旨在帮助构建未来的更好工具，而不是用来决定学生今天的实际成绩。通过提供一个大规模、多样化且经过仔细标注的真实试卷集，这项工作为下一代教育技术提供了坚实的基础，有助于弥合人类判断与机器理解之间的鸿沟。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。