💻 computer science

Automated Scoring of Handwritten Mathematical Problem Posing Using Large Language Models

本研究表明，在使用带有结构化评分标准的零样本提示方法时，大型语言模型 Gemini 3.5 Flash 在处理经修订 OCR 文本输入的初中手写数学命题任务时，能够实现可靠的自动化评分，尤其是在处理整数问题时。

原作者： Tuğrul Kar, Tarık Kışla, Muhammed Ali Kayici, Burak Aydın

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Tuğrul Kar, Tarık Kışla, Muhammed Ali Kayici, Burak Aydın

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位面对堆积如山的作业需要批改的老师。你深知，让学生们亲自“创造”数学题是学习的一种超能力——这能培养创造力和深度理解力。但批改这些具有创造性的手写答案却是一场噩梦。每个学生的写法都不一样，有些人编造了不可能出现的场景，有些人写的则是乱七八糟的内容。这非常耗时，甚至连人类老师对于什么是“好的”题目也会产生分歧。这正是人工智能（AI）可以介入的地方，它承诺成为一名不知疲倦的阅卷助手。但问题在于：AI 擅长阅读印刷文本，但它真的能理解凌乱的手写数学涂鸦，并分辨出这是一个精彩的学生提问还是一个混乱的废堆吗？这个问题处于教育学与计算机科学的交汇点，探讨机器是否能学会像数学老师那样去“思考”，从而评估学生的创造力。

这项研究的研究人员决定对一个非常聪明的 AI——名为 Gemini 3.5 Flash 进行测试。他们想看看这个 AI 是否能够阅读 235 名中学生创作的手写数学题，并像人类老师一样准确地进行评分。为此，他们设置了一个包含两种不同情境的“口味测试”：一种涉及整数（比如行驶距离），另一种涉及分数（比如分享蛋糕）。他们给了 AI 两个版本的同一段手写文本：一个是直接由计算机“眼睛”读取的版本（由于手写潦草，有时会出错），另一个是由专家仔细修正过的版本。他们还尝试以两种不同的顺序向 AI 提供评分规则——是从低分到高分，还是从高分到低分——以观察指令的顺序是否会改变 AI 的判断。

研究结果喜忧参半。研究发现，当 AI 使用专家修正后的文本时，它与人类老师的一致性比使用原始、混乱的计算机读取文本时要高得多。然而，数学题的类型非常重要。在处理关于整数的问题（驾驶任务）时，AI 的准确度远高于处理关于分数的问题（蛋糕任务）。看起来 AI 在处理分数的细微差别方面表现得更为吃力，它经常给那些虽然数学上正确、但并不符合学生所讲述的故事背景的答案打高分。有趣的是，向 AI 呈现评分规则的顺序完全没有影响；无论 AI 是从底部开始还是从顶部开始查看评分标准，其表现都保持不变。

简而言之，这项研究表明，AI 可以成为批改手写数学题的可靠助手，但它目前还不完美。它在处理清晰的手写体和涉及整数的数学题时表现最好。研究人员发现，仅仅通过提供更好的文本（即让人类修正计算机的读取错误）就能带来显著的改善，但 AI 在理解数学背后的“故事”方面仍然需要帮助，尤其是在涉及分数时。虽然 AI 不会被指令的顺序所迷惑，但它确实会被数学内容的复杂性所难倒。作者得出结论，虽然 AI 具有巨大的潜力来帮助教师，但我们需要谨慎使用它，特别是在处理像分数这样复杂的课题时，并且我们应该始终在计算机开始评分之前，先检查它是否正确读取了学生的手写内容。

技术摘要：利用大语言模型对手写数学问题提出进行自动评分

问题陈述
尽管教师们已经意识到人工智能（AI）在评估数学问题提出（problem-posing）响应方面的潜力，但关于自动评分（AS）在该特定领域可靠性的实证证据仍然有限。问题提出会产生多样化、开放式的响应，难以进行系统化分析，这往往导致人工评分的不一致性和主观性。虽然大语言模型（LLMs）已成为自动评分的主导工具，但其在手写数学问题提出——特别是涉及非英语语言和复杂内容（如分数）——方面的应用尚未得到严格验证。现有的研究通常依赖于单任务设计或基于范例的量表，这些设计可能无法转化为真实的课堂环境。此外，目前尚不清楚任务类型（例如，整数与分数）和提示词工程变量（例如，量表顺序）如何影响人类评分者与 LLM 之间的契合度。

研究方法
本研究采用定量设计，旨在考察人类评分者与 Gemini 3.5 Flash LLM 在对学生手写响应进行评分时的一致性。

参与者与任务： 数据收集自土耳其 235 名中学生（6 年级和 7 年级）。学生完成了两个截然不同的问题提出任务：“蛋糕”任务（涉及分数）和“驾驶”任务（涉及整数）。每位学生在每个任务中生成了三个问题。
数据处理：
- 人工编码： 两名经验丰富的评分者根据经过优化的七级量表（范围从 0：无响应到 6：充分）采用共识导向的方法对响应进行评分。该量表综合了任务相关性、可解性和逻辑一致性等标准。
- OCR 与输入变体： 使用 Gemini 的光学字符识别（OCR）技术将手写响应数字化。为每个响应创建了两个输入数据集：
  - i1： 仅由 LLM 生成的原始 OCR 输出。
  - i2： 专家修订后的 OCR 输出，其中领域专家纠正了转录错误（例如，误读的分数或姓名）。
- 自动评分 (AS)： 使用零样本（zero-shot）提示方法调用 Gemini 3.5 Flash 模型。模型被赋予“专家评估助手”的角色，并被指示严格根据提供的量表进行评分。
- 提示词变体： 研究操纵了提示词中量表标准的顺序：
  - p1 (升序)： 从最低（0）到最高（6）类别进行评估。
  - p2 (降序)： 从最高（6）到最低（0）类别进行评估。
- 实验条件： 这导致每个任务产生了四种 AS 情景（ASi1p1, ASi1p2, ASi2p1, ASi2p2）。
分析：
- 一致性指标： 研究计算了二次加权 Kappa (QWK)、线性加权 Kappa (LWK)、皮尔逊相关系数、距离相关系数以及第三类误差百分比 (PTQ)，以衡量人类与 AS 评分之间的一致性。
- 多层线性模型： 使用三层线性模型来预测人类评分与 AS 评分之间的绝对差值。因变量为绝对分差。预测变量包括任务类型（蛋糕 vs. 驾驶）、输入类型（i1 vs. i2）和提示方向（p1 vs. p2），以及它们的交互作用。随机效应嵌套在答案和学生之中。

主要结果

总体一致性： 研究发现，配合结构良好的量表，零样本提示具有巨大的潜力。人类评分者与 AS 之间的平均绝对分差在 0–6 分的量表中为 0.43 分。
输入质量的影响： 使用修订后的 OCR 输入 (i2) 比使用原始 OCR 输出 (i1) 时，一致性显著增强。输入类型效应显著 ( $p = .002$ )，尽管提升幅度较小（绝对差值减少了 0.06 分）。
任务类型的影响： 任务类型是一致性最强的预测因子。“驾驶”任务（整数）的一致性显著高于“蛋糕”任务（分数）（ $p < .001$ $p < .001$ ）。“驾驶”任务的绝对差值低了 0.17 分。
- 驾驶任务： 在修订输入和升序提示下观察到最强的一致性 (QWK = 0.849)。
- 蛋糕任务： 最弱的一致性出现在原始输入和升序提示的情况下 (QWK = 0.684)。
提示顺序的影响： 量表方向（升序 vs. 降序）对人类-机器一致性没有显著影响 ( $p = .428$ )。未发现任务、输入和提示方向之间存在显著的交互作用。
错误分析： “蛋糕”任务中的差异通常源于 LLM 将数学上有效但缺乏语境关联的响应判定为高分（例如，在没有整合故事背景的情况下计算速度的平均值），或者误解了答案是否在数据中明确可用。OCR 错误偶尔会导致对任务相关性或逻辑一致性的误判。

核心贡献

问题提出领域的实证证据： 本研究提供了首个针对数学问题提出进行 LLM 自动评分的实证验证之一，扩展了以往从问题解决（problem solving）到问题生成（problem posing）的研究发现。
零样本的可行性： 研究证明，当与结构化量表结合时，零样本提示可以在无需监督微调或少样本训练的情况下，达到与人类评分者相当的可靠性水平。
任务依赖型可靠性： 研究强调，自动评分的可靠性在不同数学领域并不统一；它在处理整数任务时表现明显优于分数任务，这表明当前 LLM 能力存在特定内容的局限性。
提示词工程见解： 研究挑战了量表顺序（升序 vs. 降序）会显著影响评分准确性的观点，表明在先进的 LLM 中，逻辑严密的框架可以减轻响应顺序偏差。

意义与主张
作者声称，他们的研究结果为使用 LLM 辅助教师评估学生问题提出任务提供了实证支持，这有望减轻评估工作量，并促进问题提出在课堂中的更频繁集成。研究表明，虽然自动评分在整数任务中表现稳健，但在应用于基于分数的任务或需要深度语境整合的任务时需保持谨慎。作者强调，确保高质量的输入（通过 OCR 修正）以及优化提示词设计以解决特定的编码挑战（如语境整合和数据充分性）是最大化数学教育中自动评分有效性的关键。文章总结道，虽然自动评分展现出前景，但在进行广泛推广之前，有必要在多样化的主题和语言中进行进一步验证。

类似论文