Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring

该研究评估了四种开源大语言模型在基于评分标准自动批改奥地利德语 A 级作文中的表现，结果显示尽管模型能利用标准化标准进行评分，但其与人类专家评分的一致性（最高仅 40.6%）远未达到实际教学评估的应用要求。

要点

这篇论文就像是在探讨：能不能请一位“超级 AI 助教”来帮奥地利的高中老师批改德语作文？

想象一下，奥地利的高中毕业考试（A-Level）就像是一场盛大的“语言马拉松”。学生们要写不同类型的文章（比如评论、书信、文学分析等），而老师们则需要像马拉松裁判一样，拿着严格的评分规则（Rubric），一篇篇地仔细打分。这工作既耗时又累人，而且难免会有主观偏差（比如今天心情好，给分就高一点）。

为了解决这个问题，研究人员找来了四位“超级 AI 选手”（四种不同的大型语言模型：LLama3.3, DeepSeek, Qwen, Mixtral），想看看它们能不能代替老师，或者至少帮老师分担工作。

下面是用通俗的语言和比喻对这篇论文核心内容的解读：

1. 比赛规则：AI 怎么“学”评分？

研究人员没有让 AI 死记硬背（微调模型），而是尝试了两种“教学策略”：

• 策略一：RAG（检索增强生成）——“参考书策略”

  • 比喻：就像考试时允许学生带“小抄”或“参考书”。AI 在评分前，先去数据库里找几篇范文（比如一篇满分作文、一篇不及格作文、一篇中等作文）作为参考，然后照着标准给新作文打分。
  • 结果：这比完全瞎猜要好，但 AI 有时候还是抓不住重点，或者参考书给多了反而让它“晕头转向”。

• 策略二：Few-shot Prompting（少样本提示）——“师徒带教策略”

  • 比喻：这就像老师带着学生改作业。老师先给 AI 看几篇已经改好的范文（比如：“看，这篇写得很好，所以给 1 分；这篇写得不好，所以给 5 分”），然后让 AI 模仿这个思路去改新的作文。
  • 进阶版（CoT）：还让 AI 在打分前“大声说出它的思考过程”（Chain-of-Thought），就像让学生先写解题步骤再写答案。

2. 选手表现：谁赢了？

研究人员测试了四位 AI 选手，结果大相径庭：

• Mixtral 和 DeepSeek：这两位“选手”有点掉链子。
  • Mixtral 像个只会打“中庸”的裁判，不管作文写得怎么样，它几乎全给"3 分”（及格分），完全失去了区分度。
  • DeepSeek 则像个过于严厉且有点混乱的裁判，打分太严，甚至有时候还会在评语里冒出中文（因为它训练数据里混入了中文），而且经常输出乱码。
• Qwen：表现尚可，但打分太死板，缺乏灵活性。
• LLama3.3 (70b)：这是唯一的“优等生”。
  • 它是最接近人类老师水平的模型。它能理解复杂的德语，能区分不同档次的作文。
  • 缺点：它是个“慢吞吞的学霸”。改一篇作文需要几分钟甚至十几分钟，而且非常消耗电脑算力（就像跑一辆法拉利，油耗极高）。

3. 最终成绩：AI 能完全取代老师吗？

答案是：还不能。

• 准确率：即使是最强的 LLama3.3，它的打分和人类专家完全一致的概率只有 32.8%。也就是说，每改 10 篇作文，大概有 7 篇的分数跟老师给的不一样。
• 细节表现：在“内容”和“结构”这种硬指标上，AI 表现还行；但在“语言风格”和“表达”这种需要细腻感知的地方，AI 还是差点火候。
• 最大的问题：AI 有时候会“一本正经地胡说八道”，或者因为计算太慢，老师等个 10 分钟才拿到一个“中等偏下”的评分，这在实际教学中是不现实的。

4. 论文的核心启示

这篇论文就像是一次**“压力测试”**，告诉我们：

1. AI 是个好助手，但不是好替身：目前的 AI 还不能完全取代人类老师去给毕业考打分。它太慢、太贵，而且偶尔会犯糊涂。
2. 提示词（Prompt）很重要：怎么跟 AI 说话（给什么参考范文、怎么引导它思考）直接决定了它的成绩。
3. 未来的方向：未来的 AI 评分系统，应该是**“人机协作”**。AI 负责初筛、指出明显的语法错误、提供初步建议，然后由人类老师来做最终的把关和决策。

总结一下：
这就好比我们想造一辆自动驾驶汽车来代替司机。现在的技术（LLM）已经能让车在高速公路上开一段了，也能识别红绿灯，但让它完全独立地、安全地、快速地穿过复杂的城市街道（批改各种风格的德语作文），还差得远。我们需要更多的数据、更强的电脑，以及更聪明的“驾驶规则”，才能让它真正上路。

技术摘要

论文技术总结：利用大语言模型评估奥地利 A 级德语作文

1. 研究背景与问题定义 (Problem)

背景：
自动作文评分（Automated Essay Scoring, AES）旨在通过减少教师的工作量并减轻主观偏见来辅助教育。虽然早期系统依赖手工特征和统计模型，但大型语言模型（LLM）的出现使得评估学生写作具有前所未有的灵活性。

核心问题：
本研究聚焦于奥地利高中毕业考试（A-Level/Matura）中的德语作文评分。该任务具有极高的复杂性：

• 文本类型多样：考试包含七种不同的文本类型（如议论文、评论、书信、演讲、文本分析、文学解读、摘要），每种类型都有独特的评分标准。
• 评分标准严格：采用标准化的五级评分制（1-5 分，1 为最优），并基于详细的评分量表（Rubric）对内容、结构、语言规范及表达风格等多个维度进行细分评估。
• 现有差距：现有的 AES 研究多针对单一文本类型或英语环境，缺乏针对德语 A-Level 考试、基于标准化量表且涵盖多种文本类型的严谨评估。

研究目标：
评估最先进的开源大语言模型（LLM）在零样本（Zero-shot）和少样本（Few-shot）提示策略下，结合检索增强生成（RAG）技术，能否准确、稳定地根据奥地利国家统一评分量表对德语作文进行自动化评分。

2. 方法论 (Methodology)

2.1 数据集

• 来源：奥地利标准化毕业与文凭考试委员会（SRDP）提供的 2023 年和 2024 年考试数据。
• 规模：经过 OCR 处理和人工筛选，最终保留 101 份 匿名学生试卷。
• 文本类型：涵盖三种主要类型：评论（Commentary）、书信（Letter to the Editor）、文学解读（Literary Interpretation）。
• 预处理：由于原始数据为扫描件且经过脱敏，存在 OCR 噪点，且部分手写体无法提取，导致最终可用数据量受限。

2.2 模型选择

研究对比了四种开源大语言模型：

1. LLama3.3 70b
2. DeepSeek-R1 32b
3. Qwen3 30b
4. Mixtral 8x7b
   注：由于其他模型在稳定性、语言理解（如 DeepSeek 出现中文乱码）或评分多样性（如 Mixtral 倾向于打 3 分）方面存在严重缺陷，后续深入实验主要聚焦于表现最好的 LLama3.3 70b。

2.3 实验策略

研究设计了多种提示工程（Prompt Engineering）和上下文策略：

1. 基线（Baseline）：

   • 仅使用系统提示词（包含评分标准）和 JSON 输出格式要求，无额外上下文。

2. 检索增强生成（RAG）策略：

   • Best-Average-Worst：为每个任务提供一篇高分、一篇平均分、一篇低分的范文作为固定上下文。
   • Most-similar-matches：基于向量相似度检索与考生作文最相似的范文。
   • Range-of-examples：提供覆盖 1-5 分全分段的范文集合。

3. 少样本提示（Few-shot Prompting）：

   • 采用迭代式评估，模型先对文本评分，随后获得正确答案反馈，再进行下一轮评估。
   • 测试了不同的上下文组合（如“好 - 中 - 差”顺序 vs“全分段”顺序）。

4. 思维链（Chain-of-Thought, CoT）：

   • 在少样本提示中引入 CoT 推理，要求模型先解释评分理由再给出分数。

2.4 评估指标

• 二次加权 Kappa (QWK)：衡量模型评分与人类专家评分之间的一致性（考虑误差幅度）。
• 平均绝对误差 (MAE)：评分偏差的平均值。
• 皮尔逊相关系数 (PCC)：预测分数与真实分数的线性相关性。
• 准确率 (Accuracy)：完全匹配人类评分的比例。

3. 关键贡献与发现 (Key Contributions & Results)

3.1 模型性能对比

• LLama3.3 70b 是唯一能够稳定处理该任务并输出多样化分数的模型。
• Mixtral 几乎将所有文本评为 3 分，缺乏区分度。
• DeepSeek 评分过于严苛，且偶尔输出非德语字符。
• Qwen 评分较严格，但多样性优于 Mixtral，仍不及 LLama3.3。

3.2 策略效果分析

• RAG 的局限性：虽然 RAG 提升了基线性能，但在评分多样性上表现不佳。使用单一最佳匹配（RAG-1-best）在最终分数的 QWK 上表现最好（0.48），但在细分维度上表现不稳定，可能受数值平均效应影响。
• 少样本提示的优势：
  • Few-shot Mixed（针对不同任务长度混合上下文策略）在细分维度（内容、结构等）的 QWK 上表现最佳（0.49 - 0.55）。
  • 上下文长度至关重要：对于较长的文本（Task 1），较少的上下文（Best-Average-Worst）效果更好；对于较短的文本（Task 2），更多的上下文（All-Grades）更有帮助。
• 思维链（CoT）的意外发现：
  • CoT 并未显著提升 QWK（甚至略降），表明模型可能产生了更严重的误判。
  • 然而，CoT 显著提高了最终分数的完全匹配准确率（达到 32.8%），特别是在短文本任务中。这表明 CoT 有助于模型在最终决策上更贴近人类，尽管过程推理可能存在偏差。

3.3 具体数据表现

• 细分维度一致性：模型在评分量表子维度（Rubric sub-dimensions）上与人类评分的最大一致率为 40.6%。
• 最终分数一致性：模型给出的最终等级与人类专家完全匹配的比例仅为 32.8%。
• 稳定性：LLama3.3 在 101 次测试中 100% 成功输出符合格式的 JSON，而其他模型失败率高达 30%-50%。

4. 研究意义与局限性 (Significance & Limitations)

4.1 研究意义

• 填补空白：首次系统评估了开源 LLM 在奥地利 A-Level 德语多类型作文评分中的表现，验证了即使较小的模型也能理解并使用标准化评分量表。
• 技术路径探索：证明了少样本提示 + 混合上下文策略优于纯 RAG 方法，且 CoT 在提升最终决策准确率方面具有潜力。
• 应用前景：虽然目前无法完全替代人工，但 LLM 可作为辅助工具，帮助教师快速初筛或提供结构化反馈，从而减轻工作负担。

4.2 局限性

• 数据集限制：仅包含三种文本类型，且数据经过脱敏和 OCR 处理，引入了噪点；缺乏多评分员（Multi-grader）的金标准数据，难以完全排除人类评分的主观偏差。
• 计算资源：LLama3.3 70b 推理耗时极长（每对任务约 240 秒，含上下文可达 750 秒），难以满足实时或大规模应用需求。
• 泛化能力：由于缺乏多评分员验证和更多文本类型的测试，模型的泛化能力和鲁棒性仍需进一步验证。
• 安全性：未深入测试模型对提示注入（Prompt Injection）等恶意攻击的防御能力。

5. 结论 (Conclusion)

该研究表明，尽管当前的 LLM 尚未达到完全自主替代人类专家进行奥地利 A-Level 德语作文评分的水平（最终分数匹配率仅约 33%），但它们已展现出巨大的潜力。通过精心设计的提示策略（特别是少样本学习和混合上下文）以及人类监督，LLM 可以作为有效的辅助工具。未来的工作应集中在扩大数据集、引入多评分员验证、优化推理速度以及增强模型的安全性和公平性上，以构建可靠、透明且公平的 AI 辅助评分系统。