From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

该论文在雅思写作任务上首次统一比较了包括提示、指令微调、RAG 及偏好优化在内的多种大语言模型自动作文评分范式，发现结合监督微调与 RAG 的配置能以 93% 的 F1 分数实现最佳的整体性能。

要点

这篇论文就像是在给“人工智能批改英语作文”这件事做了一次全面的“大比武”。

想象一下，你开了一家超级英语补习班，但学生太多，老师（人类考官）根本改不过来。于是，你决定请一群不同背景的“机器助教”来帮忙批改雅思（IELTS）作文。

这篇论文就是作者们把这几类助教请到了同一个考场，看看谁改得最准、谁最省钱、谁最像真人老师。

🏆 参赛的四大“机器助教”流派

作者们测试了四种不同的“批改策略”，我们可以把它们想象成四种不同性格的助教：

1. 传统学霸派（Discriminative Fine-Tuning）

• 形象：这是一个死记硬背的“做题机器”。它被喂了大量的作文和标准答案，学会了看到什么词就对应什么分数。
• 特点：它很老实，改得比较稳，但有点“死板”。它只能给你一个冷冰冰的分数，很难写出像人话一样的评语。就像是一个只会打分的计算器，虽然快，但不懂作文的“灵魂”。
• 结果：表现中等，不够灵活。

2. 天才聊天派（Zero/Few-shot Prompting）

• 形象：这是像 GPT-4 或 Llama 3 这样的“超级聊天机器人”。你不需要训练它，只要给它发个指令：“嘿，你现在的角色是雅思考官，请给这篇作文打分并写评语。”
• 特点：它非常聪明，反应快，不需要你花钱训练。但它有点像“天才但情绪不稳定”的学生：有时候改得神准，有时候又因为没理解你的暗示而乱打分。而且，用这种“超级大脑”每次都要花很多钱（算力成本）。
• 结果：分数忽高忽低，成本太高，不够稳定。

3. 专业特训派（Instruction Tuning + RAG）

• 形象：这是经过“魔鬼特训”的助教。作者不仅给它看了很多作文（指令微调），还给它配了一个**“随身小抄本”**（检索增强生成，RAG）。
• 核心玩法：
  • 特训：专门教它雅思的四个评分标准（任务回应、连贯性、词汇、语法）。
  • 小抄本：当它批改一篇作文时，它会先去“小抄本”里找几篇类似的范文和评分标准，照着学。
• 特点：这就像是一个既懂理论又有实战经验的专家。它不会瞎编乱造，因为它时刻参考着标准答案。
• 结果：🏆 冠军！ 它的打分最准（准确率高达 99%），而且非常稳定。

4. 人本关怀派（SFT + DPO + RAG）

• 形象：这是在“专业特训派”的基础上，又给它请了一位“人类导师”进行**“价值观对齐”**。
• 核心玩法：除了让它学标准，还让它看人类老师是怎么写评语的。如果它写的评语太生硬，人类导师就告诉它：“这样写不好，要这样写才像人话。”（这叫直接偏好优化，DPO）。
• 特点：它的打分可能稍微有一点点偏差（比如该打 7 分打了 6.5 分），但它写出来的评语特别像真人老师，温暖、有逻辑、能真正帮助学生进步。
• 结果：打分非常准，但写评语的能力最强。

---

🥊 比赛结果与“性价比”分析

作者们发现了一个有趣的**“不可能三角”**：

1. 最省钱但效果一般：直接用聊天机器人（流派 2），不用训练，但改得忽好忽坏，而且每次调用都要花大钱。
2. 最精准但成本适中：“专业特训派”（流派 3） 是最佳平衡点。它通过“特训 + 查小抄”，用合理的成本换来了最高的打分准确率（F1 分数 93%）。
3. 最像人但成本最高：“人本关怀派”（流派 4） 改得最像真人老师，评语写得最好，但训练它最花时间、最烧钱。

💡 论文的核心启示（给普通人的大白话）

这篇论文告诉我们，如果你想用 AI 来批改英语作文：

• 如果你是为了考试（比如雅思模拟考），需要极其精准的分数：
  请选择**“专业特训派”**（流派 3）。给它看标准，让它查资料，这样它打分最准，最不容易出错。

• 如果你是为了学习（比如日常练习），需要老师给建议：
  请选择**“人本关怀派”**（流派 4）。虽然分数可能差 0.5 分，但它写出的评语能真正告诉你哪里写得不好，怎么改，读起来更像真人老师在和你对话。

• 不要只靠“直接问”：
  直接让大模型去改（流派 2），虽然方便，但就像让一个没经过培训的实习生去监考，容易出乱子。

🎯 总结

这就好比选老师：

• 流派 1 是只会算分的计算器。
• 流派 2 是聪明但随性的天才，偶尔神准偶尔离谱。
• 流派 3 是最靠谱的阅卷组长，拿着标准答案和范文，打分最准。
• 流派 4 是最懂学生的金牌导师，虽然偶尔手抖打错分，但讲道理讲得最透彻。

作者们最终发现，把“标准答案（RAG）”和“人类偏好（DPO）”结合起来，才是未来自动批改作文的终极形态。

技术摘要

这是一份关于论文《From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring》（从提示到偏好优化：基于大语言模型的自动作文评分比较研究）的详细技术总结。

1. 研究背景与问题 (Problem)

自动作文评分 (AES) 旨在通过算法自动评估学生作文，其目标是在评分一致性和及时性上接近人工阅卷，同时降低教育成本。尽管大型语言模型 (LLM) 在自然语言处理领域取得了巨大进展，但在英语作为第二语言 (L2) 写作评估（如 IELTS、TOEFL）中，现有的研究存在以下主要缺口：

• 研究碎片化：现有工作通常孤立地研究单一技术（如仅关注提示工程、仅关注微调或仅关注排序），缺乏对多种主流 LLM 适配范式的系统性对比。
• 缺乏统一基准：目前尚无在同一个 L2 写作语料库上，公平比较判别式微调、提示学习 (Prompting)、指令微调 (Instruction Tuning)、检索增强生成 (RAG) 以及偏好优化 (Preference Optimization) 的研究。
• 权衡不明：不同方法在准确性、计算成本和鲁棒性之间的具体权衡关系尚不清晰，缺乏针对 L2 写作复杂评分标准（如任务回应、连贯性、词汇、语法）的深入分析。

2. 方法论 (Methodology)

该研究在 IELTS Writing Task 2 数据集上构建了一个统一的基准，系统评估了四种主要的 LLM 适配范式。研究将 AES 定义为联合任务：既预测总分（Band Score），又生成符合评分标准的反馈。

四种评估范式：

1. 判别式微调 (Discriminative Fine-tuning, Approach 1)：

   • 使用编码器模型（如 RoBERTa, GPT-2 Encoder）作为分类器。
   • 将作文和提示作为输入，直接映射到离散的雅思分数（0-9 分，共 19 类）。
   • 特点：作为强基线，仅输出分数，不生成详细反馈。

2. 上下文学习 (In-Context Learning, Approach 2)：

   • 零样本/少样本提示 (Zero/Few-shot Prompting)：利用冻结参数的大模型（如 GPT-4o, Llama-3-70B），通过自然语言指令让模型扮演考官。
   • 指令微调 (Instruction Tuning)：使用 LoRA 对模型参数进行微调，使其适应特定的评分指令，但仍保留生成能力。

3. 基于检索的指令微调 (k-Instruction Tuning with RAG, Approach 3)：

   • 核心创新：将雅思评分标准分解为 4 个维度（任务回应 TR、连贯与衔接 CC、词汇资源 LR、语法范围与准确性 GRA）。
   • k-LoRA 策略：为每个维度训练独立的 LoRA 适配器。
   • 检索增强 (RAG)：在推理时检索相关的评分标准描述和范文，作为上下文输入模型，以减少幻觉并提高评分依据的准确性。
   • 输出：生成结构化 JSON，包含各维度分数及反馈，最后聚合为总分。

4. 监督微调结合偏好优化与 RAG (SFT + DPO + RAG, Approach 4)：

   • 两阶段优化：
     1. SFT：监督微调，让模型学习生成分数和反馈。
     2. DPO (Direct Preference Optimization)：利用人类偏好数据（成对的“好反馈”与“差反馈”）进行强化学习对齐，优化反馈的质量和人类偏好一致性。
   • RAG：同样引入检索增强机制以稳定预测。
   • 目标：在保持准确性的同时，显著提升反馈的连贯性、解释性和教学价值。

3. 关键贡献 (Key Contributions)

• 首个统一基准：建立了首个系统比较四种主要 LLM 适配范式（判别式、提示、指令微调、偏好优化）在英语 L2 自动评分任务上的统一基准。
• 框架设计：设计并评估了一个“标准感知 (Criterion-aware)"的 AES 框架，结合了指令微调、RAG 和偏好优化，使模型预测与 IELTS 评分标准高度对齐。
• 权衡分析：通过定量和定性分析，揭示了不同方法在准确性 - 成本 - 鲁棒性之间的清晰权衡，为实际部署提供了实践指导。

4. 实验结果 (Results)

研究在包含 10,328 篇 IELTS 作文的数据集上进行了实验（9,833 训练，495 测试）。

• 性能表现：

  • 判别式微调 (A1)：表现中等，F1 分数较低（<0.31），难以捕捉细微的评分标准差异。
  • 提示学习 (A2)：灵活性高，但不同模型间方差大。闭源模型（如 GPT-4o）在零样本下表现尚可，但推理成本高且误差波动大。
  • 指令微调 (A3)：显著优于前两者。特别是 Llama-3.1-8B + k-Instruction Tuning + RAG 配置，取得了最佳综合性能：准确率 (Accuracy) 0.9902，F1 分数 0.9350。
  • 偏好优化 (A4)：在基于误差的指标（RMSE, MAE）上表现最佳，表明其预测更校准、更符合人类判断，但在绝对分数匹配上略逊于 A3+RAG。

• 成本与效率权衡 (Cost-Accuracy Trade-offs)：

  • A1/A2：训练/推理成本最低，但准确性有限。
  • A3 (指令微调)：在中等成本下实现了显著的性能提升，性价比最高。
  • A3+RAG：在保持合理训练时间的同时，通过检索增强达到了最高准确率（0.99）。
  • A4 (SFT+DPO)：成本最高（训练时间最长），虽然准确率略低于 A3+RAG，但在反馈质量和人类对齐度上表现更好。

• 定性分析 (Case Study)：

  • A3+RAG：擅长精确的分数预测和细粒度的诊断反馈（能明确指出具体维度的强弱项），适合高利害的自动评分场景。
  • A4：擅长生成全局连贯、类似考官口吻的反馈，虽然偶尔分数预测有偏差，但其反馈更具教学意义，适合形成性学习（Formative Learning）。

5. 研究意义 (Significance)

• 填补空白：解决了 L2 写作评估领域缺乏系统性比较的问题，明确了不同技术路线的适用场景。
• 实践指导：
  • 对于高利害考试评分（如模拟雅思考试），推荐使用 k-Instruction Tuning + RAG，因其具有最高的分数预测准确性和鲁棒性。
  • 对于日常学习反馈，推荐使用 SFT + DPO + RAG，因其能提供更自然、更具建设性的教学反馈。
• 技术启示：证明了在 LLM 应用中，单纯的提示工程不足以解决复杂任务，结合检索增强 (RAG) 和 偏好优化 (DPO) 是提升垂直领域（如教育评估）模型性能的关键路径。

总结：该论文通过严谨的实证研究，证明了将检索增强生成 (RAG) 与针对特定评分标准的指令微调相结合，是目前实现高精度 L2 作文评分的最佳方案；而引入偏好优化则能进一步提升反馈的教学价值。这为构建下一代智能教育评估系统提供了明确的技术路线图。