Pair2Score: Pairwise-to-Absolute Transfer for LLM-Based Essay Scoring
本文介绍了 Pair2Score，这是一个参数高效的两阶段框架，通过 LLaMA 适配将成对比较转化为作文绝对评分，证明特定的迁移配置和有限的成对训练阶段相较于仅依赖绝对评分的基线能显著提升评分准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一名教师，正试图给数百篇学生作文打分。你需要为每篇作文赋予一个具体的数字，例如语法“7 分（满分 10 分）”或词汇“8 分（满分 10 分）”。这被称为绝对评分。这很困难，因为"7 分”是一个模糊的概念；不同的教师可能对"7 分”究竟长什么样持有不同意见。
然而，教师将两篇作文并排查看并说出“作文 A 明显优于作文 B"要容易得多。这就是成对比较。
本文介绍了一种名为Pair2Score的新方法。你可以将其视为针对人工智能（具体来说是名为 LLaMA 的大型语言模型）的两阶段训练程序，旨在通过先练习更简单的"A 优于 B"游戏，来学习如何给出那些棘手的"7 分（满分 10 分）”的分数。
以下是该过程的运作方式，使用了简单的类比：
两阶段训练营
第一阶段：“味觉测试”（成对排序）
想象你正在培训一位美食评论家。你不是要求他们立即将汉堡评为"7/10 分”，而是给他们看两个汉堡，并问：“哪一个味道更好？”
- 人工智能查看成对的作文。
- 它学会识别差异：“这篇作文的语法比那篇更好。”
- 它暂时不担心确切的数字；它只是学习质量的方向。
- 转折点：研究发现，你不需要让评论家进行数千次比较并训练很长时间。事实上，非常短暂的“味觉测试”会话（仅一轮训练）往往比漫长而疲惫的训练更有效。这就像给人工智能一个关于优秀写作样貌的快速“顿悟”时刻，而不是让它进行数周的死记硬背。
第二阶段：“期末考试”（绝对评分）
现在，人工智能利用第一阶段的知识，尝试为单篇作文给出实际数字（1 到 5）。
- 研究人员尝试了两种将第一阶段知识传递给第二阶段的方法：
- 热启动（Warm-Start）：想象人工智能是一名完成了“味觉测试”课程的学生。对于“期末考试”，他们保留第一节课的笔记和思维状态作为起点。他们只需要学习如何将“更好/更差”转化为"7/10 分”。
- 融合（Fusion）：想象学生带着一份作弊小抄（味觉测试的总结）进入考场。他们查看作文，查看作弊小抄，然后结合这两部分信息来给出分数。
他们发现了什么？
研究人员在三项具体技能上测试了这种方法：语法、词汇和句法。他们多次运行实验，以确保结果不仅仅是运气。
以下是主要结论，已转化为日常用语：
- 捷径有效：使用“味觉测试”（成对比较）作为热身，通常比让人工智能从零开始学习数字更能帮助其给出更好的最终分数。
- 少即是多（有时）：最惊人的发现是关于时间的。长时间训练人工智能进行作文比较并没有太大帮助。事实上，在仅一轮（一个 epoch）比较训练后就停止，往往是获得良好结果的最可靠方式。这表明人工智能只需要在正确方向上得到快速的“推动”，而不需要深入钻研排序。
- 仅仅擅长比较是不够的：你可能会想：“如果人工智能非常擅长说‘作文 A 优于 B'，那它在评分方面也会很出色。”论文指出并非如此。人工智能可能是比较作文的冠军，但仍然无法给出好的绝对分数。知识传递的方法（热启动与融合）与比较训练的质量同样重要。
- 没有万能药：不存在一种适用于所有作文类型的“完美”设置。有时“融合”方法效果最好；有时“热启动”效果最好。这取决于具体的特征（语法与词汇）以及具体的作文批次。
核心结论
论文认为，要教会人工智能用具体数字给作文打分，你不应该立即将数字抛给它。相反，应让它先练习比较作文。
然而，不要过度练习。一次简短、专注的作文比较会话通常足以赋予人工智能正确的“直觉”。一旦它拥有了这种直觉，你就可以教它分配最终数字，它的表现将比从未见过比较训练时更好。
重要提示：作者非常谨慎地指出，这是关于作文评分的特定实验。他们尚未声称这适用于医疗诊断、法律判决或其他领域。他们只是表明，对于作文评分而言，这种特定的“先比较后评分”的两步法是获得更好结果的有前途的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。