The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring
本文证明，在自然顺序下对量化后的 LLaMA-3.1-8B 模型进行按篇章元素进行的顺序微调，其效果显著优于独立训练和随机训练方法，在实现更优的自动作文评分连贯性并媲美更大的 70B 基准模型的同时，还提供了一种更具成本效益的解决方案。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一位才华横溢但缺乏经验的学生如何批改作文。这些作文不仅仅是随机的文字，它们是具有特定结构的“故事”：引子（钩子）、立场（核心思想）、论点（论证）、证据（证明）以及结论（总结）。
问题在于，这些部分是相互依赖的。如果你不理解它试图证明的“立场”，你就无法判断其“证据”的好坏。如果你没有读完整个故事，你就无法评判“结论”。
这篇论文是关于如何教一台计算机（具体来说是一个名为 LLaMA 的人工智能）来批改这些作文。研究人员提出了一个简单的问题：我们教导人工智能的顺序重要吗？
以下是他们实验的详细分解，使用了简单的类比：
三种教学方法
研究人员尝试了三种不同的方式来训练人工智能：
“专家”法（独立式）：
想象一下雇佣了五位不同的老师。一位只学习如何批改“引子”，另一位只学习如何批改“立场”，依此类推。他们之间从不交流。- 结果： 这对作文的后半部分来说是一场灾难。当“立场”老师试图批改“结论”时，他们失败得很惨，因为他们不知道前面发生了什么。这就像要求一位只会切洋葱的厨师去评判整锅汤的味道。
“混乱混合”法（随机式）：
想象一位老师面对着一大堆作文。他必须先批改“引子”，然后是“结论”，接着是“证据”，然后又回到“引子”，以一种随机且杂乱无章的顺序进行。- 结果： 这种方法对某些部分（如“立场”）还算凑合，但非常不稳定。这就像是通过先看字典的一页，再看一首诗，然后看一本数学教科书，最后看一份菜单来学习语言，所有东西都混杂在一起。你会感到困惑。
“讲故事”法（顺序式）：
这是研究人员推崇的方法。他们按照人类写作论文的准确顺序来教导人工智能：引子 → 立场 → 论点 → 证据 → 结论。- 逻辑： 一旦人工智能学会了如何识别一个好的“引子”，它就会利用这一知识去学习如何识别一个好的“立场”。一旦它知道了“立场”，它就会利用这一点去评判“证据”。它像堆砖块一样积累知识。
- 结果： 这种方法效果最好。人工智能成为了一个顶尖的阅卷老师，尤其是在处理像“证据”和“结论”这样复杂的环节时。
大惊喜：小模型 vs. 巨型模型
研究人员将他们经过精心训练的小型人工智能（一个 80 亿参数的模型）与一个庞大的、“超级大脑”级的人工智能（一个 700 亿参数的模型）进行了对比，而后者并没有针对这项特定任务进行专门训练。
- 巨型人工智能： 它很聪明，但因为它没有被教授过这种特定的“故事结构”，在处理需要理解全局观的部分时显得力不从心。
- 经过训练的小型人工智能： 尽管它规模更小、运行成本更低，但它在批改“证据”和“结论”方面击败了巨型人工智能。
类比： 把巨型人工智能想象成一个拥有摄影记忆、读遍了图书馆所有书籍，却从未被教过如何写故事的人。把小型人工智能想象成一个记忆力稍逊、但经过专门训练以理解故事“流向”的人。在批改故事时，经过训练的人会胜出。
核心启示
论文的结论是：如何教导人工智能与人工智能本身有多聪明同样重要。
如果你通过逻辑性的、循序渐进的顺序（就像讲故事一样）来教计算机批改论文，它学得会好得多，而不是把所有东西一股脑地扔给它，或者将它们拆分成孤立的块进行教学。这使得较小的、更便宜的计算机能够比庞大、昂贵的计算机做得更好，从而让自动化的作文批改在学校中更具实用性。
简而言之：不要只是喂给人工智能数据；要按正确的顺序教它讲好一个故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。