LLM Prompt Evaluation for Educational Applications
本研究引入了一种使用 Glicko2 等级系统进行锦标赛式评估的系统性框架，用于评估用于教育对话的大语言模型提示词模板，并证明了结合了角色设定与上下文管理策略的提示词在生成符合教学法对齐的后续问题方面显著优于其他提示词。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个非常聪明但有点过于死板的机器人如何成为一名优秀的阅读辅导员。你不能只是告诉机器人“帮助学生”。你必须写出一套非常具体的指令，称为提示词（prompt），来告诉机器人它应该如何表现、使用什么样的语气以及提问的方式。
这篇论文就像是一场寻找这些指令最佳“配方”的烹饪比赛。
背景：数字阅读课堂
研究人员当时正在使用一个名为 STAIRS 的智能网站，该网站旨在帮助学生阅读困难的教科书。当学生阅读一页内容并写下摘要时，系统会检查他们是否真正理解了内容。如果摘要较弱，系统就会介入。它会挑选文本中一个棘手的部分，向学生提问以引导其进行更深层的思考，然后——这是关键点——它需要提出一个**追问（follow-up question）**以保持对话的进行。
核心问题是：我们应该如何编写指令（提示词），才能让 AI 提出最优秀的追问？
参赛者：六种不同的“人格”
团队为 AI 创建了六套不同的指令（提示词）。每套指令都基于不同的教学理念或“人格”：
- 基准线（The Baseline）： 他们之前一直在使用的旧的标准指令集。它就像是一个基础的、没有任何花哨修饰的食谱。
- 苏格拉底式引导者（The Socratic Guide）： AI 扮演一名哲学家，通过提问让学生思考自己是如何思考的（元认知）。
- 支架式专家（The Scaffolding Expert）： AI 扮演一名建筑工头，小心翼翼地在学生已有的知识基础上进行构建，并逐步填补知识空白。
- 连接构建者（The Connection Builder）： AI 试图将文本与学生的个人生活和过往经历联系起来。
- 理解监控者（The Comprehension Monitor）： AI 扮演一个自我检查工具，帮助学生评估他们是否真正理解了材料。
- 策略阅读教练（The Strategic Reading Coach）： AI 扮演一名教练，教学生如何进行策略性阅读，重点关注他们自身的学习习惯和自主性。
锦标赛：他们如何决定胜负
研究人员并没有靠直觉猜测哪个更好，而是举办了一场锦标赛。
- 评委： 他们招募了八位人类评委（包括教授、博士生和本科生），这些人对该系统非常了解。
- 游戏规则： 评委们会被展示成对出现的追问。一个问题来自“苏格拉底式引导者”指令，另一个来自“支架式专家”指令，以此类推。
- 任务： 评委必须选出他们更喜欢的那个问题。他们不给出具体分数，而只是投票选出每一对中的胜者。
- 数学方法： 他们使用了一种特殊的评分系统（类似于用于对国际象棋选手进行排名的方法）来计算一个提示词击败另一个提示词的概率。
结果：谁赢了？
结果非常明确。策略阅读教练是无可争议的冠军。
冠军： “策略阅读教练”提示词几乎每次在与其他提示词对比时都胜出。它有 81% 到 100% 的概率被选为首选。
为什么它能获胜： 这个提示词之所以特别，是因为它结合了两种强大的“模式”：
- 人格（Persona）： 它告诉 AI：“你是一名阅读教练。”
- 语境管理者（Context Manager）： 它告诉 AI：“严格专注于帮助学生管理他们自己的阅读策略。”
通过告诉 AI 它是谁以及它的边界在哪里，它创造出了最有帮助的追问。
亚军： “支架式专家”排名第二。它在填补知识空白方面表现得非常出色。
意外之处： 旧的基准线提示词（即他们在没有使用这些高级新技巧前使用的那个）实际上排在第三位。它表现尚可，但精心设计的这些新提示词明显更好。
失败者： 那些过于侧重于仅仅“连接想法”或“监控”而缺乏强大教练人格的提示词表现并不理想。
核心启示
该论文认为，我们不能仅仅靠猜测来决定如何在教育领域与 AI 对话。我们需要一种系统化的方式来测试我们的指令。
可以这样想：如果你想建造一座更好的桥梁，你不会只是随便设计一个并祈祷它能承重。你会测试不同的设计。这篇论文表明，通过举办一场由人类投票选出最佳 AI 回复的“锦标赛”，研究人员可以从科学的角度证明哪种指令的“配方”效果最好。在本文的具体案例中，将 AI 转化为策略阅读教练的配方是帮助学生学习最有效的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。