Small, Private Language Models as Teammates for Educational Assessment Design
本文表明，小型语言模型能够通过生成与教学法一致的问题，在表现上媲美大型语言模型，从而成为教育评估设计中具有竞争力且能保护隐私的协作伙伴，同时强调了由于自动化评估存在系统性偏差，人类监督的必要性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位老师，正试图为学生们设计一份测验。你希望题目的难度恰到好处、表述清晰，并且完美契合你希望学生掌握的内容。手工完成这项工作非常耗时。此时，人工智能（AI）登场了，它可以为你撰写这些题目。
本文就像是对两类不同“AI 厨师”进行的口味测试与可靠性检查：一类是“巨型厨师”（大型语言模型，LLMs），另一类是“本地厨师”（小型语言模型，SLMs）。
以下是他们发现的内容，使用简单的类比进行分解：
1. 两类厨师
- 巨型厨师（LLMs）： 这些是著名的、基于云端的 AI 模型（如 GPT-4）。它们功能强大，但需要将数据发送到互联网，这可能费用高昂并引发隐私担忧（就像把你的秘密家庭食谱送到一家大工厂）。
- 本地厨师（SLMs）： 这些是更小、更轻量级的 AI 模型，可以直接在学校电脑或教师的笔记本电脑上运行，无需联网。它们旨在保护数据隐私并节省成本。
2. 烹饪挑战（实验）
研究人员要求这两类厨师烹制出 6000 多道测验题目。他们根据布鲁姆分类法给出了具体指令，这就像是一个学习的“难度阶梯”：
- 第 1 级： 仅记忆事实（简单）。
- 第 6 级： 创造新事物（困难）。
他们从以下三个方面对题目进行了测试：
- 可读性： 语言对于该年级水平来说是否太难或太易？
- 相关性： 厨师是否真正回答了提示，还是跑题了？
- 教学法： 厨师是否针对难度等级使用了正确的“动作词”（动词）？（例如，对简单题目使用“列举”，对困难题目使用“设计”）。
3. 结果：谁做得更好？
令人惊讶的赢家：本地厨师（SLMs）
你可能会认为巨型厨师总是能赢，因为它们更强大。但研究发现，本地厨师的表现同样出色，有时甚至更好。
- 一致性： 本地厨师更可靠。当老师要求一道“困难”的题目时，本地厨师能 consistently 将其做得困难。而巨型厨师有时会感到困惑，即使指令相同，也可能做出太简单或太难的题目。
- 隐私： 本地厨师将食谱留在厨房（本地计算机）中，这对于担心学生数据隐私的学校来说非常有益。
“漂移”问题
巨型厨师有时会“漂移”。想象一位本应制作辣味菜肴的厨师，却不小心加了太多糖。同样，巨型厨师在试图让题目更复杂时，有时会改变题目的含义。而本地厨师则能更好地保持正轨。
4. 口味测试者（重大转折）
这里是转折：研究人员还要求 AI 模型互相评分。他们想看看 AI 是否能充当裁判，告诉老师“这道题很好”或“这道题很差”。
裁决： AI 裁判不可靠。
- 有些 AI 裁判过于宽容（给糟糕的题目及格分）。
- 有些则过于严厉（拒绝好的题目）。
- 它们与人类专家的意见不一致。这就像让机器人去评判绘画比赛；它无法理解什么样的题目对课堂来说是“好”的细微差别。
5. 最终教训：“人在回路”
本文以一条清晰的信息作为结论：AI 应成为得力的助手，而非主宰。
将 AI 想象成一位初级副厨。
- 副厨（AI）： 可以快速切菜、混合食材并起草菜单。它在激发灵感和承担繁重工作方面非常出色。
- 主厨（教师）： 必须品尝菜肴、检查调味，并决定是否可以上桌。
你不能在未经主厨检查的情况下，就让副厨直接把食物端给顾客（学生）。AI 可以生成题目，但必须由人类教师进行审查，以确保它们对学生来说真正公平、准确且安全。
总结
- 小型、私有的 AI 模型是制作测验题目的绝佳、安全且具成本效益的替代方案，可替代庞大的云端模型。
- 它们在遵循指令和保持难度适宜方面出奇地出色。
- 然而，目前尚不能信任 AI 对自己的工作进行评分。 它会犯错并存在偏见。
- 最佳工作流程： 让 AI 起草题目，但在投入使用前，务必由人类教师进行审查和批准。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。