Toward a Benchmark for Controllable Simulation of Imperfect Students with Large Language Models
本文介绍了一个面向基准的框架，利用大语言模型模拟具备可控的、部分技能掌握程度的学生以支持教师教育，表明虽然选择性保留和抑制能力是可行的，但控制程度仍取决于所使用的具体模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在培训一位新教师。为了胜任工作，他们需要与会犯特定错误、忘记特定内容、在特定概念上挣扎的学生进行练习。他们不能只与完美的天才学生练习；他们需要学会如何应对一个懂得加法却忘记了减法的学生。
这篇论文提出了一个重大问题：我们能否利用一个超级智能的人工智能（大语言模型）来按需扮演一个“有缺陷”的学生？
以下是研究人员所做工作的分解，使用了一些简单的类比。
目标：“变色龙”学生
通常，当我们要求人工智能解决数学问题时，我们希望它完美无缺。我们希望它拿到 A+。但对于教师培训，我们需要人工智能成为一个"C-”学生，它具体忘记了如何处理分数，但仍然记得如何做几何题。
研究人员想要验证的是，他们能否告诉人工智能：“假装你是一个掌握了技能 A 和技能 B，但完全忘记了技能 C 的学生。”
挑战：为什么这很难
把人工智能想象成一个阅读过所有已写数学书籍的图书馆。它无所不知。
- 问题所在： 如果你要求这个图书馆“忘记”如何做分数，很难让它停止使用这些知识。这就像试图告诉一个热爱巧克力的人，仅仅因为你礼貌地请求，就突然讨厌巧克力一样。这些知识深深地“根深蒂固”在内部。
- 担忧： 如果你告诉人工智能忘记分数，它是否会意外地忘记如何做几何题？或者它是否会开始随机猜测？研究人员想知道，他们是否能够像手术一样，只移除他们希望人工智能“忘记”的特定技能。
实验：技能的“菜单”
研究人员利用针对四、五年级学生的数学问题构建了一个测试。他们将数学主题（如“分数”或“几何”）视为菜单上的项目。
- 档案： 他们为人工智能创建了一个“学生档案”。这是一个列表，其中勾选了人工智能应保留的技能为“是”，应忘记的技能为“否”。
- 指令： 他们尝试了三种告诉人工智能该做什么的方法：
- 仅口头告知： “你是一个忘记了分数的学生。”
- 仅展示示例： 给人工智能展示一个学生犯错的例子。
- 混合方法（获胜者）： 既告诉人工智能忘记什么，又展示它如何犯这些特定错误。
结果：什么奏效了？
研究人员发现，人工智能确实可以假装成一个有缺陷的学生，但这很大程度上取决于他们如何提问以及使用了哪种人工智能。
- “混合”方法获胜： 仅仅告诉人工智能忘记某事是不够的。仅仅展示示例也不够。但当他们两者结合时（混合方法），人工智能在扮演“有缺陷的学生”角色方面更接近目标。这就像给一位方法派演员既提供剧本又提供背景故事；表演变得更有说服力。
- 并非所有人工智能都平等： 他们测试了三种不同的人工智能模型（Claude、DeepSeek 和 GPT-4o）。
- Claude 是最佳的“演员”。它能很好地遵循指令忘记特定技能，而不会搞乱它本应保留的技能。
- DeepSeek 非常擅长数学，但更难控制。即使被告知要失败，它仍会试图正确解决问题。
- GPT-4o 处于中间水平。
- 无“附带损害”： 好消息！当人工智能被要求忘记“分数”时，它并没有意外地忘记“几何”。这种遗忘是局部的。这就像关掉厨房的灯，而不会关掉卧室的灯。
结论
这篇论文并没有说我们已经为课堂构建了一个完美的虚拟学生。它说的是更具体的事情：我们已证明可以建立一个“基准”，用于测试人工智能是否能够选择性地遗忘事物。
他们创造了一种方法来衡量人工智能是否能在受控的情况下被“引导”至不完美。这是一个至关重要的第一步。在我们利用人工智能培训教师之前，我们首先必须证明人工智能实际上能够假装成一个具有特定弱点的学生，而不是仅仅作为一个拒绝犯错的完美机器人。
简而言之： 研究人员建立了一项测试，看看他们能否教会人工智能在特定主题上“装傻”。他们发现，有了正确的指令，人工智能可以做到这一点，但这是一种棘手的表演，取决于你使用哪种人工智能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。