Scalable Generation and Validation of Isomorphic Physics Problems with GenAI
本文提出了一种生成式人工智能框架，用于创建和验证大规模同构物理题库，这些题库在保持难度一致的同时提供多样化的情境，并证明了中等规模的语言模型能够有效预测学生表现并识别异步 STEM 评估中有问题的变体。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位物理老师，正准备给学生出题考试。在过去，你必须锁好门，让所有人同时坐在一个房间里，然后给每个人分发同一份试卷。这既让学生感到压力，又难以管理。此外，在互联网和人工智能时代，学生很容易通过共享答案或在考试期间查阅解决方案来作弊。
本文的作者提出了一种更好的方法：“无限题库”方法。
不是给每个人完全相同的问题，而是为学生提供一个庞大的练习问题库。在考试当天，计算机从该库中为每位学生随机抽取一道题。尽管题目看起来不同（也许一道题是关于狗拉雪橇，另一道是关于人推沙发），但它们是同构的。
“同构”是什么意思？
把它想象成一个饼干模具。
- 饼干模具（结构）： 这是数学和物理逻辑。它对每块饼干都是一样的。解决它需要相同的步骤。
- 面团（情境）： 这是风味和形状。一块饼干是巧克力味的，一块是香草味的；一块是星星形状，一块是心形。
- 目标： 你希望每块饼干尝起来都一样（难度相同），即使它们看起来不同。
手工制作饼干的难题
手工创建数百道这些“外观不同但难度相同”的题目是一场噩梦。这非常耗时。而且，你怎么知道“狗拉雪橇”这道题是否真的比“推沙发”那道题更难？如果不进行检查，一些学生会幸运地抽到简单题，而另一些学生则会卡在难题上。这是不公平的。
解决方案：人机协作的“人工智能主厨”
研究人员构建了一个系统，利用生成式人工智能（GenAI） 充当教师的副手。
- 食谱（提示链）： 他们不是简单地要求人工智能“写一道物理题”（这通常会导致混乱的结果），而是将其分解为步骤。
- 步骤 1： “给我 10 个涉及拉拽物品的有趣场景。”（情境）
- 步骤 2： “现在，计算数值，使物理原理在每个场景中都能完美成立。”（结构）
- 步骤 3： “使用计算器工具检查你的数学计算。”
- 结果： 人工智能生成了一个庞大的题库，其中教师控制数学部分（从而保持难度一致），而人工智能改变故事情节（从而避免枯燥）。
“试吃”：人工智能做得好吗？
最大的问题是：所有这些饼干的难度真的相同吗？
为了找出答案，研究人员做了两件事：
1. 真实试吃（学生）：
他们在实际考试中，将这些人造题目提供给了 220 多名真实的大学生。
- 结果： 大约 75% 的题库达到了完美的平衡。无论学生抽到的是哪道具体的题目，他们的答对或答错率都相同。人工智能在保持难度一致性方面做得非常出色。
2. 机器人试吃（模拟学生）：
在将测试交给真实人类之前，我们能否利用人工智能来检查题目？研究人员使用了 17 种不同的开源人工智能模型 来亲自“参加”考试。
- 结果： 人工智能模型与学生的意见在 70% 的情况下是一致的。如果人工智能模型发现某道题目令人困惑或很难，真实学生通常也是如此。
- 超能力： 人工智能不仅仅是说“这很难”。它解释了为什么。
- 示例： 有一道题目很难，因为措辞模糊。人工智能注意到：“等等，船是在撞到网之前还是之后停下来的？”并标记了这一点。真实学生也对同样的问题感到困惑，但人工智能在考试发生之前就发现了错误。
结论
这篇论文表明，我们可以利用人工智能创建大规模、公平且多样化的物理测试，而无需人类手工编写每一道题目。
- 对于教师： 你可以让学生公开练习整个题库。在考试当天，每个人都会获得一个独特的版本，这使得作弊变得毫无用处，因为题目变化太大，无法死记硬背。
- 对于质量控制： 你可以先让“机器人学生”参加考试。如果机器人在某道具体的题目上卡住了，你就知道在将其展示给真实人类之前需要修正那道题目。
简而言之，作者建立了一个工厂，能够大规模生产公平、独特的物理问题，并且他们证明了机器人可以在产品上市前帮助检查质量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。