INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators
本文介绍了 INSIDE，这是一个学生建模框架，通过微调大语言模型来生成学生行为及其基于布鲁姆分类法（Bloom's Taxonomy）的底层内部推理，从而与现有的提示方法相比，显著提高了模拟保真度和推理对齐度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教会一个机器人如何成为一名学生。你向它展示了成千上万个例子：孩子们编写代码、陷入困境、寻求帮助，然后再次尝试。如今大多数机器人就像优秀的演员，能够完美地背诵剧本；它们可以准确无误地打出人类学生会输入的完全相同的代码。但它们并不理解人类为什么要那样输入。它们不知道学生是在困惑、沮丧、瞎猜，还是正处于“灵光一现”的时刻。它们只看到了最终的表现，却看不见学生大脑中正在进行的混乱的内心独白。这篇题为《走进学生的内心》（INSIDE the Student's Mind）的论文出自人工智能与教育领域。它解决了一个特定的问题：如何让 AI 模拟器不仅能模仿学生的行为，还能像他们一样思考。作者们基于这样一个观点：要真正理解学习，我们需要对可见行为背后的不可见推理进行建模，就像一名侦探试图弄清楚的不只是嫌疑人做了什么，还有他们在做这些事时的心理活动一样。
研究人员引入了一个名为 INSIDE（内部学生对话，Internal Student Dialogue）的新框架。你可以把它想象成赋予 AI 机器人一个“秘密声音”或一个“思想气泡”。他们不再仅仅要求 AI “写下下一行代码”，而是要求它先低声说出自己的内心想法，然后再编写代码。为了教会 AI 如何做到这一点，团队使用了一个巧妙的技巧：他们从一门计算机科学课程中提取了真实数据，在这些课程中，学生提交代码，从 AI 导师那里获得反馈，然后再次尝试。由于没有人记录学生真实的思维过程，研究人员使用了一个超级聪明的“教师”AI 来观察代码的变化和反馈，进而重构出学生在那个时刻可能正在想什么。他们创建了一个数据集，其中每一次代码提交都配上了一个虚构但真实的“出声思考”故事。
当他们使用这种“思考 + 行动”的数据来训练 AI 模型时，有趣的事情发生了。论文发现，这些被称为 INSIDE 的模型在模仿真实学生方面，比那些仅观察代码的模型表现得好得多。事实上，INSIDE 模型匹配真实学生编码模式（例如他们写了多少行代码或犯错的频率）的效果甚至优于以往的方法。但真正的魔力在于“思想”。研究人员测量了 AI 的内部推理与学生实际修改代码之间的匹配程度。他们发现，INSIDE 模型的推理对齐度高达 57.9%，这是所有测试模型中的最高分。
该论文明确反对仅仅让 AI“更努力地思考”或“更逻辑地思考”就足够了的观点。他们表明，如果你只是要求标准 AI 在行动前进行推理，它往往会产生完美、逻辑严密的想法，并导致完美的代码——而这恰恰是真实学生不会做的事情。真实的学生经常会有混乱、不完整或略有错误的想法，从而导致有缺陷的代码。论文指出，要构建一个真正真实的学生模拟器，必须允许 AI 处于不确定状态，允许它犯推理错误，并且有时误解反馈，就像人类一样。研究结果表明，通过强制 AI 先生成这种“混乱”的内部对话，可以创造出一个更准确的学生学习图景，从而为无需真人参与的 AI 导师测试和改进提供一种新途径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。