🤖 AI

From Mastery Profile to Simulated Response: Stochastic Student Knowledge Graphs (SSKG) for Faithful LLM Student Simulation

本文引入了一种随机学生知识图谱（SSKG）框架，该框架通过将答案正确性与生成过程解耦，克服了标准大语言模型倾向于默认高掌握度的倾向，从而能够忠实地模拟多样化的学生熟练程度并呈现清晰的掌握梯度。

原作者： Yuan An, Emily Wang, Benjamin Wang, Ruhma Hashmi

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuan An, Emily Wang, Benjamin Wang, Ruhma Hashmi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在教育领域，准确了解一名学生掌握了什么以及他们在哪里遇到困难，是有效教学的关键。几十年来，研究人员一直试图构建能够模拟学生思维的计算机模型，从而创建合成数据，用于在真实的教学系统接触到真实学生之前，测试新的辅导系统或训练人工智能。其希望是在无需承担招募真实课堂所带来的时间、成本和伦理障碍的情况下，生成数以千计的现实练习场景。最近，强大的语言模型作为这项任务的一个极具前景的工具脱颖而出。这些就是那些能够写论文、解决复杂逻辑谜题并用简单语言解释深奥概念的同类人工智能。其核心想法是只需要求计算机“扮演一名挣扎中的学生”并让它生成答案。然而，一个根本性的问题一直存在：这些模型太聪明了，以至于它们很难轻易地假装变笨。当被要求模拟一名知识匮乏的学生时，计算机往往会忽略指令并照常给出正确答案，因为其内在知识过于强大，无法仅通过简单的请求就被抑制。

德雷克塞尔大学（Drexel University）的一个研究小组致力于解决这个“虚假挣扎”的问题。他们想要创建一个模拟环境，使人工智能学生的表现能随着其知识量的减少而以一种可预测、现实的方式下降，而不是无论指令如何都保持完美。为了实现这一目标，他们不再要求计算机去猜测学生会如何表现，而是构建了一个关于学科本身的详细地图。他们采用了一本公开的代数教科书，将其分解为数千个微小且具体的知识点和步骤，创建了一个结构化的知识网络。随后，他们为这些微小的步骤分配了一个成功概率。如果一名学生有 20% 的概率掌握某个特定事实，模拟系统就会随机决定他们是否掌握了该事实，就像真实的人在压力下可能会忘记某个细节一样。

研究人员使用来自 SAT（一种用于评估大学准备情况的标准考试）的 379 道代数题测试了这种新方法。他们首先尝试了传统方法，即向三种不同的大型语言模型发出指令，让它们分别扮演不同水平的学生，从接近专家到严重挣扎的学生。结果非常悬殊。无论计算机被告知是天才还是新手，它回答问题的正确率都在 96.8% 到 100% 之间。这些模型实际上是在忽略“表现糟糕”的指令。模拟无法区分一个无所不知的天才和一个几乎一无所知的初学者。

为了修复这个问题，研究人员引入了一个新系统，将“判断答案是否正确”与“解释原因”这两个环节分离开来。首先，系统会查看解决数学问题所需的特定事实链。它会将模拟学生的知识图谱与这条链进行比对。如果学生应该在某个特定概念上遇到困难，系统就会通过一个简单的数学过程（而非由语言模型决定）随机判定学生在该特定步骤上失败。只有在系统已经决定了答案的正误以及导致错误的具体步骤后，才会要求语言模型编写解释。随后，模型会被指示根据预先确定的结果来叙述一段第一人称的故事。如果系统判定学生是因为忘记了单位换算而失败，模型就会写一段关于这种困惑的故事；如果系统判定学生成功了，模型则会写一段自信的解释。

这种新方法的实验结果与传统方法完全相反。在使用新系统时，模拟学生的准确率呈现出平滑且逻辑清晰的梯度下降。 “接近专家”的学生答对约 85% 的题目，而“挣扎中”的学生仅答对约 44%。至关重要的是，这些错误并非随机产生的。当研究人员为一名“擅长早期代数但对高级主题较弱”的学生创建画像时，模拟显示他们在需要高级知识的问题上确实出现了失败。同样，对于一个基础知识有漏洞的学生，模拟显示他们在基础问题上失败了。该系统甚至可以将每一个错题追溯到学生遗漏的那个极其微小的知识点，提供了在真实课堂数据中难以获得的诊断细节。

研究人员还测试了该系统的不同层级，以观察哪些部分最为关键。他们发现，仅仅告诉计算机忘记某些事实是不够的；系统需要理解某些事实比其他事实更为关键。例如，忘记一个词汇定义不一定会导致学生在整个题目上失败，但错过一个操作步骤则可能如此。通过为这些不同类型的知识赋予权重，模拟变得更加真实。他们还发现，该系统可以生成符合常见学生错误特征的具体错误答案，而不是仅仅随机选择一个错误选项。这使得模拟不仅能产生一个分数，还能生成一张关于学生思维运作方式的详细地图，展示其理解过程中的裂痕究竟在哪里。

这项工作表明，要真正模拟人类学习，我们不能依赖人工智能去猜测学生是如何思考的。相反，我们必须建立一个框架，明确地对知识结构和人类错误的随机性进行建模。通过将模拟植根于课程地图，并让随机性来决定每一步的结果，研究人员创造了一个能够生成大量现实且具有诊断意义的数据的工具。这可以帮助教育工作者和开发者测试新的教学方法并构建更好的辅导系统，确保这些系统在进入充满变数且不可预测的人类课堂之前，已经做好了应对现实挑战的准备。

技术摘要：随机学生知识图谱 (SSKG) 用于忠实的大语言模型学生模拟

1. 问题陈述

本文针对使用大语言模型（LLM）来模拟学生响应以进行教育数据生成和系统压力测试时存在的关键局限性进行了研究。虽然 LLM 在解决课程问题和生成自然语言解释方面表现出色，但它们表现出一种“能力偏差”（competency bias）。当被提示模拟一个低掌握度（例如“学习困难的学生”）的学生时，LLM 往往会默认其自身的高水平能力，导致无论预设的熟练程度如何，准确率都接近完美。

作者通过 379 道经过 College Board 校准的 SAT 代数题目和五种典型的掌握度剖面（从接近专家到严重存在知识漏洞）证明了这一失败。三种不同的 LLM（Gemini 3.1 Flash Lite、Claude Haiku 4.5 和 GPT-5.4-mini）在所有剖面中均实现了 96.8–100% 的准确率，包括那些明确标记为“学习困难”的剖面。因此，基于提示（prompt-based）的方法无法产生单调的掌握度梯度或特定技能的错误模式，使得它们在需要区分掌握度水平的忠实合成数据生成方面失效。

2. 方法论：基于 SSKG 的模拟

为了克服提示级控制的局限性，作者提出了一种基于**随机学生知识图谱（SSKG）**的方法。该方法将“学生是否回答正确”的决策与“如何解释答案”的生成解耦。

核心组件

课程知识图谱 (CKG)： 从一本开源代数教科书中提取的图结构，由 864 个细粒度的三元组（主语、谓词、宾语）组成。这些三元组分为三类：
- 定义类 (Definitional)： 词汇和概念（例如，“变量是字母”）。
- 程序类 (Procedural)： 可执行的步骤（例如，“乘以单位分数”）。
- 关系类 (Relational)： 方法选择的事实（例如，“使用恒等性质”）。
三元组链 (Triple Chain)： 对于每个评估题目，都会识别出一条通向正确解法所需的必要三元组链。
干扰项映射 (Distractor Map)： 一种将三元组链中的特定失败与特定的错误选项（干扰项）联系起来的映射。这使得系统不仅能预测学生会失败，还能根据其缺失的具体步骤预测他们会选择哪个错误答案。
随机学生知识图谱 (SSKG)： 学生剖面被表示为一个分配给 CKG 中每个三元组的掌握概率向量 ( $p \in [0, 1]$ )。

两阶段模拟过程

模拟分为两个截然不同的阶段运行：

第一阶段（分析决策）： 给定学生剖面（SSKG）和题目的三元组链，系统在调用 LLM 之前进行显式的随机采样，以确定结果。
- 它模拟了检索（学生是否知道该三元组？）和执行（学生是否出现了失误/错误？）。
- 它应用了一个合取规则（基于 DINA 模型）：如果任何必要的程序类或关系类三元组失败，则该题被判定为错误。定义类失败不会自动导致题目失败，但会被记录用于叙述。
- 如果题目错误，系统使用干扰项映射来选择与失败三元组相对应的特定错误选项。
第二阶段（叙述）： 在确定了结果和具体的失败点之后，才会调用 LL la LLM。LLM 的任务是生成与预定结果及特定错误类型（检索错误 vs. 执行错误）一致的第一人称理由。

消融实验（四个分支）

作者通过一项累积消融研究来归因于特定机制带来的增益：

分支-a： 单次抽取采样器（每个三元组进行伯努利试验）。
分支-b： 增加了检索/执行的分解（将知识可用性与粗心失误分离）。
分支-c： 增加了分类条件权重（定义类失败不会导致题目失败）。
分支-d： 增加了干扰项路由（根据失败的步骤选择特定的错误答案，而非均匀随机选择）。

3. 主要贡献

人工引导的 CKG 提取： 一种从教科书来源提取并构建课程知识图谱的方法，并通过人工验证确保其准确性。
1. 基于 SSKG 的模拟方法： 一个新颖的框架，将学生剖面表示为知识图谱上的随机向量，从而实现具有单调准确度和技能特定错误模式的分层掌握度模拟。
理论与实践实现： 对模拟问题进行了形式化定义，包括对 CKG、三元组链、干扰项映射和 SSKG 的定义，并提供了可运行的实现。
累积消融研究： 通过四个分支的研究，隔离了特定机制（检索/执行、分类意识和干扰项路由）对模拟忠实度的贡献。

4. 实验结果

评估在 379 道 SAT 代数题目上针对五种学生剖面使用三种 LLM 进行。

单调性 (Q1)：
- 方法 1（直接提示）： 准确率在所有剖面中保持平稳（96.8–100%），未能区分专家和学习困难的学生。
- 方法 2 (SSKG)： 准确率显示出清晰的单调梯度。对于表现最好的分支（分支-d），准确率从 85.2%（接近专家）降至 44.1%（学习困难），成功恢复了掌握度梯度。
技能特异性 (Q2)：
- 具有结构化知识缺口的剖面（例如，在早期章节较弱但在后期章节较强）会在需要其薄弱区域知识的题目上表现出特定的失败。直接提示法没有表现出这种局部性（到处都是 100% 准确率）。
可诊断性 (Q3)：
- 在分支-d 下，每个错误答案都可以追溯到特定的低掌握度三元组。研究发现，三元组掌握度与需要该三元组的题目错误率之间存在强负相关性 ( $\rho = -0.459}$ )。
- 生成的理由能够忠实地反映特定的错误类型（例如，单位换算错误），而非泛泛的算术错误。
归因 (Q4)：
- 检索/执行 (分支-a $\to$ b)： 该机制主要降低了高掌握度剖面的准确率（通过引入现实的“失误”即执行错误，使 P1 准确率下降了 9.5%，对其他剖面最多下降 2.1%）。低掌握度剖面受此步骤影响不大，因为它们本身主要由于检索错误而失败，而失误率并不影响这一点。
- 分类意识 (分支-b $\to$ c)： 产生了最大的增益（使较低剖面的准确率提高了 14–19.5%），通过防止定义类缺口自动导致题目失败。
- 干扰项路由 (分支-c $\to$ d)： 没有改变整体准确率，但通过选择特定的干扰项，显著提高了错误答案的真实感和诊断价值。

5. 重要性与主张

本文主张，架构控制（通过 SSKG）优于提示级控制，对于实现忠实的学生模拟至关重要。通过将掌握度模型从 LLM 提示词移出，并将其放入随机的、基于课程的架构中，该方法：

恢复了被提示法所塌陷的单调掌握度梯度。
产生了与学生知识缺口相一致的技能特定错误模式。
生成的合成数据自带内置的诊断标签（失败类型和具体的知识缺口），这在真实的课堂数据中通常是难以获取的。
通过仅将 LLM 用于叙述，降低了计算成本，从而允许生成大规模且完全可复现的响应语料库。

作者得出结论，虽然该方法成功模拟了学生错误的结构和掌握度梯度，但未来仍需通过真实的学生表现数据来验证模拟的准确性，并将其与文献中的其他架构方法进行直接对比。