🤖 AI

KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing

本文提出了KT4EQG，这是一个个性化教育问题生成框架，它通过知识追踪为每位学生选择最优知识概念，并利用大语言模型生成定制化练习题，从而在XES3G5M和MOOCRadar数据集上证明可最大化学习提升。

原作者： Xinyi Gao, Qiucheng Wu, Lu Ding, Q. Vera Liao, Kaizhi Qian, Ying Xu, Shiyu Chang, Yang Zhang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyi Gao, Qiucheng Wu, Lu Ding, Q. Vera Liao, Kaizhi Qian, Ying Xu, Shiyu Chang, Yang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名名为亚历克斯的学生的私人导师。你想给亚历克斯布置一道完美的作业题，以帮助他们学习。

如果你给亚历克斯一道太简单的问题，他们会感到无聊；如果太难，他们会感到沮丧；如果你给他们一道关于他们已经完全掌握的主题的问题，他们就是在浪费时间。本文的目标是构建一个计算机系统，它像一个超级聪明的导师，能够在恰当时机为每位学生自动生成恰好合适的问题。

以下是作者高欣怡及其团队构建这个名为KT4EQG的系统的方法，使用了简单的类比：

1. 问题：“一刀切”的陷阱

大多数生成问题的计算机系统就像一台只向所有人出售同三种零食的自动售货机。它们或许能让零食看起来更精致（语法良好）或稍微调整难度，但它们并不真正了解学生到底缺什么。它们不知道学生是在“分数”上遇到困难，还是仅仅需要练习“乘法”。

2. 解决方案：两步辅导法

作者们意识到，要成为一名优秀的导师，你需要按顺序做两件事：

诊断：确切找出学生接下来需要学习什么。
处方：创建一个针对该确切需求的具体作业题。

他们结合了两项现有技术来实现这一点：知识追踪（KT）和大型语言模型（LLM）。

步骤 A：“健康追踪器”（知识追踪）

将知识追踪想象成学生大脑的复杂健康追踪器。它追踪的不是心率，而是“知识概念”（如“分数加法”或“理解动词”）。

工作原理：随着学生回答问题，追踪器会更新一张关于他们知道什么和不知道什么的地图。
神奇之举：系统查看这张地图并问道：“如果学生现在练习这个特定概念，他们的整体知识会增长多少？”
结果：它选出唯一最佳的概念来练习。假设它决定学生需要练习“寻找方程中的缺失数字”。

步骤 B：“创意作家”（问题生成器）

一旦系统知道教什么，它就需要编写一个关于该主题的问题。这就是**大型语言模型（LLM）**发挥作用的地方。将 LLM 想象成一位能创作无限故事和数学题的创意作家。

挑战：如果你只是告诉作家“写一道数学题”，他们可能会写关于苹果的问题，而你实际上需要的是关于自行车的问题。作家可能会搞错主题。
修正：作者们用一位特殊的“编辑”（称为验证器）训练了这位作家。
- 作家根据健康追踪器选定的概念生成一个问题。
- 编辑检查：“这个问题实际上是在测试‘缺失数字’的概念，还是仅仅是一个随机的数学题？”
- 如果问题与概念不匹配，编辑会给作家一个“大拇指向下”（低分），作家会重试直到做对为止。

3. 训练过程：在实践中学习

该系统并非一开始就完美无缺。它经历了两个训练阶段，就像一名学生运动员：

练习训练（监督微调）：向作家展示成千上万个优质问题及其对应正确概念的示例，以学习基础知识。
教练的反馈（强化学习）：作家开始生成新问题。“编辑”（验证器）对其进行评分。如果作家生成了一个完美匹配概念的问题，它就会获得奖励；如果偏离主题，它就会受到惩罚。随着时间的推移，作家学会了生成不仅具有创意而且精准针对目标的问题。

4. 结果：它有效吗？

团队在两个大型学生数据集（类似于过去作业和考试成绩的庞大图书馆）上测试了这个系统。

竞争：他们将他们的系统与其他 AI 模型进行了比较，这些模型只是生成问题而不检查学生的具体需求，或者随机选择主题。
获胜者：KT4EQG 持续生成最能帮助学生提高分数的题目。
“神谕”测试：他们甚至测试了如果给其他系统完美的概念去写（就像给作家一个特定的提示）会发生什么。即使在这种情况下，KT4EQG 的作家也更擅长确保问题实际上与该提示相匹配。这证明 KT4EQG 既擅长选择正确的主题，也擅长编写正确的问题。

总结类比

想象你在定制一套西装。

旧方法就像一位裁缝，只是根据通用的尺码表（简单、中等、困难）裁剪布料，而没有测量人体。
KT4EQG则像一位裁缝，首先使用 3D 扫描仪精确查看哪里肩膀紧绷、哪里腰部宽松（知识追踪）。然后，裁缝根据这些测量值专门裁剪布料（问题生成）。最后，一名质检员检查接缝，确保这套西装确实适合为其制作的身体（对齐验证器）。

该论文得出结论，通过将“扫描仪”（知识追踪）与“裁缝”（AI 作家）相结合，我们可以创造出比当前方法更有效得多的个性化学习体验。

技术摘要：KT4EQG

问题陈述

教育问题生成（EQG）旨在合成定制化的练习题以增强学生学习。尽管现有的 EQG 方法在文本质量、格式和难度控制方面取得了进展，但它们大多缺乏细粒度的个性化。大多数当前系统未能有效建模学生的具体知识状态，以确定哪些问题能带来最大的学习收益。因此，生成的问题可能过于简单、过于困难，或者聚焦于学生已经掌握的内容。

本文解决的核心挑战是如何将知识追踪（KT）——一种基于历史表现建模学生不断演变的知识状态的方法——整合到 EQG 过程中。目标是从从固定题库中选择问题（如推荐系统那样）转变为生成新的、多样化的问题，这些问题专门针对学生当前的学习需求和知识缺口进行定制。

方法论：KT4EQG 框架

作者提出了KT4EQG，这是一个个性化的 EQG 框架，将生成任务分解为两个独立的优化步骤：选择最佳知识概念（KC）和生成与该概念对齐的问题。

1. 任务表述与目标

目标是生成一个问题 $x_{t^*}$ ，以最大化学生练习后的整体知识掌握度。作者将学习进度定义为所有知识概念 $C$ 的掌握概率之和。
$\max_{x_{t^*}} \sum_{c \in C} p(K_c = 1 | H, X_{t^*} = x_{t^*}, A_{t^*} = 1)$
其中 $H$ 是历史练习数据， $A_{t^*}=1$ 假设学生成功回答了新问题（将练习视为学习机会，而非一次性评估）。

2. 两步优化

作者将目标函数分解为两项：教育价值和对齐度。
$\max_{x_{t^*}, c_{t^*}} \left[ \underbrace{\sum_{c \in C} p(K_c = 1 | H, \psi(X_{t^*}) = c_{t^*}, A_{t^*} = 1)}_{\text{教育价值}} \cdot \underbrace{\mathbb{1}[\psi(x_{t^*}) = c_{t^*}]}_{\text{对齐度}} \right]$

步骤 1：最大化教育价值（概念选择）

机制：该框架使用**知识追踪器（KT2）**来估算练习每个候选 KC 的“教育价值”。该价值代表如果学生练习该特定概念，其整体知识掌握度潜在的改进幅度。
过程：对所有候选 KC 进行穷举搜索。基于隐马尔可夫树结构的 KT2 模型计算知识状态的后验分布。在所有概念上产生最高更新掌握概率之和的 KC 被选为目标概念 $c_{t^*}$ 。

步骤 2：最大化对齐度（问题生成）

一旦选定最佳 KC $c_{t^*}$ ，大型语言模型（LLM）生成器便负责生成一个问题 $x_{t^*}$ ，以忠实测试该概念。这是通过两阶段训练过程实现的：

监督微调（SFT）：在问题 - 概念对数据集上对文本 LLM（QWEN3-8B）进行微调，以学习从 KC 到问题的基本映射。
带有对齐奖励的强化学习（RL）：使用 RL 进一步优化模型。奖励信号由问题 - 概念验证器（ $g_\phi$ $g_{ϕ}$ ）提供。
- 验证器训练：验证器使用 InfoNCE 风格的对比目标进行训练，将问题和概念映射到共享嵌入空间，确保对齐的比对非对齐的更近。
- 奖励计算：对齐奖励 $R_{align}$ 基于生成问题与目标 KC 在嵌入空间中的相似度计算，并经过标准化以确保数值稳定性。

主要贡献

KT 与 EQG 的整合：本文提出了首个将知识追踪明确整合到 EQG生成循环中的框架，超越了简单的推荐或粗略的难度适应。
分解优化：作者提出了一种新颖的 EQG 目标分解方法，将其分为“教育价值”（由 KT 模型决定）和“问题 - 概念对齐度”（由学习到的验证器决定）。
训练流程：开发了一个两阶段训练流程（SFT + 带有对比对齐验证器的 RL），以确保生成的问题不仅流畅，而且在语义上扎根于所选的知识概念。
自适应策略：该框架自然产生一种自适应策略，其中选定的 KC 会根据学生当前的掌握水平发生转变（例如，为较弱的学生选择较简单的概念，为进阶学生选择更具挑战性的概念）。

实验结果

该框架在两个数据集上进行了评估：XES3G5M（专家标注的 KC 树）和MOOCRADAR（LLM 构建的 KC 树）。

性能：KT4EQG 在两个数据集的所有知识模块中均持续获得最高的考试成绩（在保留测试集上的平均预测正确率），优于基线方法，包括标准 LLM（QWEN3-8B）、专用数学生成器（ScaleQuest）和基于概念的条件提示合成方法（PromptCoT-2.0）。
与 Oracle 的比较：虽然为基线提供"Oracle"概念选择（由 KT2 选择的最佳可能 KC）显著提高了它们的性能，但 KT4EQG 仍然优于它们。这表明该框架的经过对齐训练的生成器即使在选择完美的概念时，也能为目标概念生成比标准生成器更高质量的问题。
可回答性：生成的问题保持了高可回答率（与基础 LLM 相当），表明针对教育价值的优化并未损害问题的可解性或质量。
消融研究：
- 移除 RL 对齐阶段导致对齐分数（ $R_{align}$ ）降低，证实了强化学习步骤的必要性。
- 对练习轮次的分析表明，具有有效概念选择的方法（如 KT4EQG）随着练习轮次增加显示出更大的累积学习收益，而具有随机或较差概念选择的方法则显示出收益递减。

意义与主张

本文主张，KT4EQG展示了将知识追踪与问题生成相结合以支持教育系统个性化的潜力。

教学效益：该系统生成的问题既与概念对齐，又有利于学生学习，解决了现有 EQG 系统未能建模个体知识状态的差距。
可扩展性：该框架被证明即使在没有人标注树结构的数据集上（使用 LLM 构建的树）也能有效工作，表明其具有广泛的适用性。
适度范围：作者将这项工作定位为迈向细粒度个性化的一步。他们承认，虽然该框架改进了问题选择和生成，但最终的成功衡量标准是学生的学习进度，这里通过知识追踪模型进行了模拟。这项工作并不声称要取代人类教师，而是提供一种生成高度针对性练习材料的工具。