💻 computer science

Automated Recommendation of Programming Learning Content Using Pattern-based Knowledge Components

本文提出并评估了一种通过从代码样本中提取基于模式的知识组件来识别概念相似活动的方法，从而实现编程学习资源的自动推荐，并证明了该方法在与专家组织的教学单元对齐方面优于现有的基准方法。

原作者： Muntasir Hoq, Griffin Pitts, Zhangqi Duan, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Andrew Lan, Peter Brusilovsky, Bita Akram

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muntasir Hoq, Griffin Pitts, Zhangqi Duan, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Andrew Lan, Peter Brusilovsky, Bita Akram

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试学习烹饪。你拥有一个庞大的食谱库，但它们全都乱七八糟地堆在一起。你想找一个和你目前正在苦苦钻研的食谱相似的，但不仅仅是因为它们使用了相同的食材（比如“盐”或“面粉”）。你想要一个使用相同“技法”的食谱（比如“嫩煎”或“将蛋白打发并拌入”）。

这篇论文介绍了一个构建智能系统的过程，该系统就像一位大师级厨师，能够为学习编程的学生自动寻找那些完美匹配的烹饪课程。

问题所在：食谱太多，人工工作量太大

在编程课程中，学生通过观察一个已解决的示例（即“已完成的示例”）并尝试解决一个类似的题目来学习效果最好。老师们通常会亲手挑选这些配对。他们观察学生的题目并说：“啊，这是一个关于循环的问题，所以我们要给他们展示这个关于循环的具体示例。”

但随着编程题库的不断增长，手动将每一个问题与其完美的匹配项进行关联变得不再可能。这就像是试图手工整理一个拥有百万册书籍的图书馆。早期的计算机尝试过于肤浅；它们只是寻找代码中出现的单词（比如在两个代码中都寻找“loop/循环”这个词）。但两个代码即使都包含“loop”这个词，也可能是在解决完全不同的问题；或者它们可以用完全不同的单词来解决同一个问题。

解决方案：寻找“秘密模式”

作者创建了一个系统，它不仅仅是阅读代码中的单词，还会观察代码的结构，就像侦探观察建筑的蓝图，而不是仅仅看它的油漆颜色。

他们将这些结构蓝图称为**“知识组件”（Knowledge Components, KCs）**。把 KC 想象成舞蹈动作中一个特定的、可重复使用的“招式”。

旧方法： “这个舞蹈有一个旋转动作。”（太笼统）。
新方法： “这个舞蹈有一个‘旋转紧接着跳跃’的模式。”（具体且有意义）。

系统将每一段学生代码分解为这些“招式”（模式）。然后，它根据这些代码是否共享相同的复杂“招式”将代码分组，而不论使用了什么变量名或具体的数字。

它是如何运作的（食谱步骤）

解构代码： 系统获取一段代码，并将其转化为一棵树状图（抽象语法树，Abstract Syntax Tree）。
寻找招式： 它扫描这棵树以寻找最重要的“子程序”或模式。它忽略掉琐碎的内容（如变量名），专注于逻辑（如“检查一个数字是否为偶数”）。
创建档案： 每段代码都会获得一个“档案卡”（向量），列出它所包含的各种模式。
匹配： 当学生在某个问题上遇到困难时，系统会查看其档案卡，并找到拥有最多匹配模式的其他卡片。这就像是在说：“你正在尝试做一个‘旋转-跳跃’，所以这里有一个关于如何做‘旋转-跳跃’的教程。”

结果：它奏效了吗？

团队在一个 Python 编程练习集上进行了测试，这些练习已经由专家教师组织成了“题组”（即相关的题目组）。

测试方法： 他们询问计算机：“这里有一个问题。你能找到匹配的示例吗？”
胜出者： 他们的这种“基于模式”的新系统在寻找正确匹配方面表现最佳。它击败了其他仅观察代码结构或使用大型 AI 模型来猜测概念的方法。
得分： 它在 89% 到 90% 的情况下，能将专家选择的匹配项排在前 5 个建议之中。

“为什么”（可解释性）

该系统最酷的特性之一是它不仅给出答案，还会解释为什么。
想象一下，系统高亮显示了使两个问题相匹配的具体代码行。

对于学生： 它会说：“我推荐这个是因为你们都使用了特定的‘if-else’逻辑来检查一个数字是正数还是负数。”这有助于他们看到底层的逻辑，而不仅仅是表面细节。
对于老师： 它充当了一个审计追踪。老师可以查看推荐结果，并看到计算机使用了哪种具体的“招式”来建立这种联系，从而确保系统没有犯下奇怪的错误。

核心结论

这篇论文介绍了一个有助于自动组织和推荐编程课程的工具。它不再依赖于老师手动链接成千上万个题目，也不再使用仅仅匹配关键词的计算机，而是理解代码的结构模式。它成功地将相似的学习活动分组在一起，其表现优于其他自动化方法，并且可以通过指向代码中的特定逻辑来解释其选择。这使得扩大编程教育规模变得更加容易，让学生在无需人类为每一个链接进行人工策划的情况下，能够在正确的时间获得正确的练习。

技术摘要：基于模式的知识组件自动化推荐编程学习内容

问题陈述

编程入门教学高度依赖于动手实践和短小的学习活动，例如“已完成示例”（带有解释的正确解法）和面向练习的任务（如代码补全或重排）。尽管资源丰富，但由于缺乏专家精细化的人工标注，将这些资源组织成具有教学意义的逻辑链接具有挑战性。传统的人工链接方式无法规模化，而早期依赖表面信号（关键词、n-gram）的自动化方法往往无法区分那些在词法上相似但概念上不同，或者在概念上相似但语法上不同的代码。此外，现有的基于知识的方法（如基于本体的链接）通常需要大量的手工构建领域模型和专家标注。因此，需要一种可扩展的自动化方法，能够基于其针对的底层编程概念和模式来识别并链接学习资源，而不依赖繁重的人工策展。

方法论

作者提出了一种基于**基于模式的知识组件（Pattern-based Knowledge Components, KCs）**的推荐框架。这些 KCs 被定义为从程序抽象语法树（AST）中提取的具有重复性的、具有语义意义的结构模式。该方法通过四个主要阶段进行：

基于模式的 KC 发现：
- 子树提取： 程序被转换为 AST。一种改进的基于子树的注意力神经网络（SANN）为子树分配注意力权重，以识别代表主题相关逻辑的结构片段。
- 归一化： 通过匿名化标识符和字面量值，以及对语法替代方案（如交换律运算符）进行规范化处理，从而实现对选定子树的抽象，确保捕捉的是概念相似性而非词法相似性。
- 上下文感知编码： 归一化后的子树使用带有 LSTM 的 $\beta$ -变分自编码器（ $\beta$ -VAE）进行编码。这捕捉了模式在完整程序中的共现情况，学习一个使结构和语义相似的模式在潜在空间中彼此接近的潜在空间。
- 聚类： 保留的子树使用 K-means 进行聚类，以形成最终的基于模式的 KC 集。
知识向量构建：
- 每个学习活动（代码样本）被映射为一个二进制发生向量，指示特定 KC 的存在情况。
- 应用逆文档频率（IDF）加权方案，以强调具有辨别力的模式并降低普遍模式的权重。
- 生成的向量经过 L2 归一化，以方便进行余弦相似度计算。
推荐引擎：
- 给定一个目标项（挑战或已完成示例），候选项根据其知识向量的余弦相似度进行排序。
- 系统检索的是实例化了相似底层程序模式的项，而非仅仅是词法或语法相似的项。
可解释性：
- 该框架将贡献度最高的 KC 投影回源代码。通过将与某一 KC 相关的具有高注意力的子树追踪到其特定的代码跨度，系统可以提供推荐产生原因的行级依据。

核心贡献

本文提出了三个主要贡献：

一种基于 KC 的推荐方法： 一种利用基于模式的 KC 知识向量来推导编程活动之间相似性的方法，实现了在已完成示例和练习活动之间的针对性检索。
一种可解释的基于模式的 KC 模型： 一个直接从代码中发现并识别编程模式的模型，允许生成用于推荐的行级解释。
全面的评估： 通过评估展示了不同的 KC 模型如何提高推荐准确性和与专家定义的捆绑组（bundles）的一致性，并将所提方法与各种基准模型进行了对比。

实验结果

该方法在来自 PCEX 系统的 Python 数据集上进行了评估，该数据集包含 123 个程序，由专家组织为 49 个捆绑组（针对相同构造的挑战和示例组）。评估将专家定义的捆绑组成员身份视为地面真值（ground truth）。

与专家组织的对齐度： 紧密度分析显示，同一专家定义捆绑组内的项目形成了显著更紧密的聚类（平均余弦距离 0.51），而仅共享主题的项目（0.81）则不然，这表明该表示法捕捉到了细粒度的教学相似性。
无监督聚类： 对知识向量进行层次聚类，恢复了专家定义的捆绑组结构，其调整兰德指数（ARI）为 0.605，V-measure 为 0.933，这表明潜在空间在没有人工标签的情况下，自然地按概念相似性组织项目。
检索性能： 基于模式的 KC 方法优于多种基准模型，包括 code2vec、SANN 嵌入、基于本体的 KC 以及 LLM 生成的 KC（KCGen-KT 和 LLM-KCI）。
- 已完成示例检索： Top-5 准确率达到 0.89，MRR 为 0.81，mAP 为 0.82。
- 挑战检索： Top-5 准确率达到 0.90，MRR 为 0.80，mAP 为 0.79。
- 该方法始终优于 code2vec、基于本体的方法和 SANN 嵌入。消融研究证实，IDF 加权显著提高了性能（例如，已完成示例检索的 mAP 提升了 10%）。
可解释性： 系统成功地高亮显示了负责匹配的具体代码区域（例如，条件结构、取模谓词），为推荐提供了透明的依据，供学生和教师参考。

意义与主张

本文声称该框架为组织编程学习内容提供了一种可扩展的人工策理解替代方案。通过将推荐与基于模式的 KC 对齐，该系统支持：

针对性指导： 提供与学习者所需练习的具体技能相匹配的上下文相关资源。
减轻专家负担： 自动发现教学逻辑链接，无需大量手工构建的本体或人工捆绑。
透明度： 提供行级解释，允许教师审计推荐结果，并帮助学生专注于特定的结构模式。

作者将这项工作定位为弥合大规模编程材料库与个性化、面向概念的支持之间的鸿沟的一步。他们指出，虽然目前的数据集较小，但该方法恢复专家定义结构的能力表明其在更大规模、无标签仓库中的泛化潜力。该方法被呈现为一种支持大规模组织、捆绑和推荐教学内容的方式，补充了先前关于将相关学习活动进行捆绑在教学价值上的研究。