🤖 AI

Towards Sustainable Learning in Online Education: A Reinforcement Learning Approach

本文介绍了 AI-Tutor，这是一种基于强化学习的模型，通过优化短期知识获取与长期学习者参与度，在对 2300 万条学习记录的实证评估中展现出优于现有最先进基准模型的性能，从而在个性化在线教育领域实现突破。

原作者： Chaofan Zhai, Yicheng Song, Ravi Bapna, Junyao Ye

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Chaofan Zhai, Yicheng Song, Ravi Bapna, Junyao Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人学习一门新语言，但这个机器人的注意力非常短暂，而且记忆力极差。这正是数百万使用在线教育 App 的人们每天面临的现实。虽然互联网让学习变得触手可及，让任何人都能在任何地方学习，但它往往感觉像是一条单行道：学生们起初表现强劲，但很快就会感到厌倦、不知所措，或者干脆把一周前学到的东西忘得一干二净。人工智能与教育领域的科学家们正试图解开这个谜题。他们正在构建“AI 导师”，这些导师不仅仅是向你倾倒信息，而是扮演着一名聪明教练的角色。为了实现这一目标，他们依赖于两个核心理念：强化学习（Reinforcement Learning）——这就像通过奖励好行为和忽略坏行为来训练狗狗，从而让它学会寻找最佳路径；以及认知理论（Cognitive Theory）——即研究人类大脑实际运作方式的学科，包括我们为何会快速遗忘，除非我们在恰当的时机进行复习。现在的大问题是：我们如何构建一个既知道何时推动你学习新知识，又知道何时让你复习旧知识，同时还能防止你中途放弃课程的 AI？

本文介绍了一种全新的、超级智能的 AI 导师——AI-Tutor，它专为让学习者长期坚持学习而设计。研究人员通过一个名为 MaiMemo 的大规模语言学习平台，在 33,700 名学习者和 2,300 万条学习记录上对该系统进行了测试。他们发现，这款 AI 导师在两方面显著优于现有方法：一是保持学生的参与度，让他们完成课程；二是在长期记忆方面帮助他们记住所学内容。

以下是通过几个有趣的类比来解释 AI-Tutor 的工作原理：

地图与指南针（知识图谱）
将你正在学习的主题（比如英语词汇）想象成一座巨大的、错综复杂的城市。有些街道是单行道，有些建筑又是其他建筑的前置条件（如果你不懂基础词汇，就无法理解复杂的句子）。AI-Tutor 构建了一个“知识图谱”，它就像这张城市的完美、神奇的地图。AI 不会随机向学生投喂单词，而是利用这张地图精准观察学生当前所处的位置。它只会建议下一个紧邻学生当前位置的“建筑”（单词或概念），确保学生不会被抛入一个他们暂时无法到达的区域。这防止了学生感到迷茫或压力过大。

聪明教练 vs. 教官（平衡目标）
大多数传统的学习 App 表现得像个教官：“做这个，然后做那个，再做那个！”它们只关注如何以最快速度带你冲向终点。但 AI-Tutor 更像是一位睿智且富有同理心的教练。它有两个主要目标：

成长：学习新事物。
留存：确保你不会忘记已掌握的知识。

论文指出，如果只追求成长，学生会感到精疲力竭并选择放弃；如果只进行复习，学生则会感到无聊。AI-Tutor 使用一种特殊的“奖励机制”（类似于电子游戏的得分系统）来平衡这两者。它不仅在教授新单词时给予 AI “积分”，在复习旧单词以强化记忆时也会给予积分。它甚至利用了“遗忘曲线”（该理论认为我们的记忆会随着时间的推移自然流失，就像正在融化的冰淇淋一样）来决定在记忆完全“融化”之前，究竟何时应该再次引入某个旧单词。

“他们会留下吗？”水晶球（参与度建模）
这是本论文最大的创新点。传统的 AI 导师假设只要给学生提供优质的课程，他们就会一直坚持下去。但在现实生活中，学生会感到疲劳、分心或挫败，从而选择退出。AI-Tutor 与众不同，因为它拥有一个“水晶球”（一个名为 LearnSim 的模拟器），可以在做出推荐之前预测学生是否可能放弃。

如果 AI 发现学生正处于挫败感或厌倦感中，它不会强行推进。相反，它可能会建议一个较简单的任务或一次快速复习，以提升他们的信心。它将学生继续学习的意愿视为数学计算中至关重要的一部分。研究人员发现，通过显式地对这种“退出风险”进行建模，AI-Tutor 学会了更加耐心且更具人性化的处理方式。

结果：稳扎稳打，方能致远
当研究人员将这款 AI-Tutor 与其他顶尖方法（包括行业标准工具和其他 AI 模型）进行对比测试时，结果非常明确：

完成率：AI-Tutor 帮助 31.1% 的学生完成了为期 28 天的课程。这听起来可能并不像 100% 那么高，但相比之下，排名第二的模型仅有 11.2% 的学生完成课程，这是一个巨大的飞跃。AI-Tutor 将完成率提高了 177.7%。
最终成绩：使用 AI-Tutor 的学生在涵盖所有单词的最终测试中取得了 55.9% 的成绩，而排名第二的模型仅为 22.4%。这实现了 149.6% 的提升。
策略分析：分析显示，AI-Tutor 并没有急于赶进度。它从较简单的单词开始以建立信心，随后缓慢增加难度，并不断穿插复习。相比之下，“激进型”模型试图过快地教授过多新单词，导致学生过早退出。

论文表明，这种方法之所以奏效，是因为它尊重人类大脑的真实学习规律。它不仅仅是为了通过快速完成课程来“赢取胜利”，更是通过让学生保持愉悦和参与感，从而真正记住所学内容来“赢得比赛”。研究人员指出，尽管其结果是基于模拟和语言 App 的数据，但其逻辑可以应用于任何需要学习技能序列并进行长期记忆的学科。他们尚未证明这适用于“所有领域”，但他们展示了在这一特定、海量的数据集上，该方法表现得极其出色，为在线学习的未来提供了一个充满希望的蓝图。

技术摘要：迈向在线教育的可持续学习：一种强化学习方法

1. 问题陈述

在线教育面临着一个根本性的矛盾：虽然它提供了前所未有的可扩展性，但在学习者参与度低、辍学率高以及长期知识留存效果差方面表现挣扎。现有的方法通常分为两类，且各具局限性：

预测模型： 这些模型通常侧重于短期目标，例如最大化下一次学习模块成功的概率，但未能优化长期参与度或持久的知识留存。
强化学习 (RL) 模型： 虽然这些模型将重心转向长期回报，但它们通常假设学习者会持续遵循建议（忽略了辍学风险），并优先考虑知识扩张而非系统性复习，从而忽视了获取新概念与强化既有知识之间的权衡。

作者认为需要一种能够共同优化持续参与度（防止辍学）和长期有效性（确保知识留存）的系统，以解决推动学习者前进与允许必要复习之间的内在权衡。

2. 方法论：AI-Tutor 框架

本文提出了 AI-Tutor，这是一个基于基于模型的强化学习 (Model-Based RL) 框架的个性化学习路径推荐系统。该系统旨在通过三个核心技术组件实现可持续学习的双重目标：

A. 知识图谱 (KG) 表示

为了处理知识的结构依赖性，作者构建了一个有向知识图谱 $G=(V, E)$ ，其中节点代表知识项，边代表关系。

边类型： 图集成了课程驱动边（专家定义的先修关系）和经验驱动边（通过关联规则挖掘从历史数据中推断出的潜在支持关系）。
状态编码： 图神经网络（具体为 Deep Graph Infomax）学习知识项个体及其学习者当前知识状态（表示为已学知识项的子图）的嵌入。
动作空间掩码： RL 智能体的动作空间被限制在与学习者当前知识子图相邻的节点上。这确保了推荐符合教学法要求（遵循建构主义学习理论）并保证了计算效率。

B. 学习器模拟器 (LearnSim)

为了避免直接在真实用户身上训练 RL 智能体所带来的数据效率低下和安全风险，作者使用 基于模型的 RL 方法，利用 学习器模拟器 (LearnSim) 进行训练。

架构： LearnSim 利用 Transformer 架构来处理学习者的历史轨迹。
多任务预测： 它同时预测 RL 训练循环中的三个关键量：
1. 参与概率 ( $p_{t}^{eng}$ )： 学习者在当前交互后继续坚持学习的可能性。
2. 回忆概率 ( $p_{t}^{rec}$ )： 学习者在交互前能够回忆起该知识项的可能性。
3. 半衰期强度 ( $h_{post}(t)$ )： 交互后更新的记忆强度，用于模拟遗忘曲线。
训练： LearnSim 使用历史数据进行训练，针对参与度和回忆使用二元交叉熵损失，并针对基于未来回忆情况的半衰期估计使用专门的损失函数。

C. 基于认知理论的 RL 策略优化

AI-Tutor 智能体使用 Actor-Critic 框架，并对标准的贝尔曼方程进行了特定修改，以解决已识别的差距：

奖励函数设计： 即时奖励 $r_t$ 是基于认知理论的两个组成部分的加权和：
- 知识获取增益 ( $r_{t}^{acq}$ )： 基于回忆概率的提升（1 - 预测的交互前回忆率）。
- 知识留存增益 ( $r_{t}^{ret}$ )： 基于半衰期记忆强度的增加 ( $h_{post} - h_{pre}$ )，该值源自遗忘曲线理论。
- 公式： $r_t = r_{t}^{acq} + \beta r_{t}^{ret}$ 。
具备参与度感知的价值估计： 作者修订了经典的 Q 函数，以应对学习者辍学的随机性。他们没有使用固定的折扣因子 $\gamma$ ，而是引入了动态参与概率 $p_{t}^{eng}$ ：
- 修正后的贝尔曼方程： $Q^\pi(s_t, a_t) = r_t + p_{t}^{eng} \mathbb{E}[Q^\pi(s_{t+1}, a_{t+1})]$ 。
- 这迫使智能体在潜在的未来回报与学习者脱离学习的风险之间进行权衡，有效地充当了学习路径的“风险管理者”。

3. 主要贡献

本文声称有两个主要贡献：

一种用于可持续学习的新型 RL 框架： 与以往的工作不同，该框架显式地平衡了知识扩张与留存，并将行为参与度纳入长期回报估计中。它解决了学术进展与学习者动机之间的权衡问题。
理论驱动的模型设计： 该方法是首批将领域理论（用于动作掩码的建构主义学习理论；用于奖励公式化的遗忘曲线和记忆强度理论）直接嵌入到 RL 模型构建中，而非将其作为事后启发式方法的做法之一。

4. 实验结果

该模型在来自 MaiMemo 语言学习平台（针对研究生入学考试的英语词汇）的 2360 万条学习记录 和 33,700 名学习者 的数据集上进行了评估。

基准模型： AI-Tutor 与以下模型进行了对比：
- Myopic Greedy（近视贪婪）： 优先考虑即时难度。
- FSRSv1/v2： 行业标准的间隔复习系统（分别使用 HLR 和 LearnSim）。
- DRL-SRS： 用于间隔复习的深度 Q 学习方法。
- 消融变体： 不含参与度建模（v1）、不含 KG 掩码（v2）以及不含留存奖励（v3）的 AI-Tutor。
性能指标：
- 课程完成率： AI-Tutor 达到了 31.1% 的完成率，显著优于 DRL-SRS (11.2%) 以及所有其他消融基准模型。这比表现最好的非消融基准模型提高了 177.7%。
- 期末考试成绩： AI-Tutor 达到了 55.9%，比 DRL-SRS (22.4%) 提升了 149.6%。
- 学习器模拟器： LearnSim 在参与度预测（平衡准确度提升 >35%）和记忆预测任务方面均优于标准基准模型（逻辑回归、随机森林、梯度提升）。
消融研究洞察：
- 移除参与度建模（AI-Tutorv1）导致性能下降最显著，证实了模拟辍学风险的必要性。
- 移除基于 KG 的动作掩码（AI-Tutorv2）导致了较高的辍学率且没有带来学习收益。
- 移除留存奖励（AI-Tutorv3）导致期末考试分数较低，凸显了系统性复习的重要性。

5. 重要性与主张

论文得出结论，AI-Tutor 成功推进了在线教育的可持续学习双重目标：有效的长期知识留存和持续的学习者参与度。

以人为本的适应性： 学习路径分析表明，AI-Tutor 能动态适应学习者画像（例如，为低表现者分配较低难度和更多复习），并在挑战与动力之间取得平衡，防止了激进贪婪策略导致的“过载”。
泛化性： 作者声称该框架可以推广到语言学习之外的其他领域。他们认为，任何具有结构化知识图谱、周期性复习循环和期末评估的学科都可以通过训练特定领域的 LearnSim 和 AI-Tutor 来利用该框架。
理论一致性： 研究表明，将认知心理学理论（遗忘曲线、建构主义）直接整合到 RL 奖励结构和状态表示中，比纯粹的数据驱动或基于规则的方法能产生更优的实际效果。