Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks

该研究评估了 11 种通用及教育专用 AI 工具对数学任务认知需求的分类能力，发现其平均准确率仅为 63%，且普遍存在倾向于中间类别、过度依赖表面文本特征而忽视深层认知过程的系统性偏差，表明当前 AI 工具尚不足以直接替代教师进行此类专业判断。

要点

这篇论文就像是一次**“给 AI 老师做的数学体检”**。

想象一下，现在的老师们忙得脚不沾地，他们手里有一堆数学题，需要知道哪些题是“动动笔头就能算出来的”（低认知需求），哪些题是“需要动脑筋、甚至有点烧脑的”（高认知需求）。以前，这得靠经验丰富的老师一个个去分析。现在，大家想：“能不能让 AI 来帮这个忙？”

于是，研究人员找了11 个 AI 工具（包括大家熟悉的 ChatGPT、Claude，还有一些专门给教育用的 AI），让它们给12 道数学题打分，看看它们能不能准确判断这些题的“烧脑程度”。

结果怎么样？简单来说：AI 能猜对，但经常“和稀泥”，而且有时候会一本正经地胡说八道。

下面我用几个生动的比喻来拆解这篇论文的核心发现：

1. 总体表现：像个“及格生”，但离“优等生”还差得远

如果把完全随机瞎猜（25% 的准确率）比作蒙答案，那么这些 AI 的平均准确率是 63%。

• 比喻：这就像是一个刚毕业的大学生，做数学题分类时，大概能蒙对六成多。虽然比瞎蒙强，但如果老师完全依赖它来备课，那风险太大了，因为每 3 道题里就有 1 道会被分错。

2. 最大的毛病：喜欢“走中间路线”（中间倾向偏差）

这是论文里最有趣也最让人头疼的发现。

• 现象：数学题其实分四个等级：
  1. 死记硬背（比如背乘法表）
  2. 按部就班（比如套用公式，不需要理解原理）
  3. 理解应用（用公式解决实际问题，需要理解）
  4. 烧脑挑战（没有固定套路，需要自己探索）
• AI 的行为：不管题目是“死记硬背”还是“烧脑挑战”，AI 总是倾向于把它们归类为中间的两个等级（按部就班或理解应用）。
• 比喻：这就好比一个**“老好人”评委**。面对一个特别简单的题，它不敢说是“简单”，怕显得自己没水平；面对一个特别难的题，它也不敢说是“难”，怕显得自己太苛刻。于是，它把所有题都往“中等难度”上靠。
  • 结果：那些真正需要“死记硬背”的题，被它误判为“需要计算”；那些真正需要“烧脑”的题，也被它降级为“普通计算”。

3. 为什么 AI 会犯错？它是个“看表面”的选手

研究人员发现，AI 并不是在真正理解题目背后的思维过程，它更像是一个**“关键词搜索员”**。

• 现象：如果题目里出现了“算法”、“步骤”、“公式”这些词，AI 就立刻觉得：“哦，这肯定是按部就班的题。”哪怕这道题其实需要很深的思考。
• 比喻：这就像你让 AI 去判断一个人是“新手司机”还是“赛车手”。
  • 新手司机：手里紧紧握着方向盘，不敢踩油门。
  • 赛车手：在赛道上飞驰，但手里也握着方向盘。
  • AI 的判断：只要看到“手里握着方向盘”（表面文字特征），它就说是“新手司机”。它完全忽略了赛车手脚下踩油门的力度和速度（深层认知过程）。
  • 后果：AI 经常把那些需要深度思考的题，误判为只需要机械操作的题。

4. 专用工具 vs. 通用工具：并没有“亲儿子”优势

大家可能会想：“专门给老师用的 AI（比如 Khanmigo, Magic School）肯定比通用的 ChatGPT 更懂行吧？”

• 结果：并没有。 专门给教育用的 AI 和通用的 AI 在准确率上差不多，甚至有的通用 AI（如 DeepSeek）表现更好。
• 比喻：这就像问“专门给厨师用的手机”和“普通手机”谁拍照更好。结果发现，只要硬件（底层大模型）差不多，专门给厨师用的手机并没有因为加了几个“菜谱滤镜”就突然变得能拍出米其林级别的照片。

5. 最危险的陷阱：AI 会“一本正经地胡说八道”

这是论文里最让人警惕的一点。

• 现象：当 AI 分错类时，它给出的理由听起来非常专业、逻辑严密，甚至还会引用教育理论。
• 比喻：就像一个**“自信满满的假专家”**。如果你问它：“为什么这道题是中等难度？”它会给你列出一二三点，引用各种术语，让你觉得“哇，它分析得好透彻”。但实际上，它的核心判断是错的。
• 风险：对于新手老师来说，这种“看起来很有道理”的错误解释，比直接给个错误答案更可怕，因为它会误导老师，让他们以为自己的判断（或者 AI 的判断）是对的。

总结：AI 现在能做什么？不能做什么？

• ❌ 不能做什么：目前不能让 AI 独立去给数学题分类，然后直接拿来用。因为它太容易“和稀泥”，而且经常看表面不看本质。如果完全依赖它，可能会把简单的题教复杂，或者把难的题教简单了。
• ✅ 能做什么：它可以作为一个**“初筛助手”。比如，老师可以先把题丢给 AI，让它打个草稿，然后老师自己再复核一遍**。或者，用它来生成一些解释，但老师必须像“主编”一样去检查它的逻辑。

一句话总结：
现在的 AI 就像一个**“有点聪明但缺乏经验的实习生”**。它能帮你分担一部分工作，但它还没学会真正理解数学题的“灵魂”。在老师还没学会如何更好地“调教”（提示词工程）它之前，老师手中的那把尺子（专业判断），依然是不可替代的。

技术摘要

论文技术总结：AI 工具在数学任务认知需求分类中的基线表现

论文标题：Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks
作者：Danielle S. Fox, Brenda L. Robles, Elizabeth DiPietro Brovey, Christian D. Schunn
机构：匹兹堡大学学习研究与开发中心 (LRDC) 及学习研究所 (IFL)

---

1. 研究背景与问题 (Problem)

• 背景：教师面临巨大的时间压力，需要在保持认知严谨性的同时，将高质量数学课程适应不同学生的需求。识别和修改数学任务的“认知需求”（Cognitive Demand）是教学规划中的核心技能，但这需要深厚的教学专长和时间。
• 问题：随着生成式人工智能（LLM）的发展，人们希望利用 AI 减轻教师负担。然而，目前缺乏系统性证据来评估现有的 AI 工具（包括通用型和教育专用型）是否能够准确评估数学任务的认知需求水平。如果 AI 无法准确判断任务的认知层级，其在课程改编和任务生成中的效用将受到质疑。
• 核心研究问题：
  1. 当前的 AI 工具能否利用成熟的框架（任务分析指南 TAG）准确分类数学任务的认知需求？
  2. 通用型 AI 与教育专用型 AI 在分类准确性上有何差异？
  3. 哪些类型的任务对 AI 来说更难分类？
  4. 分类错误的模式是什么？揭示了 AI 在评估认知需求方面的哪些局限性？

2. 方法论 (Methodology)

• 评估框架：采用 任务分析指南 (Task Analysis Guide, TAG)，这是由 Stein 和 Smith 开发的经典框架，将数学任务分为四个认知需求层级：
  1. 记忆 (Memorization)：低认知需求，仅涉及事实/公式的复现。
  2. 无联系的程序 (Procedures without Connections)：低认知需求，按算法步骤操作，无概念联系。
  3. 有联系的程序 (Procedures with Connections)：高认知需求，通过程序发展概念理解。
  4. 做数学 (Doing Mathematics)：高认知需求，涉及非算法思维、自我监控和复杂推理。
• 数据集：选取了 12 个 数学任务（每个认知层级 3 个），涵盖不同年级和内容领域。这些任务此前已由人类专家根据 TAG 进行了标注。
• 测试工具：测试了 11 种 AI 工具：
  • 6 种通用工具：ChatGPT, Claude, DeepSeek, Gemini, Grok, Perplexity。
  • 5 种教育专用工具：Brisk, Coteach AI, Khanmigo, Magic School, School.AI。
• 提示策略 (Prompting)：采用“开箱即用”（Out-of-the-box）策略。向所有工具上传 TAG 指南和任务文档，使用统一的标准提示词，未进行任何提示工程优化，以模拟教师在实际工作流中的基础表现。
• 评估指标：
  • 分类准确率：AI 输出类别与专家标注的一致性。
  • 错误分析：针对“宽泛层级”（高 vs 低）的误判进行深度分析，评估 AI 推理过程对 TAG 特征的引用和逻辑正确性。

3. 主要结果 (Results)

• 整体准确率：
  • 所有 AI 工具的平均分类准确率为 62%（显著高于随机猜测的 25%，但远低于专家水平）。
  • 表现最好的工具是 DeepSeek（通用型），准确率为 83%；教育专用工具中表现最好的是 Coteach AI（75%）。
  • 关键发现：教育专用工具并未显著优于通用工具（63% vs 61%）。
• 任务难度差异：
  • 中间类别表现好：“无联系的程序”类任务准确率高达 100%。
  • 极端类别表现差：“记忆”类（平均 44%）和“做数学”类（平均 27%）准确率极低。其中 Task K（做数学类）的准确率仅为 9%。
• 系统性偏差 (Systematic Bias)：
  • 中间类别偏好：AI 工具表现出强烈的“中心趋势偏差”，倾向于将任务归类为“有联系/无联系的程序”（占所有分类的 77%），而极少将其归类为极端的“记忆”或“做数学”。
  • 表面特征依赖：AI 过度依赖文本表面的显性特征（如是否出现“算法”、“步骤”等词汇），而非分析任务背后的认知过程。例如，即使任务包含真实世界情境，若指令明确，AI 仍倾向于判定为低认知需求。
• 推理质量：
  • 即使分类正确，AI 的推理过程也常存在缺陷。专家编码显示，AI 对 TAG 特征的引用往往是不完整或部分错误的（评分在 1.0-2.0 之间，满分 3.0）。
  • AI 经常错误地推理多个任务维度，而非完全忽略相关维度。

4. 关键贡献 (Key Contributions)

1. 基准评估：首次系统性地评估了通用与专用 AI 工具在数学教育核心任务（认知需求分类）上的基线性能，填补了该领域的实证空白。
2. 揭示局限性：证明了当前 AI 工具尚不具备独立评估教学任务认知需求的能力（62% 的准确率不足以支撑自主决策），特别是难以区分高认知需求的“做数学”任务。
3. 偏差分析：识别出 AI 在认知需求分类中存在显著的“中间类别偏好”和“表面特征依赖”偏差，这为未来的提示工程（Prompt Engineering）和模型微调提供了明确的方向。
4. 工具对比：打破了“教育专用 AI 必然优于通用 AI"的迷思，表明在特定教育任务上，通用大模型（如 DeepSeek）可能表现更好，工具选择至关重要。

5. 意义与启示 (Significance)

• 对教育实践：
  • 辅助而非替代：目前的 AI 工具不适合作为自主决策工具，但可作为决策支持系统（Decision Support System），用于初步筛选任务或提醒教师进行人工复核。
  • 教师培训：AI 生成的解释虽然看似合理，但可能误导新手教师。教师仍需依赖自身的专业判断来验证 AI 的分类和推理。
• 对技术开发：
  • 提示工程优化：研究指出，通过优化提示词（如使用少样本学习 Few-shot learning、思维链 Chain-of-thought）和提供具体示例，有望显著提升准确率。
  • 模型改进方向：未来的教育 AI 需要加强对任务深层认知过程的推理能力，而不仅仅是文本匹配，需解决对“非算法性思维”和“概念联系”的识别难题。
• 未来研究方向：
  • 探索多模型集成（Ensemble）策略以提高可靠性。
  • 研究迭代式人机协作（教师反馈修正 AI）是否能提升分类质量。
  • 扩大任务样本库，涵盖更多学科和年级，并对比不同经验水平教师的分类表现。

结论：虽然 AI 在理解数学任务认知需求方面展现了超越随机猜测的潜力，但其目前的准确率、系统性偏差和推理缺陷表明，它尚未准备好独立承担此类核心教学任务。在将 AI 整合进教师工作流之前，必须通过提示工程优化和人工监督来弥补其不足。