The StudyChat Dataset: Analyzing Student Dialogues With ChatGPT in an Artificial Intelligence Course

本文介绍了名为 StudyChat 的公开数据集，该数据集记录了学生在 AI 课程中与 LLM 辅导聊天机器人的真实交互，并通过分析发现，寻求概念理解和编程帮助的学生成绩更优，而利用 LLM 撰写报告或规避学习目标的学生考试成绩则较差。

要点

这篇论文就像是一份**“学生与 AI 聊天机器人的行为大揭秘”**。

想象一下，你开了一家名为"StudyChat"的**“智能辅导咖啡馆”。这家咖啡馆里坐满了正在上人工智能（AI）课程的大学生。他们手边没有传统的老师，只有一台看起来像 ChatGPT 的“魔法聊天机器人”**。

研究人员（也就是这篇论文的作者）就像**“咖啡馆的监控员”**，他们悄悄记录了学生们在这台机器上说了什么、做了什么，并试图找出：学生们到底是怎么用这个机器人的？这种用法对他们的考试成绩是好是坏？

以下是这篇论文的核心内容，用大白话和比喻讲给你听：

1. 他们收集了什么？（数据大宝库）

研究人员在两个学期里，记录了203 名学生与聊天机器人的16,851 次对话。

• 场景：学生们在做编程作业（比如写代码、做数据分析）时，遇到不懂的就问机器人。
• 规模：这就像收集了1.6 万条学生向机器人“求救”或“闲聊”的录音。
• 隐私保护：在分析前，他们像**“修图师”**一样，把对话里所有可能泄露学生名字、账号的敏感信息都抹掉了，确保大家的安全。

2. 他们怎么给对话“贴标签”？（分类法）

为了看懂这些对话，研究人员发明了一套**“对话行为字典”（Dialogue Act Schema）。这就好比给学生的每一句话贴上不同的“情绪标签”或“意图标签”**：

• 📝 写作类：让学生帮写代码、写报告、翻译或总结。
• ❓ 提问类：
  • 概念性问题：问“什么是神经网络？”（这是**“求知型”**）。
  • 情境性问题：问“我这段代码报错是什么意思？”（这是**“救火型”**）。
• 🔍 验证类：让机器人检查代码对不对。
• 🗣️ 闲聊类：打招呼、说谢谢，或者聊无关的话题。

3. 发现了什么秘密？（核心发现）

研究人员把学生的行为分成了几类，发现了一个有趣的**“双刃剑”现象**：

✅ 正面用法：像“勤奋的学徒”

• 行为：学生主要用机器人来问概念（“这个算法怎么运作的？”）或者请求写代码片段（“帮我写个循环”），然后自己再去理解。
• 结果：这些学生考试成绩更好，作业完成得更棒。
• 比喻：这就像学生拿着机器人当**“私人教练”**，教练教动作，学生自己练肌肉。

❌ 负面用法：像“偷懒的代笔者”

• 行为：学生直接让机器人写整篇报告，或者让机器人绕过作业的学习目标直接给答案。
• 结果：这些学生在考试时表现较差。
• 比喻：这就像学生让机器人**“代考”**。平时作业全对（因为机器人写的），但一到自己上考场（没有机器人帮忙），大脑一片空白，成绩自然崩盘。

📉 关于“提问”的陷阱

• 研究发现，如果学生问太多**“具体的情境问题”（比如“为什么我的代码报这个错？”），反而可能和低分**有关。
• 原因推测：这可能是因为学生太依赖机器人，或者机器人偶尔会“胡说八道”（幻觉），导致学生被带偏了。就像问路时，如果向导指错了方向，你走得再快也到不了目的地。

4. 用得多就一定好吗？（用量分析）

• 低用量组（很少问）：成绩参差不齐，有的很高，有的很低。
• 高用量组（经常问）：成绩非常稳定，而且下限很高（最差的成绩也比低用量组好）。
• 比喻：高用量的学生就像**“天天去健身房的人”**，虽然不一定个个是奥运冠军，但身体底子肯定比“三天打鱼两天晒网”的人要好，不容易“生病”（挂科）。

5. 聚类分析：把学生分成四派

研究人员把学生分成了四个“帮派”：

1. 代码写手派：主要让机器人写代码。
2. 概念提问派：主要问原理和概念（成绩最好的一派）。
3. 综合提问派：什么都会问。
4. 报告代写派：主要让机器人写报告（考试成绩相对较低）。

结论：那些把机器人当**“老师”（问概念）的人，比把机器人当“枪手”**（代写作业）的人，学得更扎实。

6. 这篇论文有什么用？

• 给老师看：老师可以知道，如果学生总是让 AI 写报告，就要警惕了；如果学生总是问概念，可以鼓励他们继续。
• 给开发者看：未来的教育 AI 可以变得更聪明。比如，当检测到学生想直接要答案时，AI 可以**“拒绝”**并反问：“你试着先解释一下你的思路？”
• 给研究者看：这是一个公开的**“宝藏数据集”**，全世界的人都可以拿来做研究，看看 AI 到底怎么改变教育。

总结

这篇论文告诉我们：AI 不是洪水猛兽，也不是万能神药。

• 如果你把它当**“拐杖”**（自己走，累了扶一下），它能帮你走得更稳。
• 如果你把它当**“轮椅”**（完全不想动，直接坐上去），你可能永远学不会走路，一旦考试（没有轮椅）就摔得很惨。

StudyChat 数据集就是那个记录了大家“怎么走路”的监控录像，帮助我们未来设计出更好的“智能拐杖”。

技术摘要

《StudyChat 数据集：分析人工智能课程中学生与 ChatGPT 的对话》技术总结

1. 研究背景与问题 (Problem)

大型语言模型（LLM）如 ChatGPT 的普及对教育产生了深远影响，既带来了个性化辅导的机遇，也引发了学术诚信和过度依赖的担忧。尽管已有研究探讨 LLM 在教育中的应用，但缺乏真实课堂环境下学生与 LLM 互动的大规模、细粒度对话数据。

现有研究多基于调查或小规模案例，难以深入分析：

• 学生具体如何使用 LLM（是用于概念理解、代码编写，还是直接代写报告？）。
• 不同的交互行为模式（对话行为，Dialogue Acts）如何与学生的课程成绩（作业、考试）相关联。
• 如何区分“学习导向”与“规避学习”的使用行为。

本研究旨在填补这一空白，通过构建一个真实的数据集，量化分析学生在编程作业中与 LLM 的互动模式及其对学业成果的影响。

2. 方法论 (Methodology)

2.1 数据收集 (Data Collection)

• 研究对象：美国马萨诸塞大学阿默斯特分校（UMass Amherst）两个学期（2024 年秋季和 2025 年春季）的人工智能（AI）课程学生。
• 参与者：203 名同意参与研究的学生（共 295 人注册），均为高年级本科生。
• 工具部署：开发了一个 Web 应用程序，界面和功能模仿 ChatGPT，后端使用 gpt-4o-mini 模型。
  • 学生被鼓励在所有编程作业中无限制地使用此工具。
  • 系统提示语设为“你是一个乐于助人的助手”，未限制回答寻求行为，也未提供课程材料作为参考，以模拟真实的外部 LLM 使用场景。
• 数据规模：
  • 收集了 2,214 次对话。
  • 包含 16,851 条学生话语（utterances）及对应的 LLM 回复。
  • 涵盖 7 个不同的编程作业和 924 份作业提交（来自 158 名同意分享作业的学生）。

2.2 数据预处理与隐私保护

• PII 过滤：开发了基于正则表达式的脚本，自动识别并移除对话中可能包含的个人身份信息（PII），如目录路径、GitHub 账号名等。共移除了 6,413 处潜在的 PII 暴露。

2.3 对话行为标注 (Dialogue Act Annotation)

• 标注体系：设计了一个双层对话行为（DA）标注 schema，包含 8 个 broad categories（大类）和 31 个 specific labels（具体标签）。
  • 大类包括：写作（Writing）、编辑（Editing）、上下文问题（Contextual Questions）、概念性问题（Conceptual Questions）、验证（Verification）、上下文提供（Context）、闲聊（Off Topic）等。
• 标注流程：
  1. 人工标注：先由人工标注 150 条样本，计算标注者间一致性（Cohen's kappa），达到高度一致（Broad: 0.91, Specific: 0.78）。
  2. LLM 辅助大规模标注：利用 LLM（GPT-4.1）根据详细提示词对剩余数据进行自动化标注。
  3. 验证：在独立测试集上，LLM 标注与人工标注的一致性达到中等水平（Broad: 0.58, Specific: 0.49），与人工间一致性相当，证明了自动化标注的可行性。

2.4 分析策略

• 回归分析：构建线性回归模型，以评估成绩（归一化到 [0,1]）为因变量。
  • 自变量包括：总话语数、8 个大类 DA 计数、31 个具体 DA 计数。
  • 基线模型：仅使用历史平均成绩作为预测变量。
• 聚类分析：使用 K-means 算法（K=4）基于学生的 DA 分布特征对学生行为进行聚类，识别不同的使用模式。
• 分组对比：将学生按使用频率分为低（前 10%）、中（中间 80%）、高（后 10%）三组，对比其成绩分布。

3. 关键贡献 (Key Contributions)

1. StudyChat 数据集发布：

   • 首个公开可用的、包含真实大学 AI 课程中16,851 条学生与 LLM 交互对话的数据集。
   • 包含对话文本、作业提交、考试成绩及详细的对话行为标注。
   • 为研究 LLM 在教育中的角色提供了宝贵的基准数据。

2. 细粒度的对话行为分析框架：

   • 提出并验证了一套适用于 LLM-学生互动的对话行为标注体系，能够区分“概念性提问”、“代码编写请求”、“报告代写”等不同意图。
   • 展示了利用 LLM 进行大规模对话标注的可行性。

3. 行为与成绩的关联洞察：

   • 揭示了特定类型的 LLM 使用行为（如询问概念、寻求代码帮助）与更高的考试成绩正相关。
   • 发现过度依赖 LLM 进行报告写作或绕过学习目标的行为与较低的考试成绩相关。

4. 主要结果 (Results)

4.1 对话行为对成绩的影响

• 概念性提问 vs. 上下文问题：
  • 概念性问题（如询问 Python 库、CS 概念）与考试成绩呈正相关。这表明将 LLM 作为知识查询工具有助于学习。
  • 上下文问题（如询问具体作业细节、代码解释、错误信息）与作业成绩呈负相关。这可能反映了学生在遇到具体困难时的困惑，或者 LLM 在解释具体代码时产生的幻觉导致学生理解偏差。
• 数学推导的局限性：在涉及数学推导（如 n-gram 语言模型的概率计算）的作业中，依赖 LLM 解释数学公式的学生成绩显著较低，表明当前 LLM 在复杂数学推导上存在不足。

4.2 使用频率与成绩分布

• 高频用户表现更稳定：高频使用 LLM 的学生（Top 10%）虽然平均成绩与中低频用户差异不大，但其成绩的方差更小，且最低分更高。
• 结论：有意义的 LLM 互动可能有助于稳定学生表现，减少低分极端情况，起到“托底”作用。

4.3 行为聚类分析

通过 K-means 聚类识别出四类典型学生：

1. 代码编写者 (Code Writers)：主要请求 LLM 写代码。
2. 编码提问者 (Coding Question)：主要询问具体的编程概念和库用法。
   • 结果：这两类学生在考试中表现较好（平均分约 89%），说明他们通过 LLM 巩固了核心技能。
3. 通用提问者 (General Question)：混合提问概念和上下文。
4. 报告撰写者 (Report Writers)：主要请求 LLM 写代码和写英文报告。
   • 结果：这类学生在考试中表现较差（平均分约 83.8%），方差较大。这表明试图让 LLM 代写报告以规避学习过程的行为，导致了对知识掌握不牢固。

5. 意义与未来工作 (Significance & Future Work)

意义

• 教育技术设计：研究结果支持开发能够识别学生意图的智能辅导系统（ITS）。系统应鼓励概念性提问，并在检测到学生试图让 LLM 代写报告或绕过核心学习目标时进行干预。
• 评估改革：鉴于 LLM 在代码生成上的能力，教育者需重新设计评估方式（如增加口头答辩、现场编码），以测试学生是否真正理解而非仅仅依赖 LLM 生成。
• 数据驱动研究：StudyChat 数据集为后续研究 LLM 对认知过程、学习轨迹的影响提供了基础。

局限性与未来方向

• 局限性：
  • 数据仅来自单一课程，通用性受限。
  • 存在霍桑效应（Hawthorne Effect），学生知道被记录可能改变行为。
  • 标注体系虽经验证，但在处理模糊意图时仍有提升空间。
• 未来工作：
  • 结合学生作业提交内容与对话内容，进行更深度的行为溯源分析。
  • 优化标注体系，开发更细粒度的分类方法。
  • 将研究成果转化为实际的课堂干预工具，实时检测并引导学生的 LLM 使用行为。

---

总结：该论文通过构建大规模真实数据集，实证分析了学生使用 LLM 的微观行为模式。研究发现，将 LLM 作为“学习伙伴”（提问概念、调试代码）能提升成绩，而将其作为“代写工具”（代写报告、规避思考）则损害学习效果。这一发现为教育者制定 LLM 使用政策及开发智能辅导系统提供了重要的数据支撑。