Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University
这项在一家少数族裔服务型R1级研究型大学开展的混合方法研究识别了四种不同类型的本科生大语言模型依赖类型(策略型、工具型、对话型和依赖型),揭示了AI素养能够预测依赖类型,而价值与成本信念则能预测依赖强度,并强调了现有的评估方法如何在无意中惩罚了那些展现出最强独立思考能力的策略型用户。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一个教室,几乎每个学生肩上都坐着一个超级聪明、隐形的写作助手(即人工智能/AI)。多年来,研究人员一直试图弄清楚学生使用这个助手的程度到底有多高。但他们一直在问错误的问题。他们问:“你使用 AI 的频率有多高?”仿佛使用得多就等同于使用得不好。
这项研究指出:停止计算时长,开始观察方法。
以下是研究人员发现的简单拆解,使用了日常生活的比喻。
1. 四种类型的“AI 驾驶员”
研究人员发现,学生不仅仅是在“使用”AI,他们是以四种截然不同的方式在“驾驶”它。把 AI 想象成一辆汽车,而学生则是驾驶员。
- 策略型驾驶员 (34%): 这些学生把 AI 当作副驾驶。他们有一张地图(自己的想法),并要求副驾驶检查路线、指出交通状况或核实地标。他们全程都坐在驾驶座上。他们掌控力最强。
- 工具型驾驶员 (31%): 这些学生把 AI 当作电动工具。他们需要拧紧一个特定的螺丝(修复语法错误)或打磨一个粗糙的边缘(总结一段话)。他们用这个工具完成一项快速的工作,然后放下它,继续靠自己工作。
- 对话型驾驶员 (30%): 这些学生把 AI 当作练习对手。他们通过碰撞想法来进行互动。“如果我说这样呢?”“不,试试那样。”他们在通过对话共同构建想法,但最终决定权仍掌握在自己手中。
- 依赖型驾驶员 (4.5%): 这些学生让 AI 接管方向盘。他们告诉 AI:“带我去目的地,”然后自己坐下来欣赏风景。他们没有在驾驶,只是在搭便车。
2. 大惊喜:“分数陷阱”
这是研究中最令人困惑的部分,也是它为何如此重要的原因。
当研究人员观察成绩和“写作质量”得分时,策略型驾驶员(那些掌控局面的学生)的得分最低。而依赖型驾驶员(那些让 AI 驾驶的学生)的得分最高。
为什么?
研究人员意识到测试被操纵了。这些测试题就像是在问:“GPS 在多大程度上帮助你到达了商店?”
- 策略型驾驶员说:“没帮多少忙,我自己知道路。”所以他们的得分较低。
- 依赖型驾驶员说:“GPS 完成了一切!”所以他们的得分较高。
研究人员称之为**“测量伪影” (Measurement Artifact)**。这就像是在一个只能测量水桶里有多少水的秤上称鱼的重量。测试测量的是 AI 做了多少工作,而不是学生的写作水平有多好。那些思考最多、使用 AI 最少的学生,在无意中受到了评分系统的惩罚。
3. 两个不同的引擎
研究发现,有两个不同的因素控制着学生如何使用 AI,而且你无法通过修复其中一个来解决另一个。
引擎 A:“你用了多少?”(强度)
这由动机驱动。你是否认为 AI 会让你的生活变得更容易?你是否觉得没有它你就无法完成工作?如果你感到压力很大,或者认为 AI 是一个神奇的捷径,那么无论你是策略型还是依赖型驾驶员,你都会使用它很多。- 比喻: 这就像你有多饿。如果你快饿死了,你会吃很多东西,无论你吃的是健康的沙拉还是整个披萨。
引擎 B:“你如何使用它?”(类型)
这由 AI 素养(了解 AI 如何运作)驱动。如果你明白 AI 会撒谎、会编造事实或存在偏见,你自然会成为策略型或对话型驾驶员。你不会让它接管方向盘。- 比喻: 这就像你知道如何烹饪。如果你会做饭,你可能会用微波炉加热剩菜(策略型)。如果你不会做饭,你可能只会点外卖并假装是你自己做的(依赖型)。
4. “伦理抵制者”
还有一个很小的群体(约 13%)并不属于上述四种驾驶类别。他们干脆拒绝使用 AI。
- 有些人是因为伦理原因(觉得这属于作弊)。
- 有些人是因为环境原因(AI 消耗太多能源)。
- 有些人是因为他们相信这会阻碍大脑发育。
研究发现,目前的测试无法区分一个“选择不多使用 AI 的策略型驾驶员”和一个“从不使用 AI 的伦理抵制者”。在测试中,他们看起来是一样的(得分都低),但他们的理由完全不同。
5. 为什么这对学校很重要
这项研究是在一所拥有许多第一代大学生和少数族裔学生的大学进行的。研究人员发现,那些缺乏其他支持系统(例如与写作中心有联系的家庭关系)的学生,更依赖 AI 来追赶进度。
这项研究给学校带来的重要启示是:不要仅仅试图阻止学生使用 AI。
- 如果你只试图减少他们使用的量(强度),你可能会在无意中阻止那些将 AI 作为辅助工具的聪明学生使用它。
- 相反,学校需要教授如何使用它(素养),以便学生成为策略型驾驶员,并且需要理解他们为什么觉得如此需要它(动机)。
总结
- 旧方法: “你使用 AI 的频率有多高?”(错误的问题)。
- 新方法: “你是驾驶员、副驾驶,还是乘客?”
- 问题所在: 现有的测试奖励乘客,惩罚驾驶员。
- 解决方法: 我们需要新的测试来衡量学生的头脑,而不是 AI 的输出;我们需要教学生如何驾驶 AI,而不只是如何坐在后座上。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。