Thinking-Visibility: An Interventionist Reconceptualisation of Assessment in the Age of AI Co-Production
本研究采用基于活动理论(CHAT)的变革实验室干预手段,旨在证明虽然将人工智能协同生产整合进评估过程需要向“思维可见性”和不可替代的教师判断转变,但关于真实性和政策的大多数结构性矛盾仍未得到解决,仍需进一步的制度改革。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
这是一篇使用简单语言和创意类比对该论文进行的解释。
核心问题:厨房里的“假厨师”
想象一场烹饪比赛,评委必须品尝一道菜,并判断是参赛者亲手做的,还是别人代劳的。突然,出现了一个强大的机器人厨师(生成式人工智能)。这个机器人可以在几秒钟内做出完美的佳肴。
现在,评委们陷入了困境。如果一个学生交上了一篇完美的论文,老师如何知道是学生自己“做”出来的,还是他们只是让机器人代劳了?
- 旧方法: 老师试图扮演保安的角色,寻找作弊的线索(比如使用“AI检测器”)。论文指出,这就像是在大海里捞针;效果并不好。
- 新问题: 即使学生写下了他们的“食谱”(即制作过程的记录),机器人也可以编写那份食谱。因此,一份伪造的食谱并不能证明学生真的动手做了。
实验过程:“变革实验室”
研究者丹尼斯·泰勒(Denise Taylor)并没有坐在书桌前凭空猜测答案。她召集了一群来自世界各地的教师(从英国到新西兰再到利比亚),并将他们置于一个“变革实验室”中。
你可以把这想象成一场针对失效学校规则的“团体心理治疗”。
- 镜鉴(The Mirror): 老师们看到了“镜像数据”——即一些已经被评分过的真实学生作品案例。他们发现评分系统已经失灵了。有时,亲自动手的学生得了低分,而使用 AI 的学生却得了高分。
- 争论: 老师们争辩道:“这不公平!”以及“我们的规则不再适用了!”
- 目标: 他们尝试共同重新设计规则(评估标准),以修复这个系统。
旅程:从“你做了什么?”到“你是如何思考的?”
论文追踪了教师对“我们到底在测试什么”这一观念随时间的变化过程。作者称之为**“对象轨迹”**(Object Trajectory,从 O1 到 O7)。以下是通俗易懂的历程:
- 起点 (O1): “我们需要一个更好的测谎仪。”他们试图编写能够识别 AI 的规则。
- 觉醒 (O2): “等等,规则太简单了。”他们意识到需要测试更深层的思考,而不仅仅是事实。
- 转变 (O3): “重点不在于最终的成品,而在于烹饪的过程。”他们尝试为学生采取的步骤进行评分。
- 陷阱 (O4): “噢不,机器人也可以伪造过程!”他们意识到,甚至连“过程日志”也可以由 AI 编写。这是一个重大突破。他们意识到没有任何纸质材料可以证明真实性。
- 解决方案 (O5-O7): “我们需要老师与学生进行对话。”唯一无法伪造的是现场对话。老师们决定,评估必须变成一种**“思维可见性”**的系统。
核心概念:“思维可见性” (Thinking-Visibility)
这是论文的主要发明。
想象一位魔术师。如果你只看到最后的戏法(帽子里的兔子),你不知道魔术师是有真本事,还是仅仅买了一个兔子。
- 旧式评估: 盯着兔子看(最终的论文)。
- 新式评估(思维可见性): 老师询问魔术师:“请向我展示你是如何让兔子出现的。”老师提出问题、要求解释,并观察学生在实时思考的过程。
“思维可见性”意味着让学生的脑力运作变得可见。 重点不在于最终的产品,而在于证明学生确实是在驾驶这艘船,即便他们在使用 GPS(AI)来辅助。
深刻的真相(论文的实际发现)
论文最后总结了四个重要的结论,这些结论略显沉重:
- 你无法将裁判自动化: 没有任何计算机程序或检查清单能真正验证一个学生是否在思考。人类教师的判断力仍然不可或缺。 这是唯一有效的方法,但由于老师也是人,也会疲劳或产生偏见,因此也存在风险。
- “过程”是一个陷阱: 试图对“过程”进行评分(例如要求提供草稿或日志)是行不通的,因为 AI 也可以伪造这些内容。
- 仅靠规则是不够的: 你不能仅仅改变测试题目。整个学校系统、政府政策以及学校的运行方式都需要改变。如果学校说“禁止使用 AI”,但就业市场却说“请使用 AI”,老师们就会陷入两难。
- 问题出在系统,而非学生: 问题不在于学生在作弊,而在于这个“游戏”(评估系统)是为没有机器人的时代设计的,而现在的规则已不再适配玩家。
结论
论文以这句话结束:“我们还没有解决所有问题。”
老师们成功地将心态从“抓捕作弊者”转变为“让思维可见”。但要让这套理论真正落地,学校需要停止试图取缔 AI,转而建立一个让教师能够与学生交流并观察其思考过程的系统。
简而言之: 我们无法阻止机器人写论文,所以我们必须改变测试方式,要求学生解释为什么要那样写。教师的角色从“警察”转变为“教练”,去观察学生如何玩转这场游戏。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。