FORGE: A Framework for Orchestrated Role-based Generation in Education
本文介绍了 FORGE，这是一个通过四个角色和七个维度来构建高等教育中教师-人工智能协作的设计科学框架，并通过案例研究展示了其指南如何将即兴的提示词生成转化为一种可迁移的、基于角色的教学材料生成工作流。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在高等教育的课堂中，一场无声的革命正在悄然进行，其驱动力是一种被称为大语言模型的新型计算机程序。这些系统能够阅读海量文本并以人类语言进行写作，这让许多人开始思考它们将如何改变教师准备课程的方式。多年来，大多数研究都集中在学生如何使用这些工具上，通常担心学术诚信问题或如何检测学生是否依赖了这些工具。然而，一个平行且同样重要的转变正在幕后发生：教师们也开始使用这些相同的工具来帮助他们编写考试题目、设计项目和制定教学计划。挑战在于，由于缺乏一种用于此类工作的共同方法，每位教师本质上都在自创向计算机寻求帮助的方式。有些人可能会要求提供一份完整的草稿，有些人则可能只要求写一个句子，而且很少有人有一套清晰的系统来决定何时信任机器，以及何时介入并运用自己的专家判断。
这种不确定性之所以重要，是因为创建优质的教学材料是一项复杂的任务。这不仅需要生成文本，还需要确保问题测试了正确的概念，难度恰到好处，并且内容与课堂上实际教授的内容相一致。如果教师只是要求计算机编写一份考试并接受第一个结果，那么材料可能会存在微妙的缺陷，这些缺陷可能会被学生利用，或者无法衡量教师原本想要测试的内容。因此，核心问题不在于计算机能否编写这些材料，而在于人类与机器如何有效地协作，以生产出既高质量又可靠的作品。
为了回答这个问题，亚利桑那州立大学的研究员埃马纽埃尔·冈萨雷斯（Emmanuel Gonzalez）和保罗·T·格罗根（Paul T. Grogan）开发了一种名为 FORGE 的新工作方式。他们不仅仅提出了一个理论，还在一门真实的本科工程课程中对其进行了测试。他们观察了一位讲师如何利用计算机程序来创建两种截然不同的类型的作业：一份标准的单选题试卷和一份复杂的、开放式的学期项目说明书。通过记录教师给出的每一条指令以及计算机的相应反馈，他们绘制出了一套清晰的协作规则。他们的研究表明，教育领域成功的人机协作取决于为计算机分配特定的角色，明确何时是寻求创意而非下达命令，并理解人类必须始终作为质量的最终评判者。
研究人员发现，教师与计算机互动的方式很大程度上取决于他们试图创造的内容。当目标是“收敛型”材料（如答案固定且格式预先确定的考试）时，过程看起来像是一个漫长且细致的精炼过程。在研究中，讲师花费了几乎所有的时间——约百分之九十四的主动工作时间——在检查和修正计算机的草稿，而不是要求生成新内容。计算机生成一个问题，然后教师会发现一个细微的错误，例如一段代码片段不小心泄露了答案，接着要求计算机重试。这种生成与修正的循环持续进行，直到材料达到完美。在此过程中，计算机充当了快速的撰写者，而人类则充当了严格的编辑，确保每一个细节都符合课程的具体标准。
相比之下，当教师处理“发散型”材料（如最终形态尚不明确的学期项目说明书）时，过程则有所不同。在这种情况下，教师和计算机共同探讨项目究竟应该是什么。教师向计算机寻求选项和想法，通过对话来决定包含哪些主题以及如何构建作业。在这种情景下，计算机更像是一个头脑风暴的伙伴，提供教师可以接受、拒绝或修改的建议。教师花费了较大比例的时间，约百分之二十六的提示词用于提出开放式问题以探索可能性，而不仅仅是纠正错误。这表明，材料的类型决定了工作的节奏：有些任务需要用稳健的手去打磨已知的形状，而有些任务则需要灵活的思维去发现新的形状。
该研究的一个关键发现是，计算机不能被信任去做出关于教学合理性的最终决定。研究人员确定了在协作中可以扮演的四种不同角色：负责收集信息的“读者”（Reader）、负责创作内容的“作者”（Writer）、负责检查错误的“评论家”（Critic）以及负责做出最终决策的“编排者”（Orchestrator）。在两种情况下，人类讲师都承担了“编排者”的角色。他们发现，虽然计算机可以处理诸如格式化文本或检查拼写错误等任务，但它始终会忽略更深层次的问题。例如，在一次案例中，计算机编写了一个关于计算机程序的题目，但它包含的代码将答案直接呈现在学生眼前。计算机没有注意到这个缺陷，因为它缺乏对该问题旨在测试什么的上下文理解。只有了解学习目标的教师才能看到问题，并指导计算机进行修复。
研究还显示，教师与计算机交流的方式与他们询问的内容同样重要。研究人员区分了两种互动风格：对话式和指令式。当教师还在决定作业的形式时，他们使用对话式风格，向计算机询问选项和权衡方案。一旦计划确定，他们就会切换到指令式风格，给出明确的命令来解决特定问题。研究中最有效的教师知道何时切换这些模式。他们不会固守一种交流方式；而是根据是在探索新想法还是在精炼现有草稿，来调整自己的方法。这种灵活性防止了工作陷入停滞或误入歧途。
或许这项工作中最重要的教训是，人类必须始终是系统的集成者。计算机可以以惊人的速度生成内容，但它无法理解课程的宏观目标或学生的具体需求。研究人员观察到，当教师退居幕后并让计算机独立运行整个过程时，结果往往是有缺陷的。但当教师保持在流程之中，不断检查工作并用具体的指令引导计算机时，最终的材料则是高质量的。研究表明，这些工具的最佳用途不是取代教师，而是作为一个强大的助手，处理繁重的起草工作，从而让教师能够专注于只有人类才能提供的判断力和专业知识。
研究人员在单门课程的两项特定作业中测试了这些观点，因此其发现是基于有限的数据集。他们并不声称这种方法适用于每一位教师或每一个学科，但他们确实展示了建立结构化方法的可行性。通过定义清晰的角色，并明确何时提问、何时下令，教师可以将使用人工智能的混乱过程转变为一种可靠的工作流。研究结论指出，通过建立正确的框架，教师可以描述他们如何使用这些工具，保留有效的方法，并将这些经验传承到下一个任务中。这使得在教育中使用人工智能从一种“碰运气”的行为，转变为一种经过实践的、可重复的技能，从而能够提升每个人学习材料的质量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。