TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

想象一下，你是一位试图为你的科学课编写测验的老师。你有一本厚厚的、官方的教科书，里面包含了所有的答案，但你没有时间翻遍每一页去寻找完美的问题。于是你转向了一个超级聪明的电脑机器人（人工智能）来帮忙。你问它：“给我出一份关于酸雨的测验，”机器人就开始打字了。但问题在于：有时候这些机器人就像那些只背下了几个事实、然后为了显得聪明而开始胡编乱造的过度热心的学生。它们可能会发明一个虚假的科学规则，或者从完全不同的章节中提取事实。这被称为“幻觉”。为了阻止这种情况，科学家们使用了一种叫做**检索增强生成（Retrieval-Augmented Generation, RAG）**的技巧。把 RAG 想象成给机器人一张图书馆借书证，并规定一条严格的规则：“只有当你能指出在教科书的哪一页找到了答案时，你才能编写测验。”

然而，即使有了借书证，机器人仍然可能感到困惑。如果教科书的组织方式非常复杂，或者机器人只抓取了一个孤立的微小句子而忽略了周围的上下文，它仍然可能写出糟糕的问题。研究人员面临的大问题是：我们如何构建一个不仅仅是抓取“任何”页面，而是能理解课程的“结构”、知道自己在信息不足时该如何应对，并且能在向老师展示之前检查自己工作的机器人？这是一个新的研究试图解决的问题，特别是针对使用特定国家教科书的孟加拉国科学教师。

---

认识 TeachMateGPT：带有安全网的机器人图书管理员

这篇论文介绍了一个名为 TeachMateGPT 的新系统。你可以不把它看作是一个单一的机器人，而是一个由专业化分工的工人组成的团队，他们在高科技工厂中协同工作，将老师的需求转化为一份完美的、符合教科书准确性的测验。该系统是专门为孟加拉国国家课程与教科书委员会（NCTB）八年级科学教科书设计的，这一资源对于学生至关重要，但对于 AI 来说，想要完美地驾驭它往往非常困难。

以下是这个“工厂”如何一步步运作的：

1. 智能索引 (COPE)
首先，系统必须对教科书进行组织。想象一下，教科书是一个巨大的、杂乱的阁楼。普通的机器人可能只会随机抓取一箱东西。TeachMateGPT 使用了一个特殊的工具，叫做 COPE（面向课程的教学嵌入）。COPE 不仅仅是将文本切成随机的块，它理解书籍的“家族树”。它知道“章节”包含“课时”，“课时”包含“节”，“节”包含“定义”。它构建了一张地图，其中每一部分信息都与其父级和邻居相连。如果机器人需要了解某种特定的动物，它不仅仅是找到“动物”这个词；它会找到关于该动物在生命之树中处于什么位置的整个段落。这确保了机器人理解的是上下文，而不仅仅是单词。

2. 把关人 (路由代理/Routing Agents)
在机器人开始寻找答案之前，一组“把关人”代理会先检查老师的请求。

• 意图代理 (Intent Agent) 会问：“这是一个真正的科学问题，还是老师只是说了句‘你好’？”
• 歧义代理 (Ambiguity Agent) 会问：“问题清晰吗？如果老师说‘出一份关于动物的测验’，代理会停下来并询问：‘哪一章？哪种类型的动物？’”
• 安全代理 (Safety Agent) 确保没有任何有害或无关的请求通过。
  如果请求太模糊或不安全，系统会礼貌地停止并要求提供更多细节。它拒绝猜测。

3. 侦探团队 (混合检索/Hybrid Retrieval)
一旦请求变得清晰，系统就会开始搜寻证据。它同时使用两种类型的搜索：

• 语义侦探 (The Semantic Detective)： 寻找词汇的“含义”（例如，即使文本写的是“高酸性的雨”，也能找到“酸雨”）。
• 词法侦探 (The Lexical Detective)： 寻找可能被单纯的含义所忽略的精确科学术语。
  如果系统找到了证据，它会使用“失效关闭”（Fail-Closed）规则。这就像一位严厉的老师，会说：“如果你没有足够的证据，你就得零分。”如果系统无法找到足够的教科书页面来支持一个问题，它会直接拒绝生成该问题，而不是凭空捏造。

4. 作者 (专家代理/Specialist Agents)
一旦证据收集完毕，不同的“作者”就会接手。

• 选择题专家 (MCQ Specialist) 编写多项选择题（例如“A, B, C 或 D？”）。
• 创造性问题专家 (Creative Question Specialist) 编写在委员会考试中常见的较长、基于情境的问题（即学生阅读一个场景并回答四个部分的问题）。
  这些作者被强制要求仅使用侦探们找到的证据。他们不能使用自己的“记忆”来发明事实。

5. 检查员 (SAVER)
在测验交给老师之前，一位名为 SAVER（来源归因验证与证据排序）的最终检查员会对工作进行检查。它会查看每一个问题，并提出三个问题：

1. 忠实度 (Faithfulness)： 你真的在教科书中找到了这个事实吗？
2. 相关性 (Relevance)： 这是否符合老师的要求？
3. 幻觉风险 (Hallucination Risk)： 你有没有编造任何东西？
   如果得分过低，系统会标记该问题供人类老师审核。它不会自动删除问题，而是会提示：“嘿，检查一下这个，我不百分之百确定。”

他们的发现是什么？

研究人员通过生成 198 个科学问题（143 个选择题和 55 个创造性问题）来测试该系统，涵盖了八年级教科书的所有 14 个章节。随后，他们请三位真正的科学老师对结果进行了评分。

结果非常令人印象深刻。与仅仅抓取文本并进行编写的普通（Vanilla）AI 系统相比：

• 忠实度（事实对源资料的真实程度）从 0.68 跳升至 0.96。这意味着新系统对于其获取信息的来源几乎是完全诚实的。
• 答案相关性（答案与问题的匹配程度）从 0.60 提升到了 0.89。
• 教师效用（老师认为这些问题有多有用）在 5 分制量表中从 2.00 飙升至 4.80。

研究还表明，如果移除“智能索引”（COPE），质量会显著下降。如果移除“检查员”（SAVER），系统就会开始编造事实。这证明了理解书籍结构和双重检查工作都是必不可少的。

局限性与未来

作者谨慎地指出，他们的系统目前还不能做些什么。

• 仅限文本： 该系统阅读教科书的文字，但在处理图片方面仍有困难。如果一个问题需要观察电路图或细胞图，系统无法“看到”图像。它必须依赖文本描述，这可能会遗漏视觉问题的重点。
• 需要人工参与： 该系统旨在作为一个助手，而不是替代品。它会标记需要老师检查的问题，但它并不做最终决定。老师必须在将作品交给学生之前进行审核。
• 特定于一本书： 这个系统是专门为孟加拉国八年级科学教科书构建的。如果没有重大调整，它在处理其他年级、其他学科或其他国家的课程时，可能无法完美运行。

简而言之，TeachMateGPT 表明，通过给 AI 一个更好的教科书地图、一条禁止猜测的严格规则以及一个内置的检查员，我们可以创造出一个既能节省老师时间又不会牺牲准确性的工具。这是迈向未来的一步——在那个未来，AI 是教育领域可靠的副驾驶，而不是危险的自动驾驶仪。