💬 NLP

Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

本文介绍了 ReQUESTA，这是一个混合多智能体框架，通过将大语言模型与基于规则的组件进行编排，以系统化地生成在难度、区分度以及与阅读理解目标一致性方面均优于单次零样本基准模型的、具有认知多样性和心理测量学优越性的多项选择题。

原作者： Yu Tian, Linh Huynh, Katerina Christhilf, Shubham Chakraborty, Micah Watanabe, Tracy Arner, Danielle McNamara

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Tian, Linh Huynh, Katerina Christhilf, Shubham Chakraborty, Micah Watanabe, Tracy Arner, Danielle McNamara

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：一位“一蹴而就”的大厨

想象一下，你请了一位非常有才华、超级聪明的厨师（大语言模型，简称 LLM）来做一道复杂的正餐。你只给了一个指令：“给我做一顿包含前菜、主菜和甜点的餐点。”

这位大厨可能会做出美味的佳肴，但也可能出现以下情况：

忘记检查甜品是否太甜了。
上了一道稍微有些欠火候的主菜。
做出的前菜看起来和主菜完全不搭调。

在教育领域，这种“一蹴而就”的大厨就是计算机目前生成多项选择题（MCQ）的方式。它们擅长制作简单的题目（比如“天空是什么颜色的？”），但在制作需要深度思考的复杂、高质量题目（比如“为什么这个角色会做出那个选择？”）时却显得力不从心。它们经常生成的题目要么太简单，要么选项（干扰项）令人困惑，或者错误的选项一眼就能看穿。

解决方案：ReQUESTA（餐厅厨房）

该论文的作者构建了一个名为 ReQUESTA 的系统。他们并没有要求一个厨师同时完成所有工作，而是将厨房变成了一个高度组织化的、拥有专业化分工团队的餐厅。

不要把 ReQUESTA 看作是一个单一的机器人，而要把它看作是指挥管弦乐队的指挥家，或者是管理电影剧组的导演。

以下是他们的“厨房”运作方式：

预处理器（准备员）： 在任何人开始烹饪之前，这个智能体（Agent）会将文本切分成易于处理的小块。它负责确保食材已经准备就绪。
规划者（主厨）： 这个智能体阅读文本并编写一份详细的食谱。它决定：“我们需要一个关于此处事实的问题，一个关于角色想法的问题，以及一个关于主题核心的问题。” 它现在还不进行烹饪，只是在做计划。
生成器（线厨/配菜厨）： 这里有三位不同的厨师，每人各司其职：
- 厨师 A 只负责制作“事实型”问题（发生了什么？）。
- 厨师 B 只负责制作“推理性”问题（为什么会发生？）。
- 厨师 C 只负责制作“宏观概念型”问题（核心观点是什么？）。
- 为什么要分开？ 因为要求一位厨师同时完成这三项任务往往会导致错误。专业化能让他们在特定任务上表现得更好。
评估者（美食评论家）： 一旦菜肴做成，它并不会直接端给顾客。评论家会对它进行品鉴。题目是否清晰？错误的选项（干扰项）是否足够具有迷惑性——既能让没复习的学生感到困惑，又不至于让所有人全都掉进陷阱？如果菜品不好，评论家会将它退回给线厨，并附上修改意见。
格式化专家（摆盘专家）： 最后，这个智能体负责确保所有的盘子大小一致，且字母（A, B, C, D）排列整齐。

实验：味觉测试

为了验证这个“团队厨房”是否比“一蹴而就的大厨”更出色，研究人员进行了一场大规模的味觉测试。

设置： 他们选取了 20 篇学术文章（如教科书章节），并要求两个系统为这些文章生成题目。
- 系统 A (ReQUESTA)： 拥有规划者、专业化厨师和评论家的团队厨房。
- 系统 B (GPT-5 基准模型)： 仅仅通过一个“制作题目”的指令来工作的“一蹴而就”大厨。
品尝者： 572 名真实的人阅读了文章并回答了问题。
评委： 专家级人类评分员也对题目进行了审阅，并根据质量进行评分。

结果：团队厨房胜出

结果显示，ReQUESTA 团队厨房生产出的“食物”（题目）比单打独斗的大厨要好得多。

难度更高、更聪明的题目： ReQUESTA 生成的题目回答起来难度更大。这并不是一件坏事！这意味着题目真正测试了学生是否理解了材料，而不是仅仅靠猜。它们能更好地分辨出哪些学生掌握了知识，哪些学生没有。
更好的“错误答案”（干扰项）： 在多项选择题中，错误的选项需要看起来是可信的。如果错误选项很荒谬，任何人都能猜对。
- “一蹴而就”的大厨经常做出荒谬的错误选项。
- ReQUESTA 的“评论家”和“专业化厨师”制作出的错误选项听起来非常真实。它们在语言上具有一致性（看起来和读起来都像正确答案），并且在语义上是合理的（符合上下文语境）。
紧扣主题： ReQUESTA 的题目更加聚焦于文本中最核心的部分。而单打独斗的大厨经常会被一些微不足道的细节分散注意力。

核心启示

这篇论文最重要的教训并不是关于拥有一个“更聪明”的计算机大脑。研究人员在两个系统中使用了相同的强大 AI 模型（GPT-5）。

区别在于他们如何组织工作。

旧方法： “一次性完成所有工作，快速执行。”（单次提示词工程）
新方法 (ReQUESTA)： “先计划，再分配专业人员，检查工作，修正错误，最后呈现。”（智能体编排）

该论文证明了，你并不一定需要一个更大、更昂贵的 AI 来获得更好的结果。你只需要一个更好的工作流。通过将一个庞大且杂乱的任务分解为细小、受控的步骤，并让不同的“智能体”互相检查工作，你可以创造出高质量、可靠的教育工具，这是单一的 AI 提示词无法企及的。

技术摘要：ReQUESTA —— 一种用于生成认知多样化多项选择题（MCQ）的混合多智能体框架

问题陈述
尽管大语言模型（LLMs）已使自动化多项选择题（MCQ）生成变得日益可行，但要可靠地生成满足受控认知需求的问题仍是一个重大挑战。目前的单次提示（single-pass prompting）方法往往难以使生成的题目与高阶认知技能（如推理、综合）保持一致，并且经常产生干扰项质量不一致、缺乏结构平行性或与原文对齐度表层化的问题。现有的混合方法尚未能在没有额外结构约束的情况下，展示出对生成问题认知复杂度的可靠控制。核心问题在于，如何超越单体式的单次生成模式，构建一个能够系统性针对特定认知水平（文本基础检索、推理性推理和主旨综合）并确保高心理测量学和教学质量的系统。

方法论：ReQUESTA 框架
作者引入了 ReQUESTA（Reading Question-generation Using Educational Smart Text Agents），这是一个混合式多智能体框架，旨在通过协调的一系列由 LLM 驱动的智能体和基于规则的组件来编排 MCQ 的生成过程。ReQUESTA 并非仅仅依赖于模型规模的扩大，而是将创作过程分解为专门的子任务，以确保可控性和可靠性。

架构与工作流：
- 预处理器（基于规则）： 使用句子级解析将输入文本分割成连贯且易于处理的单元。
- 规划器（LLM 驱动）： 分析文本段落以识别关键概念、隐性推理和中心主题。它生成一个结构化计划（中间表示），明确指定哪些段落和元素将用于不同的题型（文本基础型、推理性、主旨型）。
- 控制器（基于规则）： 解析规划器的输出并编排任务执行，将特定的文本段落和认知目标分配给相应的生成智能体。
- 问题生成器（LLM 驱动）： 三个专门的智能体根据规划器的约束生成问题：
  1. 文本基础型： 针对显性事实。
  2. 推理性： 针对需要整合信息的逻辑关系。
  3. 主旨型： 针对宏观主题。
- 评估器（LLM 驱动）： 根据检查清单（清晰度、题干与答案的一致性、干扰项的合理性）对生成的题目进行评估。未通过标准的题目将被退回给生成器进行迭代修订。
- 格式化器（基于规则）： 标准化输出，通过打乱选项顺序并强制执行一致的标签。
- 选项缩减模块： 一个使用协作智能体系统（语法分析器、长度判定器、候选生成器、候选选择器）进行的后处理步骤，用于纠正干扰项之间的长度不平衡问题——这是 LLM 生成中常见的失效模式。
提示工程策略：
该框架采用了四种策略来引导智能体的行为：
1. 基于人格的提示（Persona-based Prompting）： 分配特定角色（如“经验丰富的大学讲师”）以使输出符合评估规范。
2. 思维链（CoT）： 要求智能体报告中间推理步骤，使决策过程变得显性且可检查。
3. 少样本提示（Few-shot Prompting）： 提供有效与无效输出的示例（例如针对选项缩减），以校准风格约束。
4. 自我批判（Self-critique）： 提示智能体在进行外部评估之前，先审查自身输出的常见弱点（歧义、不匹配）。
实验设计：
该框架使用 20 篇来自 OpenStax 教科书的学术说明性文章，针对 GPT-5 零样本基准（单次提示法）进行了评估。
- 参与者： 通过 Prolific 招募的 572 名成年人。
- 任务： 参与者阅读文章并回答每篇文章的 5 道 MCQ（2 道文本基础型，2 道推理性，1 道主旨型）。
- 条件： 采用被试内设计，参与者回答由 ReQUESTA 或 GPT-5 基准生成的题目。
- 指标：
  - 心理测量学： 通过经典检测理论和混合效应逻辑回归分析题目难度（ $p$ ）、区分度（ $D$ ）和点二系列相关系数（ $r_{pb}$ ）。
  - 专家评估： 两名专家评分员根据涵盖答案正确性、干扰项错误性、主题相关性、写作清晰度和干扰项质量（语言特征、语义合理性、唯一性）的量表，对 200 道题目（每种方法 100 道）进行了评分。

关键结果

心理测量表现： ReQUESTA 生成的题目在难度和区分度上始终优于 GPT-5 基准。
- 难度： ReQUESTA 题目的平均难度指数（ $M = 0.786$ ）低于 GPT-5（ $M = 0.902$ ），表明其对学习者而言更具挑战性。
- 区分度： ReQUESTA 题目的区分度显著更高（ $M = 0.39$ 对比 $0.17$），能更好地区分高水平和低水平的阅读者。
- 一致性： ReQUESTA 题目与总分表现出更强的点二系列相关性（ $M = 0.323$ 对比 $0.275$），表明其与整体阅读理解能力的一致性更好。
- 回归分析： 混合效应模型证实，在保持题型和词汇量不变的情况下，题目来源（ReQUESTA）是准确率降低的显著预测因子（ $\beta = -1.277, p < .001$ ）。
专家评估：
- 主题相关性： ReQUESTA 题目在与中心概念的对齐度方面评分显著更高（ $p < .05$ ）。
- 干扰项质量： ReQUESTA 在干扰项语言特征（长度/结构的连贯性）和干扰项语义合理性（对于未能掌握要点的学习者而言的合理程度）方面优于基准，尤其是在推理性问题中。
- 写作清晰度： GPT-5 基准在写作清晰度方面得分更高（ $p < .001$ ），这表明 ReQUESTA 对认知严谨性和复杂干扰项的关注有时会导致题干或选项的简洁度略有下降。
- 正确性： 两种方法在答案正确性和干扰项错误性方面均达到了近乎完美的得分。

意义与贡献
本文声称在 LLM 生成系统领域有三个主要贡献：

设计优于模型规模： 研究表明，通过工作流和编排设计而非单纯扩展模型参数，可以实现自动化 MCQ 生成的实质性提升。通过保持底层 LLM（GPT-5）不变，并引入跨越规划、生成、评估和修订的结构化协调，ReQUESTA 取得了优于单次提示基准的结果。
可控生成框架： ReQUESTA 提出了一种混合架构，将 LLM 的表达能力与确定性的基于规则的处理相结合。通过明确设计智能体边界、任务专业化和迭代反馈循环，该系统能够调节生成人工制品的推理需求和结构约束，从而超越了单体式提示的局限性。
评估实践： 本研究通过利用功能性结果度量（如题目难度、区分度、干扰项合理性）而非仅仅依赖于语法正确性等表层指标，推进了结构化生成系统的评估实践。

结论
作者得出结论，智能体编排可以系统性地提高基于 LLM 生成的可靠性和可控性。ReQUESTA 表明，将复杂任务分解为可审计的中间步骤，并通过重复检查实施约束，比单次提示能产生更可靠、具有认知多样性且符合教学法要求的产物。该框架将自身定位为一种成熟的、由评估驱动的自动化评估生成方法，强调了生成工作流的设计是实现结构化人工制品生成的关键杠杆。