💬 NLP

Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

该论文提出了一种基于大语言模型和直接偏好优化技术的新型方法，旨在解决现有方案无法直接生成多项选择题且难度控制精度不足的问题，从而实现阅读理解任务中可精确控制难度的多项选择题生成。

原作者： Yuto Tomikawa, Masaki Uto

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuto Tomikawa, Masaki Uto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何教 AI 像老师一样出题”**的有趣故事。

想象一下，你是一位老师，需要给不同水平的学生出阅读理解题。

给初学者出题，题目要简单，答案就在文章里一眼能看到（比如“文章里提到了什么颜色？”）。
给高手出题，题目要难，需要把好几段话串起来推理，甚至要理解言外之意（比如“作者为什么在第三段提到这个观点？”）。

以前的 AI 虽然能出题，但有两个大毛病：

只会出“填空题”：它只能让你从文章里圈出一个词作为答案，但学校考试里最常用的是**“选择题”**（有 A、B、C、D 四个选项）。
控制难度像“盲人摸象”：以前的 AI 虽然知道要出“简单”或“难”的题，但它并没有真正学会怎么精准控制。就像你让厨师做“微辣”的菜，他可能做出来的菜要么没味，要么辣得你流泪，很难精准控制那个“度”。

为了解决这两个问题，这篇论文的作者（Yuto Tomikawa 和 Masaki Uto）发明了一种新方法，我们可以把它比作**“给 AI 老师上了一堂‘因材施教’的特训课”**。

核心故事：从“死记硬背”到“看人下菜碟”

1. 以前的做法：死记硬背 (SFT)

以前的 AI 学习出题，就像学生死记硬背。老师给它看很多“文章 + 题目 + 答案”的例子，告诉它：“看到这种文章，就生成这种题目。”

结果：它能出题，也能勉强说出“简单”或“困难”的题，但它并不真正理解“为什么这道题是难的”。它只是模仿了格式，没有掌握“难度”的精髓。

2. 新方法的突破：直接偏好优化 (DPO)

作者给 AI 换了一种更聪明的训练方式，叫DPO（直接偏好优化）。这就像给 AI 老师安排了一位**“挑剔的考官”**。

场景模拟：
- 考官（也就是那个“难度控制器”）对 AI 说：“我要一道难度等级为 2.0（中等偏难）的选择题。”
- AI 出了两道题：
  - 题 A：太简单了，小学生都能做对。
  - 题 B：太难了，只有博士能猜对。
  - 题 C：刚刚好，中等水平的学生做对概率是 50%。
- 以前的 AI：可能随便选一个，或者随机选。
- 用了 DPO 的 AI：考官会直接告诉它：“题 C 最好，题 A 和题 B 都不行。”AI 通过这种**“二选一”的反馈**（你出的题 A 比题 B 好，或者题 C 比题 A 好），迅速学会了如何精准地调整题目难度。

这就好比教一个调酒师：以前是让他背配方（死记硬背），现在是让他尝味道，告诉他“这杯太甜，那杯太酸，这杯刚刚好”，让他通过品味反馈来掌握调酒的精准度。

他们是怎么做的？（三个关键步骤）

造一群“虚拟学生”：
因为收集真实学生的答题数据太慢太贵，作者用了很多不同水平的 AI 模型（从简单的到复杂的）来扮演“学生”。这些“虚拟学生”水平参差不齐，有的像小学生，有的像大学生。
给题目“贴标签”：
让这群“虚拟学生”去答题。如果连“小学生”都能做对，题目就是简单的；如果只有“大学生”能做对，题目就是难的。通过这种方式，给每一道题都贴上了一个精准的**“难度标签”**（用数学模型 IRT 计算出来的数值）。
特训 AI 出题：
先让 AI 学会基本的出题（死记硬背阶段），然后再用上面的“难度标签”和“虚拟学生”的反馈，通过DPO技术进行特训。让 AI 明白：当你被要求出“难度 2.0"的题时，你应该生成什么样的题目，才能正好难倒一半的“中等生”。

效果怎么样？

作者用了一个叫 RACE 的英语阅读理解数据集来测试，结果非常棒：

精准度提升：以前 AI 出的题，难度可能飘忽不定；现在，如果你要求出“难度 2.0"的题，它出的题真的就是那个难度，就像狙击手一样精准。
质量没下降：有人担心，为了控制难度，题目会不会变得不通顺或者没意义？测试发现，题目的通顺度和相关性完全没有变差，依然像人写的。
选择题也能控：这是第一次能直接生成高质量的选择题（带干扰项），而不仅仅是填空题。

为什么这很重要？（比喻总结）

想象一下自适应学习系统（比如那种根据你水平自动调整难度的 APP）：

以前：系统给你出题，就像扔飞镖，有时候太简单让你无聊，有时候太难让你想放弃。
现在：有了这个新方法，系统就像一位经验丰富的老教练。它能精准地判断你的水平，然后从“题库”里（或者现场生成）拿出一道**“刚刚好”**的题给你。这道题能让你跳一跳够得着，既不会挫败你，也不会让你觉得没挑战。

总结

这篇论文的核心就是：利用一种叫 DPO 的新技术，教会了大语言模型如何像人类老师一样，精准地控制选择题的难度。

它不再只是机械地模仿，而是真正理解了“难度”的含义。这对于未来的教育 AI 来说，意味着我们可以拥有无数个不知疲倦、且能根据每个学生水平量身定制题目的超级助教。虽然目前还有一些小瑕疵（比如偶尔题目选项不够完美），但这已经是一个巨大的飞跃了。

这是一份关于论文《基于大语言模型和直接偏好优化的难度可控多项选择题生成》（Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
在教育领域，自适应学习系统需要大量不同难度的阅读理解题目来匹配学习者的能力水平。自动题目生成（Automatic Question Generation, QG）技术旨在利用 AI 从阅读材料中自动生成题目，以减轻人工出题的负担。

现有挑战与局限性：
尽管现有的神经 QG 方法在生成高质量题目方面取得了进展，但在“难度可控”方面仍存在两个主要局限：

题型限制： 传统方法主要生成“抽取式答案”题目（即答案直接来自原文的片段），无法直接生成教育场景中最常用的多项选择题（Multiple-Choice Questions, MCQs）。
难度控制精度不足： 现有方法通常通过监督微调（SFT）最大化给定难度标签和阅读材料的条件似然来训练。这种方法并未显式地优化难度控制的准确性，导致生成的题目难度与指定难度之间存在偏差，难以精确匹配特定学习者的能力。

2. 方法论 (Methodology)

本文提出了一种基于大语言模型（LLM）和**直接偏好优化（Direct Preference Optimization, DPO）**的新型多项选择题生成方法。

2.1 核心架构

基座模型： 使用开源大语言模型 Llama 3.1。
输入输出：
- 输入： 阅读材料（Context）+ 指定的难度等级（Difficulty Level, $b$ ）。难度等级基于项目反应理论（IRT）量化（范围通常为 -3.0 到 3.0）。
- 输出： 题目文本（Question）、正确选项（Correct Option）以及三个干扰项（Distractors）。

2.2 数据集构建 (Dataset Construction)

由于通用数据集（如 RACE）缺乏题目难度标签，作者构建了一个带有难度标签的多项选择题数据集：

构建 QA 系统群： 利用 10 种不同的预训练 Transformer 模型（如 BERT, RoBERTa, ALBERT 等），通过调整训练数据比例（10%-100%），构建了 77 个具有不同能力水平的虚拟“学习者”QA 系统。
难度估计： 将这些 QA 系统对题目进行作答，利用Rasch 模型（IRT 的一种）根据作答结果估算每个题目的难度参数（ $b$ ）和 QA 系统的能力参数（ $\theta$ ）。
数据增强： 将估算的难度值添加到原始数据中，形成包含 $(c, q, a, d_1, d_2, d_3, b)$ 的四元组/五元组数据集。

2.3 训练流程

训练分为两个阶段：

初始监督微调 (SFT)：
- 使用构建好的数据集对 Llama 3.1 进行微调，目标是最大化生成题目和选项的似然概率。
- 此阶段使模型具备生成符合格式的多项选择题的基本能力，但难度控制精度未达最优。
直接偏好优化 (DPO)：
- 目的： 显式优化难度控制的准确性。
- 原理： DPO 是一种无需强化学习（RL）显式奖励模型即可优化偏好对齐的方法。它通过数学推导将 RLHF 的目标函数转化为分类损失函数。
- 偏好数据构建 ( $D_{dpo}$ )：
  - 优选样本 ( $y_w$ )： 输入为 $(c, b)$ ，输出为对应难度 $b$ 的正确题目。
  - 劣选样本 ( $y_l$ )： 输入为相同的 $(c, b)$ ，但输出是从同一阅读材料中随机选取的、难度不匹配的题目。
- 优化目标： 最小化 DPO 损失函数，使模型生成的题目难度分布更接近指定的难度标签，同时保持与 SFT 模型的分布差异（KL 散度）在可控范围内。

3. 关键贡献 (Key Contributions)

首个难度可控的 MCQ 生成框架： 提出了一种能够直接从阅读材料生成包含正确选项和干扰项的多项选择题的方法，填补了现有研究多局限于抽取式答案的空白。
引入 DPO 提升难度控制精度： 创新性地将 DPO 技术应用于教育题目生成领域，通过显式优化难度控制目标，显著提高了生成题目难度与指定难度的一致性。
基于 IRT 的数据构建方法： 利用虚拟 QA 系统和 Rasch 模型，成功为缺乏难度标签的现有数据集（RACE）构建了高质量的难度标注数据。
全面的评估体系： 不仅评估了难度控制精度，还通过 Fisher 信息量分析了题目对能力估计的贡献，并评估了题目的流畅度、相关性和可解性。

4. 实验结果 (Results)

实验在 RACE 数据集上进行，对比了仅经过 SFT 的模型（ $QG_{sft}$ ）和经过 DPO 优化的模型（ $QG_{dpo}$ ）。

难度控制精度：
- 正确率相关性： $QG_{dpo}$ 生成的题目正确率曲线更贴近 Rasch 模型的理论预期曲线。
- 误差分析： 指定难度与估算难度之间的平均绝对误差（MAE）， $QG_{dpo}$ (1.07) 显著优于 $QG_{sft}$ (1.41)。
- Few-shot 对比： 实验表明，仅通过 Few-shot Learning（少样本提示）无法实现有效的难度控制，验证了微调 + DPO 的必要性。
能力估计准确性 (Fisher Information)：
- 在特定能力水平 $\theta$ 处， $QG_{dpo}$ 生成的题目具有更高的 Fisher 信息量。这意味着在自适应测试中，使用 $QG_{dpo}$ 能更准确地估计学习者的能力。
题目质量评估 (LLM-as-a-Judge)：
- 在流畅度和内容相关性方面， $QG_{dpo}$ 与 $QG_{sft}$ 及人工出题水平相当，未出现质量下降。
- 可解性 (Answerability) 方面，两者均略低于人工出题，但 DPO 并未恶化这一问题。
推理类型分析：
- 随着指定难度增加， $QG_{dpo}$ 生成的题目中“多句推理”（Multi-sentence reasoning）类型的比例显著增加，而“单词匹配”（Word matching）比例下降，表明模型能根据难度要求调整题目的认知复杂度。

5. 意义与展望 (Significance & Future Work)

意义：

该方法为自适应学习系统提供了强有力的工具，能够根据学习者的实时能力水平，动态生成难度精准匹配的多项选择题。
证明了 DPO 在优化非自然语言生成任务（如教育评估中的难度控制）中的有效性，为 LLM 在垂直领域的精细化控制提供了新范式。

局限与未来工作：

可解性优化： 目前生成的题目仍存在部分不可解（无正确答案或多解）的情况。未来计划利用外部 LLM 作为评判器，通过反馈循环进一步优化 DPO 的奖励信号。
数据稀缺问题： 当前依赖大规模数据集（RACE），未来将探索数据增强技术，以在低资源教育场景下实现可控题目生成。
教育效益验证： 未来将在真实的自适应测试环境中部署该方法，评估其对提升学习者能力估计效率和最终学习效果的长期影响。

总结： 该论文通过结合大语言模型、项目反应理论（IRT）和直接偏好优化（DPO），成功解决了对阅读材料生成“难度可控的多项选择题”这一难题，显著提升了题目难度控制的准确性，同时保持了题目的高质量，具有重要的教育技术应用价值。