💬 NLP

Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

この論文は、直接選好最適化（DPO）を用いて大規模言語モデルを学習させることで、読解問題の難易度を正確に制御し、かつ多肢選択形式を直接生成できる新しい手法を提案するものである。

原著者： Yuto Tomikawa, Masaki Uto

公開日 2026-03-24

📖 1 分で読めます☕ さくっと読める

原著者： Yuto Tomikawa, Masaki Uto

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎓 背景：先生が抱える「問題作成」の大変さ

学校や勉強の現場では、生徒のレベルに合わせて「簡単な問題」から「難しい問題」まで、読み解き問題を用意する必要があります。
でも、人間が一つ一つ手作業で作ると、時間がかかりすぎて大変です。そこで、AI（人工知能）に作らせようという研究が進んでいます。

しかし、これまでの AI には2 つの大きな弱点がありました。

選択肢付きの問題が作れない： 多くのテストで使われる「4 つの選択肢から正解を選ぶ形式」ではなく、文章から答えを抜き出す形式しか作れなかった。
難易度のコントロールが甘い： 「簡単な問題を作って」と言っても、AI が作る問題の難しさがバラバラで、狙ったレベルにぴったり合わせるのが難しかった。

🚀 この論文の解決策：「DPO」という魔法の調味料

この研究では、最新の巨大言語モデル（LLM）を使い、**「直接選好最適化（DPO）」**という新しい学習手法を取り入れました。

【イメージ：料理の味付け】

これまでの AI（SFT）： 料理のレシピ（データ）をただ丸暗記して、同じように作るだけ。だから「少し塩辛い」「少し甘すぎる」という味（難易度）の調整が苦手。
新しい AI（DPO 使用）： 料理人（AI）に、「この味は『簡単』すぎるからダメ、この味は『難しい』から OK」と**「正解・不正解」を直接教えて学習させる**方法。
- これにより、AI は「指定された難易度（味）」にぴったり合う問題を作るように、自分自身で調整する力を身につけました。

🎮 実験：ゲームの難易度設定のように

研究者たちは、この新しい AI をテストしました。
「難易度 -2.0（超簡単）」「0.0（普通）」「+2.0（超難問）」と指定して問題を作らせ、実際に 77 種類の AI 先生（仮想の生徒）に解かせてみました。

【結果】

指定した難易度と、実際に解けた人の割合が完璧に一致！
- 「簡単」と指定すれば、みんな正解する。
- 「難しい」と指定すれば、みんな間違える。
従来の方法（SFT だけ）だと、指定した難易度と実際の難しさにズレがありましたが、新しい方法（DPO）を使うと、そのズレが大幅に減りました。

まるで、ゲームの難易度設定を「Easy」「Normal」「Hard」に切り替えるように、AI が自在に問題のレベルを操れるようになったのです。

🧐 質は落ちない？「美味しいけど栄養価が高い」

「難易度を調整するなんて、問題の質（文法や内容）がボロボロにならないかな？」と心配するかもしれません。
でも、実験結果は**「大丈夫！」**でした。

文法は自然で、
内容も文章に合っており、
答えも一つに決まっている（答えられる）問題が作れていました。

つまり、「難易度調整」と「問題の質」は両立できたのです。

🎯 なぜこれが重要なの？（アダプティブ学習）

この技術が実現すると、**「一人ひとりに合わせた勉強」**が本当の意味で可能になります。

生徒 A さん（苦手）： 「この問題は簡単すぎるよ」と感じたら、AI が自動的に「もう少し簡単な問題」を次々と出してくれる。
生徒 B さん（得意）： 「簡単すぎる！」と感じたら、AI が「少し難しい問題」を出してくれる。

これにより、生徒は自分のレベルに合った「ちょうど良い難しさ」の問題を解き続けることができ、勉強の効率が劇的に向上します。

🏁 まとめ

この論文は、**「AI に『難易度』というスイッチを付けて、教育現場で使える高品質な選択肢付き問題を自動生成する」**という画期的な方法を提案しました。

従来の AI： 問題を作るのは上手だが、難易度の調整が下手。
新しい AI： 難易度をピタリと合わせられるようになり、教育の未来を明るくする。

まるで、**「生徒のレベルに合わせて、その場で最適な問題を作る魔法の先生」**が誕生したようなものです。これからの教育を大きく変える可能性を秘めています。

以下は、提示された論文「Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization（直接選好最適化を用いた大規模言語モデルによる難易度制御可能な多肢選択問題生成）」の技術的な要約です。

1. 研究の背景と課題 (Problem)

教育分野における適応型学習支援や大規模試験の管理において、読解問題の自動生成（Automatic Question Generation: QG）は重要な技術です。特に、学習者の能力レベルに合わせた**「難易度制御」**が可能な問題生成は、適応型学習システムの実現に不可欠です。

既存の難易度制御可能な QG 手法には、以下の 2 つの重大な限界がありました。

問題形式の制限: 既存手法は主に「抜粋型（Extractive）」の問題（文中の語句を答えとして抽出する形式）を生成するものであり、教育現場で最も一般的に使用される**「多肢選択問題（Multiple-Choice Questions）」**を直接生成することができませんでした。
難易度制御精度の最適化不足: 既存手法は、与えられた難易度レベルと文章に対して問題文の条件付き尤度を最大化するよう教師あり微調整（SFT）を行っていましたが、「生成された問題の難易度が指定された難易度と一致するか」という制御精度そのものを明示的に最適化するトレーニングを行っていませんでした。

2. 提案手法 (Methodology)

本研究は、大規模言語モデル（LLM）と**直接選好最適化（Direct Preference Optimization: DPO）**を組み合わせることで、難易度制御精度を向上させた多肢選択問題生成手法を提案しています。

A. 基礎モデルとデータセット構築

ベースモデル: オープンソースの LLM「Llama 3.1」を使用。
難易度付きデータセットの構築: 既存の多肢選択問題データセット（RACE データセット）には難易度ラベルが存在しないため、以下の手順で難易度を推定・付与しました。
1. 性能の異なる QA システム（77 個の Transformer モデル）を構築し、これらを「仮想学習者」として問題に回答させる。
2. 回答データに基づき、項目反応理論（IRT）、具体的にはラシュモデルを用いて各問題の難易度パラメータ（ $b$ ）を推定する。
3. 推定された難易度をデータセットに付加し、学習用データを作成する。

B. 学習プロセス

提案手法は 2 段階の学習プロセスを経ます。

初期微調整（Initial Fine-tuning / SFT）:
- 上記の難易度付きデータセットを用いて、Llama 3.1 を教師あり微調整します。
- 入力：文章（Context）＋指定難易度（Difficulty Level）。
- 出力：問題文、正解選択肢、3 つの誤答選択肢（ダミー）。
- この段階で、モデルは指定された難易度で多肢選択問題を生成する能力を獲得しますが、制御精度の最適化は行われていません。
直接選好最適化（DPO）による精度向上:
- SFT 後のモデルをベースに、DPO を適用して難易度制御精度を明示的に最適化します。
- 報酬関数: 指定された難易度と、生成された問題の推定難易度（ラシュモデルによる）との二乗誤差の負の値を報酬とします。
- 選好データの構築: 同一の入力（文章＋難易度）に対し、「指定難易度に近い問題（良い出力 $y_w$ ）」と「異なる難易度の問題（悪い出力 $y_l$ ）」のペアをデータセットから構成します。
- DPO は、強化学習（RLHF）と数学的に同等ですが、報酬モデルの学習や複雑な RL 学習プロセスを不要とし、効率的に最適化を実現します。

3. 主要な貢献 (Key Contributions)

多肢選択問題の直接生成: 難易度制御可能な QG 手法として、初めて多肢選択問題（正解＋3 つの誤答）を直接生成する枠組みを確立しました。
DPO による制御精度の最適化: 従来の SFT だけでは不十分だった「難易度制御の精度」を、DPO を用いて明示的に最適化する手法を提案しました。
IRT との統合: 学習者の能力と問題の難易度を関連付ける項目反応理論（IRT）に基づいた難易度推定を生成プロセスに組み込み、教育学的な妥当性を担保しました。

4. 実験結果 (Results)

RACE データセットを用いた実験により、以下の結果が得られました。

難易度制御精度の向上:
- 指定された難易度（-3.0 から 3.0）に対して、DPO 適用モデル（ $QG_{dpo}$ ）は、SFT のみのモデル（ $QG_{sft}$ ）よりも生成問題の推定難易度が指定値に近づきました。
- 平均絶対誤差（MAE）は、 $QG_{sft}$ が 1.41 だったのに対し、 $QG_{dpo}$ は 1.07 と大幅に改善されました。
- 正答率と指定難易度の関係、および推定難易度と指定難易度の関係において、 $QG_{dpo}$ の結果が理論的な期待値（ラシュモデルの曲線）に最も近い傾向を示しました。
能力推定精度への寄与（フィッシャー情報量）:
- 学習者の能力推定精度を示す指標である「フィッシャー情報量」を評価した結果、 $QG_{dpo}$ は指定難易度付近でより高いフィッシャー情報量を示しました。これは、適応型テストにおいて学習者の能力をより正確に推定できることを意味します。
問題品質の評価:
- 流暢さ（Fluency）、内容の関連性（Relevance）、解答可能性（Answerability）を LLM-as-a-Judge 手法で評価したところ、DPO 適用によりこれらの品質が劣化することはなく、SFT のみのモデルと同等の品質を維持していました。
Few-shot 学習との比較:
- 既存の LLM 手法である Few-shot 学習（プロンプトに例を提示する手法）では、難易度制御が機能せず、指定難易度と生成問題の難易度に相関が見られませんでした。これにより、本研究の DPO を用いた微調整手法の有効性が裏付けられました。
質的分析:
- 難易度が上がるにつれて、単純な「単語一致」から「多文脈推論」へと推論タイプの複雑さが増加する傾向が、 $QG_{dpo}$ の方がより明確に現れていました。

5. 意義と結論 (Significance)

本研究は、教育 AI の分野において、**「学習者の能力レベルに即した多肢選択問題を、高精度に制御して自動生成する」**ための実用的な手法を確立しました。

適応型学習への貢献: 生成された問題の難易度が学習者の能力に正確に合致するため、適応型学習システムや大規模試験のアイテムプール構築において、より効率的で公平な評価が可能になります。
技術的革新: 強化学習の一種である DPO を QG 分野に応用し、制御タスクの精度を向上させる有効性を示しました。これは、単に「良い文章を生成する」だけでなく、「特定の属性（ここでは難易度）を厳密に制御する」というタスクにおいて、LLM の微調整手法として DPO が有効であることを実証した点で重要です。

今後の課題として、生成問題の「解答可能性（正解が一意に定まるか）」のさらなる向上や、小規模データセットでの適用（データ拡張技術の検討）、および実際の適応型学習環境での教育的効果の実証が挙げられています。