Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

技術要約：ReQUESTA – 認知的多様性を考慮したハイブリッド型マルチエージェントMCQ生成フレームワーク

問題提起
大規模言語モデル（LLM）により、自動的な多肢選択式問題（MCQ）の生成はますます実現可能となっているが、制御された認知的要求を満たす項目を確実に生成することは依然として大きな課題である。現在のシングルパス・プロンプティング手法は、生成された問題が高次の認知スキル（例：推論、統合）に適合させることにおいて苦戦することが多く、ディストラクタ（誤選択肢）の質の一貫性の欠如、構造的な並行性の不足、あるいはソーステキストとの表面的な整合性といった問題が頻繁に発生する。既存のハイブリッドなアプローチにおいても、追加の構造的制約なしに、生成される問題の認知的な複雑さを確実に制御できることはまだ実証されていない。対処すべき核心的な問題は、単一のモノリシックな生成から脱却し、特定の認知レベル（テキストに基づく想起、推論的推論、および主旨の統合）を体系的にターゲットとしつつ、高い心理計量的および教育的な質を確保できるシステムをいかに構築するかである。

手法：ReQUESTAフレームワーク
著者らは、LLMを活用したエージェントとルールベースのコンポーネントによる調整されたシーケンスを通じて、MCQ生成をオーケストレーションするために設計されたハイブリッド型マルチエージェント・フレームワークであるReQUESTA（Reading Question-generation Using Educational Smart Text Agents）を提案している。モデルのスケーリングのみに頼るのではなく、ReQUESTAは、制御可能性と信頼性を確保するために、執筆プロセスを専門化されたサブタスクへと分解している。

• アーキテクチャとワークフロー：

  • プリプロセッサ（ルールベース）： 入力テキストを文レベルのパースを用いて、一貫性のある管理可能な単位に分割する。
  • プランナー（LLM駆動）： セグメントを分析し、主要な概念、暗黙的な推論、および中心的なテーマを特定する。どのセグメントと要素を異なる問題タイプ（テキストベース、推論、主旨）に使用するかを指定する、構造化された計画（中間表現）を生成する。
  • コントローラー（ルールベース）： プランナーの出力を解釈し、タスクの実行をオーケストレートして、特定のテキストセグメントと認知ターゲットを適切なジェネレーター・エージェントに割り当てる。
  • 問題ジェネレーター（LLM駆動）： プランナーの制約に基づき、3つの特化したエージェントが問題を生成する：
    1. テキストベース： 明示的な事実をターゲットとする。
    2. 推論的： 情報の統合を必要とする関係性をターゲットとする。
    3. 主旨： 全体的なテーマをターゲットとする。
  • エバリュエーター（LLM駆動）： 生成された項目をチェックリスト（明快さ、ステムと正解の整合性、ディストラクタの妥当性）に照らして評価する。基準を満たさない項目は、反復的な修正のためにジェネレーターに返される。
  • フォーマッター（ルールベース）： 出力を標準化し、選択肢をシャッフルし、一貫したラベル付けを強制する。
  • オプション短縮モジュール： ディストラクタ間の長さの不均衡（LLM生成における一般的な失敗モード）を修正するための、協調型エージェント・システム（構文アナライザー、長さ決定器、候補生成器、候補セレクター）を用いた後処理ステップ。

• プロンプト・エンジニアリング戦略：
  フレームワークは、エージェントの振る舞いを導くために4つの主要な戦略を採用している：

  1. ペルソナ・ベース・プロンプティング： 出力を評価規範に合わせるため、特定の役割（例：「経験豊富な大学講師」）を割り当てる。
  2. 思考の連鎖（Chain-of-Thought: CoT）： エージェントに中間的な推論ステップを報告することを要求し、意思決定プロセスを明示的かつ検証可能にする。
  3. フューショット・プロンプティング： 効果的な出力と不適切な出力（例：オプション短縮の場合）の例を提供し、スタイルの制約を調整する。
  4. 自己批判（Self-critique）： エージェントに対し、外部評価の前に、自身の出力における一般的な弱点（曖昧さ、不整合など）をレビューするよう促す。

• 実験デザイン：
  本フレームワークは、OpenStaxの教科書から抽出された20の学術的な説明文を用い、GPT-5ゼロショット・ベースライン（シングルパス・プロンプティング）と比較評価された。

  • 参加者： Prolificを通じて募集された572人の成人。
  • タスク： 参加者は文章を読み、各文章につき5つのMCQ（テキストベース2、推論的2、主旨1）に回答した。
  • 条件： 参加者がReQUESTAまたはGPT-5ベースラインによって生成された項目に回答する、被験者内デザイン。
  • 指標：
    • 心理計量的指標： 古典的テスト理論および混合効果ロジスティック回帰を用いて分析された、項目の難易度（$p$）、識別力（$D$）、および点二系列相関係数（$r_{pb}$）。
    • 専門家評価： 2名の専門家評価者が、正解性、不正解のディストラクタ、トピックの関連性、文章の明快さ、およびディストラクタの質（言語的特徴、意味的妥当性、一意性）をカバーするルーブリックを用いて、200項目（各手法100項目）をスコア化した。

主な結果

1. 心理計量的パフォーマンス： ReQUESTAが生成した項目は、GPT-5ベースラインよりも一貫して難易度が高く、識別力が高いものであった。

   • 難易度： ReQUESTAの項目は、GPT-5（$M = 0.902$）と比較して、平均難易度指数が低い（$M = 0.786$）ことが示され、学習者にとってより困難であることを示した。
   • 識別力： ReQUESTAの項目は、有意に高い識別力（$M = 0.39$ 対 $0.17$）を示し、高成績者と低成績者の読者をより良く判別した。
   • 整合性： ReQUESTAの項目は、合計テストスコアとの点二系列相関がより強く（$M = 0.323$ 対 $0.275$）、読解能力全体との適合性が高いことを示した。
   • 回帰分析： 混合効果モデルにより、問題のタイプや語彙を一定に保った場合でも、質問のソース（ReQUESTA）が正答率の低下の有意な予測因子であることが確認された（$\beta = -1.277, p < .001$）。

2. 専門家評価：

   • トピックの関連性： ReQUESTAの項目は、中心的概念との整合性において有意に高く評価された（$p < .05$）。
   • ディストラクタの質： ReQUESTAは、ディストラクタの言語的特徴（長さや構造の一貫性）および、意味的妥当性（ポイントを見落とした学習者にとっての妥当性）（特に推論問題において）の両面で、ベースラインを上回った。
   • 文章の明快さ： GPT-5ベースラインは文章の明快さにおいて高いスコアを得た（$p < .001$）。これは、ReQUESTAが認知的な厳密さと複雑なディストラクタに注力することで、時にステムや選択肢がわずかに簡潔さを欠くというトレードオフを示唆している。
   • 正解性： 両手法とも、正解性と不正解のディストラクタについてはほぼ完璧なスコアを達成した。

意義と貢献
本論文は、LLMベースの生成システム分野への主要な貢献として以下の3点を主張している：

1. モデルのスケーリングに対するワークフロー設計： 本研究は、自動的なMCQ生成における有意義な改善は、モデルのパラメータをスケールさせることではなく、ワークフローとオーケストレーションの設計を通じて達成できることを示している。基礎となるLLM（GPT-5）を一定に保ち、計画、生成、評価、および修正にわたる構造化された調整を導入することで、ReQUESTAはシングルパスのベースラインよりも優れた成果を上げた。
2. 制御可能な生成フレームワーク： ReQUESTAは、LLMの表現力と、決定論的なルールベースの処理を組み合わせたハイブリッド・アーキテクチャを提案している。エージェントの境界、タスクの専門化、および反復的なフィードバックループを明示的に設計することで、システムは生成されるアーティファクトの推論要求と構造的制約を制御し、モノリシックなプロンプティングの限界を超えている。
3. 評価の実践： 本研究は、表面的な文法性などの指標だけでなく、機能的なアウトカム指標（例：項目の難易度、識別力、ディストラクタの妥当性）を用いることで、構造化された生成システムの評価手法を進展させている。

結論
著者らは、エージェントによるオーケストレーションが、LLMベースの生成の信頼性と制御可能性を体系的に向上させることができると結論づけている。ReQUESTAは、複雑なタスクを監査可能な中間ステップに分解し、繰り返しのチェックを通じて制約を課すことが、シングルパス・プロンプティングよりも信頼性が高く、認知的に多様で、教育的に適合したアーティファクトを生み出すことを示している。このフレームワークは、構造化されたアーティファクト生成のための鍵となるレバーが、生成ワークフローの設計にあることを強調しており、自動評価生成のための成熟した、評価主導のアプローチとして位置づけられる。