Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

技術的概要：微調整済みトランスフォーマーを用いた多肢選択問題に対する回答不要の項目難度モデリング

問題提起
高精度な教育評価における項目難度の正確な推定は極めて重要であるが、新規作成された項目、セキュリティ上の理由から実施前のプレテスト、あるいは小規模な母集団においては、従来の回答に基づく較正が利用できないことが多い。一方、専門家による判断は部分的な解決策となり得るが、十分な信頼性を欠く。これにより、実施前に項目の文言から直接難度を推論する**回答不要の項目難度モデリング（IDM）**が必要とされる。

既存のアプローチは以下の重大な限界に直面している：

1. 特徴量エンジニアリングパイプライン：これらは可読性や構文の深さなどのテキスト特徴を手動で抽出し、統計モデルに投入する。このプロセスは、形態素構文情報を破棄し、理論駆動型の特徴設計に依存する大規模な前処理（見出し語化、ストップワード除去など）を必要とする。
2. 固定化エンコーダを用いた説明的 IRT：線形論理テストモデル（LLTM）などの手法は、項目特徴を尤度関数に統合する。最近の適応では、手動コーディングされた特徴の代わりに固定化された BERT エンコーダを使用するが、その表現は特定の IDM タスクではなく、汎用的な事前学習目的に紐付いたままとなる。
3. 読解力の課題：読解力に関する多肢選択問題（MCQ）において、難度は文章、質問、選択肢の三者にまたがる推論的要求から生じる。単純な特徴抽出や固定化エンコーダは、特にラベル付き難度データが希薄な応用心理測定で典型的な小サンプル領域において、これらの複雑なコンポーネント間相互作用を捉えられないことが多い。

手法
著者は、手動の特徴量エンジニアリングを排除し、項目の文言に対してエンドツーエンドでエンコーダのみモデル（具体的には ModernBERT）を微調整する 3 つのトランスフォーマーベースのアーキテクチャを提案し、評価した。本研究は RACE++ コーパス（29,618 項目）におけるネストされた訓練サイズ設計を用いており、難度ターゲットは PALRACE サブセットからの人間のラシュ推定値に対して較正された大規模言語モデル（Gemini 2.5 Flash）を用いて疑似ラベル付けされている。

比較された 3 つの手法は以下の通りである：

1. 結合エンコーディング（ベースライン）：

   • アーキテクチャ：文章、質問、選択肢を [SEP] トークンで区切って単一の入力シーケンスに連結する。
   • メカニズム：標準的なトランスフォーマーエンコーダが平坦なシーケンスを処理する。[CLS] トークンからのプール表現が線形回帰ヘッドに渡され、難度（$\hat{b}_i$）を予測する。
   • 目的：予測された難度と疑似ラベル付けされた難度間の平均二乗誤差（MSE）を最小化する。

2. コンポーネント別エンコーディング：

   • アーキテクチャ：文章、質問、選択肢セットを共有エンコーダを通じて個別にエンコードする。
   • メカニズム：各コンポーネントは [CLS] 表現を生成する。これら 3 つのベクトルを連結し、回帰ヘッドに投入する。
   • 動機：MCQ の機能的分解を明示的に強制し、平坦なシーケンスでは失われる可能性のあるディストラクターの相関特徴をモデルが保持できるようにする。

3. マルチタスク学習（MTL）：

   • アーキテクチャ：結合エンコーディングの入力を維持しつつ、補助的な**多肢選択問題解答（MCQA）**ブランチを追加する。
   • メカニズム：共有エンコーダは 2 つのヘッドに供給される：
     • 難度（$\hat{b}_i$）のための回帰ヘッド。
     • 各選択肢が正解である確率を予測する分類ヘッド（$f_\xi$）。
   • 訓練：タスクはバッチごとに交互に実行される。学習可能なタスク条件付けベクトル（$z_t$）が [CLS] 埋め込みに加えられ、アクティブなタスクを信号として伝える。MCQA 損失は負の転移を防ぐため重み付け（$\lambda=0.05$）される。
   • 動機：補助タスクは正則化剤として機能し、エンコーダが選択肢レベルの識別能力を持つ表現を学習することを強制する。これは学習された特徴をテスト受検の認知プロセスと整合させ、主要な難度ラベルが希薄な場合に監督信号を提供する。

主要な結果
モデルは RMSE、$R^2$、およびスピアマンの順位相関係数 $\rho$ を用いて、3 つの訓練セットサイズ（$n \approx 800$、$n \approx 4,300$、および $n \approx 23,000$）で評価された。

• エンドツーエンド微調整の実用性：トランスフォーマーベースのすべての手法は、「ダミー」回帰（訓練セットの平均難度を予測するもの）を大幅に上回った。$n \approx 800$ において、モデルはベースラインと比較して RMSE を 14–16% 削減し、トランスフォーマー微調整が特徴量エンジニアリングパイプラインに対する実用的な代替手段であることを示した。
• コンポーネント別エンコーディング：この変種は、結合エンコーディングに対して検出可能な利益を示さなかった。実際、小サンプルサイズでは RMSE と $R^2$ においてわずかに劣った。著者はこれを、結合エンコーディングにおける自己注意メカニズムがすでにコンポーネント間信号を効果的に抽出しており、明示的なアーキテクチャ分解が冗長であることを示す証拠と解釈している。
• マルチタスク学習（MTL）：
  • 最小のサンプルサイズ（$n \approx 800$）において、MTL はすべての指標（RMSE、$R^2$、および Spearman $\rho$）で結合エンコーディングに対して有意なペア改善をもたらした。
  • 訓練セットサイズが増加するにつれ（$n \approx 4,300$ および $23,000$）、MTL の優位性は減少し、統計的に結合エンコーディングと区別できなくなった。
  • これは、補助的な MCQA 目的が、主要な難度信号が希薄な場合に特に重要な正則化信号を提供するという仮説を確認するものである。

意義と主張
本論文は、トランスフォーマー微調整、特に適切な補助タスクによる正則化を伴うものは、応用測定文脈で典型的な訓練セットサイズにおいて、文言から導出可能な難度信号の相当部分を回復すると主張している。

主な要点は以下の通りである：

• 効率性：エンドツーエンド微調整は、従来の特徴量エンジニアリングの前処理とモデリング段階を、単一のデータ駆動型プロセスに統合する。
• 小サンプル正則化：データが不足する領域において、テスト受検プロセスを模倣する補助タスク（MCQA）を追加することは、モデルが表面的なショートカットを学習するのを防ぎ、汎化を改善する効果的な帰納的バイアスとして機能する。
• 実用的応用：これらの回答不要の予測は、較正ワークフローにおける事前分布または初期推定値として機能し、その後の回答に基づく精緻化に必要なサンプルサイズを削減する可能性がある。

著者は、テスト受検戦略や視覚的レイアウトなどの要因が文言には含まれておらず、また疑似ラベル付けされたターゲット自体が LLM と基礎となるラシュ推定の両方からのノイズを含んでいることを認め、テキストベースの予測の絶対的な上限については慎重な姿勢を維持している。しかし、このフレームワークは、将来の心理測定的動機付けの拡張のためのカスタマイズ可能なインターフェースを提供する。