Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

あなたは、新しい数学のテストを作成しようとしている教師だと想像してください。テストを実際の生徒に配る前に、あなたは知っておく必要があります。「この問題は難しすぎるのではないか？」「あの問題は簡単すぎるのではないか？」と。通常、これを知る唯一の方法は、大勢の実在する子供たちにテストを受けさせ、答案を採点し、数値を算出することです。これは時間がかかり、費用もかかり、大変な作業です。

そこで「シミュレーションされた生徒」の登場です。科学者たちは、AI（人工知能）を使ってこれらの生徒の役割を演じさせようと試みてきました。そのアイデアは、超スマートなコンピュータにテストを受けさせ、回答を生成させ、その回答を用いて問題の難易度を判断するというものです。これは、時間と費用を節約するための近道のように聞こえます。しかし、ここには落とし穴があります。これらのAI生徒は「完璧すぎる」のです。彼らは、全員が天才で、決して間違いを犯さず、すべての質問に対して全く同じように回答するクラスのようなものです。もし、完璧な天才たちのクラスに基づいてテストを採点しようとすれば、すべての問題が簡単であると考えてしまい、実際に苦戦している生徒たちを見逃してしまうことになります。AIはあまりにも均一で正確すぎて、現実の、もっと「いびつな」教室の代わりを務めるには不向きなのです。

ここで、ウェンジ・ジョウ（Wenjie Zhou）とその同僚たちによる新しい研究が登場します。彼らはシンプルな問いを立てました。「AIに『ダメな』生徒になってもらうことはできるだろうか？」と。単なるランダムなダメな生徒ではなく、具体的で現実的なスキルの組み合わせを持つ生徒――例えば、分数の足し算は得意だが、約分は苦手な生徒――です。彼らは**認知診断プロファイリング（Cognitive Diagnostic Profiling: CDP）**と呼ばれる手法を開発しました。単にAIに「テストを受けろ」と指示するのではなく、AI生徒がどのスキルを習得しており、どのスキルが欠けているかを詳細に記述した「キャラクターシート」を与えるのです。これらの特定のプロファイル（属性）をAIに読み込ませることで、彼らは、天才、平均的な生徒、そして特定の概念で苦戦している生徒が混在する、実際の教室のように振る舞うシミュレーションされた教室を作り出すことに成功しました。

「完璧な」AI生徒の問題点

研究者たちは、まず大規模言語モデル（LLM）――チャットボットを動かしているような種類のAI――に、単にテストを受けるよう指示した場合に何が起こるかをテストすることから始めました。彼らは、実在する中学生536人が受けた、分数 subtraction（減法）に関する15問のテストという古典的なデータセットを使用しました。このテストは、「整数からの借り（繰り下がり）」や「整数から分数への変換」といった5つの特定のスキルを確認するように設計されていました。

AIに特別な指示を与えずにテストを受けさせた場合（「プロファイルなし」のベースライン）、AIは超人的に振る舞いました。ほとんどすべてを正解したのです。結果は退屈なほど一様でした。AI生徒はすべてスコアの上限付近に集まり、テストは非常に簡単に見えました。研究者たちは、AIの回答が実際の人間のデータとは全く一致しないことを発見しました。AIは賢すぎ、かつ一貫しすぎていたため、「過剰な正確性の呪い」が生じており、現実の教室の多様性をシミュレートできていなかったのです。それは、晴れた日だけを見て天気を予測しようとするようなもので、雨や嵐、そして雲を見逃してしまいます。

解決策：AIに「キャラクターシート」を与える

これを修正するために、チームは**認知診断プロファイリング（CDP）**を導入しました。これは、テストを開始する前に、AIに詳細な伝記を与えるようなものだと考えてください。

1. 設計図（Blueprint）： まず、テストを5つの核となるスキル（属性）に分解しました。
2. プロファイル（Profile）： 単に「生徒になれ」と言う代わりに、シミュレートされた各生徒に対して「プロファイル」を作成しました。このプロファイルは、バイナリ（二値）のスイッチのリストです。「スキルAができるか？ はい／いいえ。スキルBができるか？ はい／いいえ。」
3. 翻訳（Translation）： 彼らはこれらのスイッチを自然言語に変換しました。例えば、あるプロファイルは次のように記述されます。「あなたは、分数の簡略化には非常に長けているが、整数からの借り（繰り下がり）に苦労する生徒です。基礎は理解していますが、数字が複雑になると混乱します。」
4. シミュレーション（Simulation）： 彼らはこの記述をテストの問題と一緒にAIに投入しました。そして、AIはその特定の生徒であるかのように振る舞って回答しました。

彼らは、これらのプロファイルを作成するために2つの方法をテストしました。1つ目の方法（非情報的CDP / Uninformative CDP）では、AI生徒にスキルをランダムに割り当て、能力の幅広い混在を作り出しました。2つ目の方法（情報的CDP / Informative CDP）では、実在する人間の生徒のデータを使用して、天才、平均的な生徒、苦戦している生徒がどれくらい存在すべきかを決定し、実際の教室におけるスキルの分布を模倣しました。

結果： 「完璧」から「リアル」へ

結果は劇的な変化をもたらしました。AI生徒にこれらのキャラクターシートを与えると、シミュレーションは突如として現実的なものになりました。

• 分布（Distribution）： 「プロファイルなし」のバージョンでは、AI生徒はすべて上部に固まっていました。プロファイルを用いることで、スコアは分散しました。「情報的CDP」を用いた方法は、実在する人間の生徒とほぼ同一に見えるベルカーブ（正規分布）を作り出しました。AIの能力分布と実際の人間の分布の重なりは、低い0.36から高い0.83（1.0が同一であることを示す）へと跳ね上がりました。
• プロファイル（Profiles）： 研究者たちは、AIが演じているキャラクター通りに振る舞っているかどうかを確認しました。もしプロファイルが「借り（繰り下がり）が苦手」と言っていれば、AIはその問題を間違えたでしょうか？ はい、間違えました。AIのパフォーマンスと、特定のスキルプロファイルに対する期待される人間のパフォーマンスとの相関関係は非常に高く、0.92から0.98の範囲にありました。これは、AIが単に推測しているのではなく、特定の強みや弱みを持つ生徒の認知状態を真にシミュレートしていたことを意味します。
• テストの難易度（Test Difficulty）： これが最も重要な部分です。目標は、AIが問題の難易度を判断するのに役立つかどうかを確認することでした。プロファイルがない場合、AIは問題が簡単すぎると考えていました（難易度推定の誤差である「平方根平均二乗誤差」は6を超えていました）。プロファイルを用いると、AIの推定は非常に鋭くなりました。最も優れた性能を示したモデル（Gemini 3.0 Flashの「Thinking」モードを有効にしたもの）では、誤差は6.31からわずか0.90へと減少しました。AIは、すべての問題が極めて容易であると考えていた状態から、どの問題が難しく、どの問題が易しいかを正確に予測できるようになり、実在する人間のデータとほぼ完璧に一致しました。

なぜこれが重要なのか

この研究は、テストが適切かどうかを知るために、千人の実在する生徒がテストを受けるのを待つ必要はないことを示唆しています。この「プロファイルベース」のアプローチを使用することで、教育者はより速く、より安価にテストを校正するための現実的なシミュレーションデータを生成できます。重要な教訓は、AIに「自分が誰であるか」を告げる必要があるということです。特定の認知プロファイルがなければ、AIはデフォルトで、完璧で非現実的なロボットになってしまいます。プロファイルがあれば、AIは多様で、欠点があり、現実的な生徒になるのです。

研究者たちは、この手法は「推論」能力を持つモデル（一部のAIモデルの「Thinking」モードのようなもの）において最も効果的であることを発見しました。これらのモデルは、スキルのプロファイルの複雑なロジックに従うのがより得意なようです。しかし、彼らはこれがあくまでシミュレーションであることも指摘しています。AIの回答は人間の生徒の数学的挙動と一致しましたが、AIが実際に人間と同じように「考えて」いるのか、それとも単に正しい言葉を予測しているだけなのかは分かっていません。しかし、より良いテストを設計するという目的において、このシミュレーションは強力なツールであり、テスト開発をより速く、より安く、より包括的なものにする未来へと、私たちを大きく前進させるものです。