Invariance of multiple-choice item difficulty to item position: a counterbalanced quasi-experimental study in emergency medical services education

あなたは大きなテスト、例えば非常に難しい科目の期末試験を受けているところだと想像してください。あなたは鉛筆を手に取り、席に着きます。そして最初の問題に直面します。もしその最初の問題が、ものすごく難解で混乱させるような「モンスター」だったとしたら、あなたはパニックになるかもしれません。心拍数は上がり、脳は霧がかかったようになり、突然、本来なら答えられたはずの問題さえも不可能に見えてくるのです。これが「テスト不安（試験不安）」の背後にある考え方です。つまり、問題の順番が重要になってしまうという恐怖です。もし早い段階で壁にぶつかってしまったら、テストの残りの部分でもつまずいてしまうかもしれません。

しかし、ここにひねりがあります。もし問題自体は、自分がどこに位置しているかなど気にしていないとしたらどうでしょう？教育測定の世界には、「不変性（invariance）」と呼ばれる黄金律があります。それは、レンガは、壁の下にあろうと一番上に置かれようと、レンガであるというようなものです。レンガの重さや大きさは、場所を移動させたからといって変わることはありません。同様に、テスト問題の難易度は、問題自体の固定された特性であるべきであり、配置によるトリックであってはなりません。もしこのルールが守られていれば、コンピュータは不正なリソースの使用を防ぐために問題をランダムにシャッフルすることができますし、それでもスコアは公平に保たれます。しかし、もしこのルールが破られていれば、シャッフルによって意図せずテストが一部の人にとって難しくなったり、逆に易しくなったりして、公平性が損なわれる可能性があります。

これこそが、サウジアラビアの研究者グループが解決しようとした謎です。彼らは単に推測したわけではありません。彼らは救急医療サービスを学ぶ学生たちを対象に、巧妙な実験を行いました。彼らは、クイズの最初の方にある問題を最後の方に移動させることが、その難易度の感じ方や、正解する学生の数に変化をもたらすかどうかを調べたかったのです。また、「易しいものから難しいものへ（easy-to-difficult）」という順序で始めることが、逆のパターンよりも、すべての人にとって脳にとって本当に良いことなのかどうかについても疑問を持ちました。

大いなる問題のシャッフル

このケースを解明するために、研究者たちは「カウンターバランス（相殺）」を用いたゲームを設定しました。10枚のカードの束があり、それぞれが心臓の健康に関する医学的な問題を代表していると想像してください。彼らは2つのバージョンのクイズを作成しました。グループAは、簡単なものから難しいものへと順にカードを受け取りました。グループBは、全く同じカードを受け取りましたが、順番は逆（難しいものから簡単なものへ）でした。グループが完全に一致していたため、すべての質問が、一方のグループにとってはテストの最初に出題され、もう一方のグループにとってはテストの最後に出題されることになりました。それは、同じ映画を見ているのに、あるグループは結末を先に見て、別のグループは始まりを先に見た、というようなものです。

この研究には、循環器学に関する10問のクイズを受ける89人の学生（男性65名、女性24名）が参加しました。問題は、単純な記憶チェック（例：「この心臓弁の名前は何ですか？」）から、複雑な臨床的パズル（例：「この心電図を見て、何が起きているか答えてください」）まで多岐にわたります。研究者たちは、特別な統計的手法を用いて、質問の「位置」が変わっただけで「難易度」が変わってしまうかどうかを確認しました。

結論：レンガは動かない

結果は驚くほど穏やかなものでした。研究者たちは、質問の難易度はその位置に対してほぼ完全に**不変（invariant）**であることを発見しました。平たく言えば、ある質問は、それが最初に出てこようと最後に出てこようと、同じくらい難しく（あるいは同じくらい易しく）感じられたのです。

彼らが、より大きなグループであった男子学生に注目したとき、データは非常に一貫していました。質問がテストの最初にあるときの難易度は、テストの最後にあるときの難易度とほぼ完璧に相関していました（相関係数 0.975）。たとえ質問がテストの端から端まで（9つの位置をスキップして）移動したとしても、難易度はほとんど動きませんでした。難易度の感じ方の平均的な差は、0から1のスケールでわずか 0.05 でした。

研究者たちは、質問の「タイプ」が影響するかどうかも確認しました。複雑で頭を酷使する臨床的な質問は、テストの終盤で学生が疲れてきたときに、より難しくなるのでしょうか？いいえ。 「不変性」は、単純な記憶問題と難しい臨床問題の両方において成立していました。質問の位置は、学生が正解する確率を変えることはありませんでした。

順番はスコアを変えたのか？

チームはさらに、「易しい質問から始めることは、学生が高いスコアを取る助けになるのか？」と問いかけました。答えは、「おそらくそうかもしれないが、おそらくそうではない」というものでした。

2つのグループを比較したところ、「易しいものから難しいものへ」バージョンの学生は、「難しいものから易しいものへ」バージョンの学生よりも、平均してわずかに高いスコアを獲得しました。合計グループのスコアは、10点満点中 0.48 点高かったのです。しかし、この差は統計的に有意ではなく、信頼区間は -0.33 から 1.28 であったため、真の差はゼロである可能性が十分にありました。言い換えれば、順番は実質的なアドバンテージを与えていないようです。

一つだけ、わずかな、不安定な恩恵の兆候がありました。「易しいものから難しいものへ」という順序は、テストの内部一貫性（KR-20と呼ばれる統計的指標）をわずかに向上させました（0.390 から 0.488 へ）。しかし、研究者たちは、テストが非常に短かったこと（わずか10問）やグループが小さかったことから、これらの数値は不安定であると警告しました。したがって、易しいものから始めることは「心地よい習慣」かもしれないものの、この研究はそれがより良いスコアを得るための「魔法の杖」であることを証明したわけではありません。

なぜこれが重要なのか

この研究の大きな教訓は、テストを設計する人や受ける人にとって、安心材料となるものです。この研究は、コンピュータが自動的に行う「質問のシャッフル（不正なリソース使用を防ぐためのもの）」が、テストの公平性を壊さないことを示唆しています。質問の難易度は、レンガの重さのように安定した特性であり、それが列の最初にあろうと最後にあろうと関係ありません。

この知見は、一般的な大学生の理解を超えて、ハイステークス（重大な局面）である救急医療トレーニングの世界へと広がっています。これは、複雑で生死に関わる医学的推論であっても、質問の順番が結果を歪めることはないということを教えてくれます。 「易しいものから難しいものへ」というアプローチは学生にとって心地よく感じるかもしれませんが、データは、質問の順番をランダム化することは安全かつ公平であり、スコアが単に「どの位置に座っていたか」ではなく、「学生が何を知っているか」を正確に反映することを保証していることを示しています。