Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

教育研究という広大な世界において、科学者たちは学生がいかに学び、何に動機づけられ、どこに不平等が存在するのかを理解するために、大規模な調査に頼ることがよくあります。これらの調査の中で最も有名なものの一つが、PISA（学習到達度調査）です。これは、数十カ国の学生を数年ごとにテストするものです。数学や読解のテストに加えて、学生は自身の生活、習慣、そしてどのように勉強しているかについての長いアンケートに回答します。これらのアンケートは、テストのスコアを理解するために必要な文脈を提供するため、非常に重要です。しかし、このような長い調査における根深い問題は、学生が回答をやめてしまうことがある点です。学生は最後の質問を飛ばしたり、公式に辞めるずっと前に、有用な回答を提供することをやめてしまったりすることがあります。伝統的に、研究者はこの欠損情報を突然の出来事として扱ってきました。つまり、学生が回答をやめた瞬間、彼らは回答をやめたのだと考えるのです。しかし、この見方は、学生が回答をやめた瞬間が「彼らが関心を失った瞬間」であると仮定しており、最初の空白のボックスが現れるずっと前から、彼らの行動が静かに変化していた可能性を無視しています。

ホルヘ・エリエセル・ビジャレアル＝フェルナンデスによる新しい研究は、2025年のPISAサイクルにおけるラテンアメリカ13カ国の学生の行動を観察することで、この仮定に異議を唱えています。研究者は、学生が回答を止めるのを待つのではなく、アンケートを進める中で彼らがどれくらいの速さで回答しているかを観察しました。この研究は、「ラピッド・レスポンディング（急速な回答）」と呼ばれる特定の行動に焦点を当てています。これは、学生が質問を注意深く読んでおらず、単に終わらせるためにクリックして進んでいることを示唆するように、非常に速いペースで質問を進める現象です。中心となる問いは、この「急ぎ」の行動が、学生が実際に回答をやめる前に起こるのかどうか、そしてもしそうなら、どのような要因がそれを予測するのかという点でした。また、研究者はこの行動が調査結果を変化させるかどうかについても調べました。具体的には、アンケートの最後の方にある2つの重要な尺度に注目しました。一つは、学生がいかに自分の学習を計画し、モニタリングしているかを測るもので、もう一つは、教師やクラスメートにどれくらい助けを求めるかというものです。116,000人以上の学生のタイミングデータを分析することで、この研究は、調査における「学生の声の喪失」とは、決して突然の沈黙ではなく、データが消えるずっと前から観察・測定可能な、緩やかなプロセスの終着点であることを明らかにしています。

この調査は、アンケートを単なる質問のリストとしてではなく、行動のタイムラインとして扱うことから始まりました。研究者は、各学生が小さな質問ブロックを完了するのに要した時間を調査しました。もし学生がそのブロックの典型的なペースよりも著しく速く回答していた場合、それは「ラピッド・レスポンディング」としてフラグが立てられました。これが単なる偶然の正解や一時的なスピードアップではないことを確実にするため、本研究では、この速い行動が数ブロックの連続した過程を通じて持続していることを条件としました。学生がこの急いだペースを一定期間維持したときのみ、彼らは「離脱（ディスエンゲージメント）」の状態に移行したとみなされました。この区別は極めて重要です。なぜなら、単に動作が速いだけの学生と、努力をやめてしまった学生を分けることができるからです。分析の結果、この移行はランダムではありませんでした。学習計画や助けを求めることに関する尺度に対してスコアを提供できなかった学生の約4分の3は、それらの特定の質問が含まれるセクションに到達する前に、すでにこの持続的なラピッド・レスポンディングの段階に入っていました。言い換えれば、警告サインはデータが実際に失われるずっと前から可視化されていたのです。

何が学生をアンケートを急がせるのでしょうか？ 研究によれば、その答えの一部は、学生のペースが同じ学校にいる隣の学生たちとどのように比較されるかにあります。研究者は、同じ教室や学校の仲間と比較して、どれくらい遅れているか、あるいは速いかを測る「相対的遅延」を算出しました。結果は驚くべきものでした。学生が学校の平均的なペースから5分遅れるごとに、持続的なラピッド・レスポンディングの状態に入る確率は約41パーセント増加しました。これは、試験室の社会的環境が重要であることを示唆しています。クラスメートに遅れていると感じる学生は、追いつかなければならないというプレッシャーを感じ、注意深い読解を放棄してスピードを選択してしまう可能性があります。この影響は国によって大きく異なりますが、全体的なパターンとしては成立していました。興味深いことに、個人の社会経済的背景は、目の前のクラスメートと比較した場合、この行動の予測因子にはなりませんでした。代わりに、学校自体の社会経済的な構成がより強い要因でした。平均的な社会経済的地位が高い学校の学生は、自身の家族の裕福さに関わらず、質問を急ぐ傾向が低いことが分かりました。これは、個人の状況よりも、制度的な環境――おそらく利用可能なリソースや、テストの雰囲気、あるいは調査の実施方法など――が、学生のエンゲージメントにおいて大きな役割を果たしているという考えを裏付けています。

次に、研究は極めて重要な問いを投げかけました。この行動は、実際に調査から得られる結果を変えてしまうのか？ もし、急いで回答している学生が、時間をかけて回答している学生と異なるのであれば、私たちが算出する平均値は間違っている可能性があります。これを確認するため、研究者は、エンゲージメントを維持していた学生と、ラピッド・レスポンディングの状態に移行しながらも特定の尺度を最後まで回答できた学生の回答を比較しました。良いニュースは、最後まで回答した学生については、質問への回答の仕方が非常によく似ていたことです。学習計画や助けを求めることに関する質問は、両方のグループに対して同じものを測定しているようでした。しかし、悪いニュースは、観測可能な状態に留まった学生のグループが、全人口の完璧な鏡ではないということです。なぜなら、急いで回答していた学生は、アンケートの最後まで到達する前に完全に脱落する可能性が高かったため、最終的な回答者グループは元の全学生グループとはわずかに異なっていたからです。

研究者がこの欠損グループを考慮してデータを調整すると、結果は特定の、そして驚くべき形で変化しました。学習計画尺度の推定平均値はわずかに低下しました。これは、最後まで回答した学生は、全人口の学生と比較して、学習計画を立てる能力がわずかに高い傾向にあることを意味します。なぜなら、急いで回答して脱落した学生は、計画的な学習が得意である可能性が低かったからです。しかし、助けを求めることに関する尺度の推定値は、ほとんど変化しませんでした。どちらの尺度もアンケートの最後の方に位置し、同様に脱落のリスクにさらされていたにもかかわらず、欠損データのインパクトはそれぞれ異なっていました。このことは、欠損データの結末は一様ではなく、何を測定しているかによって完全に依存することを証明しています。ある調査は、あるトピックの平均値を変えることなく特定のタイプの学生を失うこともあれば、別のトピックの平均を大きく歪めてしまうこともあるのです。

この研究の知見は、調査データの捉え方に新しい視点を提供しています。それは、学生が長いアンケートへの回答をやめる時、それは多くの場合、ずっと前に始まったプロセスの集大成であるという示唆です。注意深い回答から、急ぎの回答へ、そして最終的な沈黙へと至る移行は、コンピュータによって収集されたタイミングデータを用いて追跡可能な、目に見える経路なのです。これは、研究者が欠損情報をどのように解釈すべきかを変えるものです。欠損データを単なるランダムな空白と想定するのではなく、その前兆となる行動シグナルを探ることができるのです。将来の調査設計者にとって、これはタイミング情報が「早期警戒システム」として活用できることを意味します。もし学生が周囲の仲間に対してスピードが落ち始めているなら、学生が回答を完全に止めてしまう前に、介入したり調整したりすることが可能かもしれません。この研究は、欠損問題の解決策を提示したり、すべての調査がこれと全く同じ結果になることを示唆したりするものではありません。しかし、学生の声の喪失とは、しばなる「緩やかな衰退」であり、突然の「断絶」ではないこと、そして、このプロセスを理解することが、私たちが研究しようとしている学生たちの真の姿を捉える鍵であることを示しています。