When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

数年おきに、世界中の教室で大規模な世界的実験が行われます。何十万人もの15歳の子どもたちが、数学、読解、理科の同じテストを受けるために席に着きます。これはPISA（学習到達度調査）として知られるプログラムです。その結果は、単なる学校の成績表ではありません。それは、その国の若者が将来に向けてどれほど準備ができているかを示すスナップショットなのです。テストはサイクルで行われるため、研究者は、ある国が時間の経過とともに改善しているのか、あるいは悪化しているのかを振り返って見ることができます。しかし、この比較には隠れた複雑な問題があります。テストを受ける生徒は、年ごとに必ずしも人口の同じ切り出し（サンプル）であるとは限らないのです。ある国では、テストがほぼすべての15歳の子どもたちに届くこともあれば、別の国ではごく一部にしか届かないこともあります。生徒のグループが変わると、生徒自身がより多く学んだか、あるいは学ばなかったかではなく、単に構成する人々が変わったことによって、平均スコアが変化してしまうことがあります。これを修正するために、テストを実施する組織は、特別な数学的調整を行っています。それは、テストに参加した生徒だけでなく、もしその国のすべての15歳の子どもたちにテストが届いていたら、トップレベルの生徒たちがどれほどのスコアを出していただろうかを推定しようとする試みです。この調整された数値は、異なる年や異なる国々の間で進歩を公平に比較するための方法とされています。

二人の研究者、ジョナス・A・マンダルネスとダニカ・ジェイン・S・マンダルネスは、この調整がいかに脆弱であるかを確かめることにしました。彼らは、最も重要なパズルのピース、すなわち各国の15歳の子どもの総数に焦点を当てました。この数字は分母、つまり分数の下の部分として機能し、調整の大きさを決定します。研究者たちは、シンプルながらも深遠な問いを投げかけました。「もしこの分母の数字を変えたら、最終的な結果はどうなるのか？」という問いです。彼らは、一つの人口データソースが完璧で、もう一方が間違っていると仮定したわけではありません。代わりに、15歳の子どもの数え方における二つの異なる方法を、二つの異なるシナリオとして扱いました。一つのシナリオでは、各国の政府がテスト主催者に公式に提出した数値を使用しました。もう一つのシナリオでは、国際連合による、広く信頼されている人口成長の世界的予測値を使用しました。彼らは、このトレンド分析全体を、公式の数値を用いた場合と、世界の予測値を用いた場合の二度実行することで、どちらのカウントが使用されるかによって、その国の進歩の物語がどれほど変わるかを確認しました。

研究者たちは、2018年から2022年までの73の経済圏のデータを調査しました。その結果、テスト主催者が使用している公式の15歳の子どものカウントは、多くの場所で大きく変化していることが分かりました。平均して、二つの年におけるカバー率（普及率）の差は2パーセント近くでしたが、場合によっては極めて大きく、一方の方向に27ポイント、あるいは他方の方向に45ポイントも変動していました。これらの数値がなぜ変化したのかを分析したところ、ほとんどの場合、その変化は調査自体に起因していることが判明しました。つまり、テストが在学中の生徒の異なる割合に到達したということであり、実際に学校に在籍している生徒の数自体が変化したわけではないということです。この区別は極めて重要です。なぜなら、スコアの上昇は、より多くの子供たちが学校に通うようになったことを意味するのではなく、単にテストが異なるグループに到達したことを意味している可能性があるからです。

最も衝撃的な発見は、最終的なトレンドがこの分母に対してどれほど敏感であるかという点でした。研究者が公式の人口カウントを国連の予測値に置き換えると、推定されるテストスコアの変化は劇的に変化しました。数学における二つのシナリオ間の平均的な差は約3.4ポイントでした。読解では3.5ポイント、理科では3.4ポイントでした。これを理解しやすくするために、テスト主催者は、トレンドの不確実性の幅を読者に伝えるための標準的な「リンク誤差（link error）」値を公表しています。数学の場合、その値は2.24ポイントです。単に人口カウントを変更したことによる差は、69カ国中38カ国において、この標準的な誤差範囲を超えていました。読解においては52カ国、理科においては51カ国で、その誤差範囲を超えていました。これは、調査対象となった大多数の国において、どの人口数を使用するかという選択が、テスト自体に関連する統計的な不確実性よりも重要であったことを意味しています。

研究者たちはまた、数学が限界に達したときに何が起こるかも調査しました。調整の手順は、テストが実際に存在する生徒よりも少ない生徒にしか到達していないことを前提としています。しかし、いくつかの特定のケースでは、数学的な計算上、テストが公式の人口カウントよりも多くの生徒に到達しているという結果が出ました。このような場合、手順は特別な修正を行いました。具体的には、余剰のウェイトをゼロに設定し、テストを受けた生徒の生のスコア（raw score）を報告するというもので、事実上、調整機能をオフにする措置です。これは、2022年の韓国やアイルランドなどの国々で見られました。研究者たちは、この「調整されたスコア」から「生のスコア」への切り替えが、データの突然の断絶を生み出すことを示しました。それは滑らかな移行ではなく、手法が完全に変わってしまうハードストップ（急停止）なのです。彼らはまた、公式の人口カウントが、テストが到達したと主張する生徒数よりも多いケースがあることも指摘しました。これは、定義が完全に一致していれば起こり得ないことであり、どちらが「15歳」であるか、あるいは誰が「在学している」かという定義が、テスト主催者と人口統計学者との間で異なっている可能性を示唆しています。

この研究は、どちらの人口カウントが真実であり、もう一方が間違いであると結論づけたわけではありません。研究者たちは、政府の公式な数値も国連の予測値も、絶対的な真実ではないことを慎重に述べています。公式の数値は、カウントが正確にいつ行われたか、あるいは「居住者」の具体的な定義が何であるかといった詳細を欠いていることがよくあります。一方で、世界の予測値は仮定に基づいたモデルです。核心的な問題は、最終的なトレンドスコアが、十分に説明されていない、あるいは一貫性のない数値に大きく依存していることです。研究者たちは、領土紛争や記録の不整合がある国を除外してデータを整理しようと試みましたが、それでも差異は残りました。二つのシナリオ間の隔たりは消えませんでした。単に少し移動しただけでした。このことは、この感度が単なるデータの乱れの結果ではなく、現在の手法における根本的な特徴であることを示唆しています。

最終的に、研究者たちは、これらのトレンドの報告方法は、この不確実性に対してより誠実であるように変える必要があると主張しています。彼らは、テスト主催者が、人口の数値がどこから来たのか、その日付や具体的な定義を含めて公表することを推奨しています。また、トレンドが報告されるたびに、もし別の妥当な人口カウントを使用した場合に結果がどうなるかを示す範囲を添えるべきだと提案しています。これは統計学的な意味での信頼区間ではなく、結果がどれほど分母に依存しているかを示す明確な表明です。最後に、もし数値が合わないために数学的な処理が破綻する場合、調整されたスコアを黙って修正したり隠したりするのではなく、入力値が調整されるまでフラグを立てて保留すべきであると提案しています。この研究は、国々が改善しているのか衰退しているのかという物語は実在するものの、その物語を伝えるために使用する具体的な数値は、現在見られているよりもはるかに繊細なものであることを示しています。トレンドは存在しますが、その正確な大きさは、現在は暗闇の中で行われている数値の選択に結びついているのです。