From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
本研究は、PISAの非認知的な質問票指標に関して、国際比較の手法を、誤解を招く可能性のある国家平均の順位に依存することから、教育システムがいかに学生の経験や達成度を形成しているかについて、より強固で政策に関連性のある理解を提供する校内傾斜（within-school slopes）の分析へと転換すべきであると主張するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、世界中の学校がどのように機能しているかという謎を解こうとしている探偵だと想像してください。長年、探偵たちが使ってきた主な道具は、巨大なスコアボード、つまり、各国の平均スコアに基づいて国々を順位付けする「リーグテーブル（順位表）」でした。それは、誰が、どのようにプレーしたか、あるいはそもそも同じゲームをプレイしているのかどうかを気にせずに、単にシーズンの総得点だけでバスケットボールのチームをランク付けするようなものです。これは、答えが「正解」か「不正解」かであることが決まっている数学や読解力については、うまく機能します。しかし、感情、モチベーション、あるいは学生がいかに幸せであるかといったことになると、話は複雑になります。これらは定規で測れるものではなく、味や色のようなものだからです。もし人々が、異なる文化圏で食べ物がどれくらい「辛い」かを尋ねたとした場合、ある国での「とても辛い」という評価は、別の国での評価とは全く異なる意味を持つかもしれません。この論文は、単にスコアボードを見るのをやめ、プレイヤーとゲームとの間の「関係性」を見ようと決めた研究者グループについてのものです。彼らは、「どの国が最も幸福度が高いか？」と問う代わりに、「学生の背景やテストのスコアが、彼らの学校に対する感情をどのように変えるのか？」と問いかけました。彼らは、視点を一人の学生から一国へと拡大したとき、ゲームのルールが変わるのかどうかを知りたかったのです。
ホウ・キタイ（Kit-Tai Hau）率いる研究チームは、2018年のPISAテストで収集された、80カ国、612,004人の学生による膨大なスナップショット・データを分析しました。彼らは、モチベーション、ウェルビーイング、そして学生が教室についてどのように感じているかといった、31種類の質問票を調査しました。彼らの最初の大きな発見は、こうした「感情」に対して、スコアボードはほとんど役に立たないということでした。数値を精査した結果、国同士の「違い」は極めて小さく、これらの感情の差異のうち、どの国に属しているかによって生じるものは、わずか6％に過ぎないことが分かりました。残りの94％は、国内における、主に異なる学校間の差異によるものでした。これは、フランスとイタリアの平均身長を比較して、その差が無視できるほど小さい一方で、同じ都市内であってもバスケットボールチームと体操チームの差は非常に大きい、という状況に似ています。
しかし、本当の魔法は、彼らが平均値を見るのをやめ、「傾き（スロープ）」を見始めたときに起こりました。グラフにおいて、線が上がったり下がったりすることを想像してください。「傾き」とは、あるものが変化するにつれて、別のものがどのように変化するかを示すものです。研究者たちは、もし国全体の平均だけを見ていると、物語がしばしば逆転してしまうことを発見しました。例えば、個々の学生のレベルでは、読解力が高いことは自己肯定感につながります。しかし、国レベルで見ると、平均的な読解力が高い国ほど、学生の自己肯定感が低くなっているケースがあるのです。これは、「大きな魚、小さな池（Big Fish, Little Pond）」効果に似ています。もしあなたが、他の賢い魚で溢れかえる池の中にいる賢い魚だとしたら、静かで小さな池の中で一番の存在である場合よりも、自分が特別ではないと感じるかもしれません。国の平均値は、これらすべての「池」を混ぜ合わせてしまうため、この実態を隠してしまうのです。
この論文は、平均値で国をランク付けするのではなく、教育システムがどのように機能しているかを理解するために、これらの「傾き」を見るべきだと主張しています。彼らは、学生の背景（家族の富など）と学校での経験との関係を見る方が、教育システムを判断する上でより優れた方法であることを見出しました。彼らは、これらの関係（傾き）は、その方向性においては概して一貫している（つまり、理論は成立している）ものの、その「強さ」は国によって異なることを発見しました。興味深いことに、これらの傾きの違いの多くは、国同士の違いではなく、同一国内の学校間の違いによるものでした。これは、問題を解決したり改善したりしたいのであれば、国家レベルの政策を見るのではなく、特定の学校の中で何が起きているのかを見る必要があることを示唆しています。
著者たちはまた、自分たちの発見がデータのカウント方法による偶然の産物ではないことを確認するために、数値の重み付けの方法を変えて検証を行いましたが、結果は変わりませんでした。また、一部の国における傾きの違いは、その国の構造的な特徴、例えば学校の分離度（異なる背景を持つ学生がどの程度分離されているか）によって説明できることも分かりました。例えば、学校がより混合状態にある国では、能力が高いことと気分が良いことの結びつきがより強い傾向にありました。
結局のところ、この論文は、国際的な教育レポートに対する考え方の大きな転換を提案しています。スコアボードを完全に捨てる必要はありませんが、学生の幸福度やモチベーションを語るためにスコアボードだけに頼るべきではありません。スコアボードは、文脈（コンテキスト）を無視してしまうため、感情を測る道具としては脆弱です。「傾き」のアプローチは、ぼやけた集合写真から、学生が世界とどのように関わっているかを示す高精細なビデオへと切り替えるようなものです。それは、最も重要な違いは国家間ではなく、国家内部の学校間にあることを教えてくれます。単なる平均値ではなく、これらの関係性に焦点を当てることで、教育システムが若者の人生をどのように形作っているのかについて、より鮮明で誠実な姿を描き出すことができます。それは、単に誰が「最高」かをランク付けすることから、すべての人にとって物事をより良くする方法を理解することへと、私たちを導いてくれるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。