Learning Analytics and Early Warning Systems for Mathematics Achievement: A Multi-Country Comparative Programme Evaluation

教育の世界を、巨大で賑やかな鉄道駅だと想像してみてください。何十年もの間、駅の管理者（教師や管理者）は、どの乗客（学生）が列車に乗り遅れる（単位を落としたり、中退したりする）可能性があるのかを予測しようと試みてきました。かつては、眠そうに見える人や、まだ切符を買っていない人を見て推測していました。しかし、ここ10年で、駅は超スマートなデジタルシステムへとアップグレードされました。このシステムは「ラーニング・アナリティクス（学習分析）」と呼ばれ、まるで巨大で見えないカメラネットワークのように、乗客の一歩一歩を監視しています。彼らがどれくらいの頻度で出発案内板を確認したか、どれくらいの時間時刻表を見つめていたか、そしてどれほどの速さでホームへ駆け込んだかを記録するのです。

この膨大なデータから、「早期警戒システム（EWS）」と呼ばれる特定のツールが構築されました。これは、デジタル上の「赤旗」が車掌の画面にポップアップするようなものだと考えてください。システムがある乗客が列車に乗り遅れそうだと判断するパターンを見つけると、即座に助けを送れるようにアラートを送信します。ここで誰もが問いかけている大きな疑問があります。それは、このハイテクなシステムは、本当に数学の学習を助けるために機能しているのか？ ということです。そして、もしある国で機能するなら、別の国でも機能するのだろうか？ これは、これらのデジタルな安全網がどのように異なる国々で使われているかを比較することで、その答えを探求した新しい研究の物語です。

---

数学レスキューミッション：グローバル・チェックアップ

この論文は、チリ、ドイツ、イギリス、メキシコといった場所の学校が、数学で苦戦している学生を助けるために、これらのデジタル早期警戒システムをどのように活用しているかを調査した、世界中の30の研究に対する大規模な「健康診断」です。研究者たちは単に数字を見ただけでなく、システムがどのように構築され、何を監視し、そしてすべての人に対して公平であるかどうかを調べました。

以下に、専門用語を使わずに解説した、彼らの発見の要点をまとめます。

「赤旗」の正確性

まず、良いニュースです。これらのシステムは、トラブルを察知するのがかなり得意です。研究者が、これらのシステムが「合格する学生」と「不合格になる学生」をどれほど正確に区別できるかをチェックしたところ、そのスコアは素晴らしいものでした。レビューされた研究において、システムは0.70から0.93の割合で正解を出していました。これを分かりやすく言えば、もしあなたが勘で当てようとしたら、正解率は50%でしょう。これらのシステムは、コイン投げよりもずっと優れた成果を出しています。

しかし、論文は「スコアが高いからといって、あまり興奮しすぎないように」と警告しています。それは、非常に大きな音で鳴る煙探知器を持っているようなものです。もしトーストを焦がしただけで毎回鳴るなら、技術的には「敏感」ですが、本当の火災を無視してしまうようでは、あまり役に立ちません。研究者たちは、これらのシステムの真の有用性は、学生の集団がいかに安定しているか、そして学校がどのように「アラームの閾値（しきい値）」を設定するかによって決まると指摘しました。もしアラームを鳴らすルールが毎週変わるようなら、システムは混乱を招く誤報の山になってしまいます。

「汎用的 vs 特定的」の罠

ここから、話は少し複雑になります。研究者たちは、ほとんどの早期警戒システムが「間違ったもの」を見ていることを発見しました。それらは主に、以下のような**汎用的（ジェネリック）**な信号を監視しています。

• 学生が何回コンピュータにログインしたか。
• 何回クリックしたか。
• 出席記録。

これは、コーチがサッカー選手がフィールドに何回駆け込んだかだけを数えていて、実際にゴールネットにボールを蹴り込めるかどうかを全く見ていないようなものです。

論文は大きなギャップを指摘しています。**「数学は特別である」**ということです。数学での苦戦は、多くの場合、特定の、理解しにくい概念から生じます。例えば、グラフの描き方でつまずいたり、関数の仕組みを理解できなかったりすることです。しかし、現在のシステムは、こうした特定の「数学的な間違い」をほとんど探し出しません。ただ「学生が意欲を失っている」と判断して、汎用的なアラートを送るだけなのです。研究者たちは、もしこれらのシステムが、なぜ学生が詰まっているのか（例えば、グラフ作成における特定のエラーなど）を実際に特定できるようになれば、教師にとってより役立つものになると示唆しています。現状では、彼らは「この子は困っています」と言っているだけで、「この子は関数の概念で混乱しています」とは言えていないのです。

「ワンサイズ・フィット・オール（一律適用）」の問題

この研究では、高度なハイテク・データシステムを持つ国々（イギリスやエストニアなど）と、よりシンプルでローテクなセットアップを持つ国々（チリやラテンアメリカの一部など）を比較しました。あなたは、ハイテクな国々の方が優れたシステムを持っていると思うかもしれません。しかし、論文は驚くべき事実を見つけました。シンプルなシステムも、複雑なものと同じくらいうまく機能する場合があるということです。

リソースの少ない地域の中には、最初のテストの成績だけを見るという非常にシンプルなモデルが、豊かな国々のハイテクで複雑なモデルとほぼ同等の精度で、苦戦する学生を予測できた場所もありました。このことは、学校が優れた早期警戒システムを手に入れるために、巨大なデータセンターのために大金を投じる必要はないことを示唆しています。ただ、早い段階で正しい、シンプルな手がかりに注目すればよいのです。

公平性のギャップ

最後に、論文は公平性に関する深刻な懸念を提起しています。システムが平均的に正確であるからといって、それがすべての人にとって公平であるとは限りません。研究者たちは、場合によっては、男性の学生と比較して、リスクのある女子学生を見逃す傾向があることを発見しました。それは、金属は見つけるのが得意だがプラスチックを見逃してしまうセキュリティスキャナーのようなものです。もしシステムが、最も助けを必要としている学生を見逃してしまうなら、それは貧富の差や異なるグループ間の格差を、実際には広げてしまうことになります。論文は、調査した研究の極めてわずかなものしか、そのシステムがすべてのグループに対して公平であるかどうかを検証していなかったと指摘しています。

次なるステップ

この研究は、これらのデジタルな安全網は強力なツールではあるものの、まだ「魔法の杖」ではないと結論づけています。これらを真に効果的なものにするために、学校は以下のことを行う必要があります。

1. 単なる「クリック数」だけに頼るのをやめ、具体的な数学的な間違いを探し始めること。
2. 公平性をチェックし、どのグループも見過ごされることがないようにすること。
3. それがうまくいくのであれば、シンプルさを保つこと。学生の成績を救うためにスーパーコンピュータは必要ありません。

研究者たちはまた、学生が学習を助けるため（あるいは作業を改ざんするため）に新しいAIツールを使い始めるにつれて、システム全体が再び適応する必要があることも示唆しています。しかし今のところ、メッセージは明確です。私たちはトラブルを早期に察知する技術を持っていますが、正しい手がかりを見つけ、すべての学生を公平に扱う方法を確立しなければなりません。