Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records

技術要約：卒業予測における機械学習モデルのターゲット・リーケージ（標的漏洩）

問題提起
本研究は、教育データマイニング（EDM）における重大な手法上の欠陥である「ターゲット・リーケージ（標的漏洩）」に対処するものである。具体的には、高等教育機関の行政記録を用いて学習された機械学習モデルが、結果によって決定される属性（outcome-determined attributes）を誤って特徴量セットに含めてしまった場合、いかにして不自然に高い精度（100%に近い数値）を生み出してしまうかを調査する。著者らは、パレスチナ・ガザのユニバーシティ・カレッジ・オブ・アプライド・サイエンス（UCAS）における、IT専攻の学生4,704名を対象とした20年間のデータセット（2000年〜2019年）を検証している。核心となる問題は、標準的な学生情報システムには、「卒業年（GRADUATE_YEAR）」や「卒業成績平均（STD_GRADEAVG）」といった、卒業した学生にのみ入力されるフィールドが含まれていることである。これらのフィールドを含めると、モデルは卒業の有無を「予測」するのではなく、結果の「存在」そのものに依存してしまう。

手法
本研究は、リーケージのない厳格なプロトコルを用いて、決定木（DT）、ランダムフォレスト（RF）、勾配ブースティング（GBT）の3つの分類器による卒業予測の再評価を行う。

1. データ前処理およびリーケージ・スクリーニング：

   • 初期データセットの65,532件から、IT専攻の学生4,704件に絞り込んだ。
   • 重要なステップ： 2つの属性、GRADUATE_YEAR（卒業年）とSTD_GRADEAVG（成績平均）が、結果（卒業ステータス）の決定関数であると特定し、これらを削除した。GRADUATE_YEARは非卒業生に対しては空欄であり、STD_GRADEAVGは非卒業生に対しては空欄または異なる値を持つ。
   • プロトコルの修正： データのスケーリングや拡張（augmentation）を行う前に、訓練/テスト分割（70/30の層化分割）を行うという厳格な順序を強制している。これにより、テストセットの情報が訓練プロセスに漏洩することを防いでいる（これは著者らの以前の研究で見られた欠陥である）。
   • 拡張（Augmentation）： ガウスノイズによる拡張は、負のコントロールとして訓練セットにのみ適用された。

2. 実験構成：

   • 構成A（リーケージ診断）： 結果によって決定される属性を保持し、不自然な精度の発生メカニズムを示す。
   • 構成B（修正済みモデル）： リークされた属性を除外した完全な学術履歴を使用し、現実的なパフォーマンスのベースラインを確立する。
   • 構成C（入学時予測）： 特徴量を入学時のデータ（高校の系統、年齢、志望専攻など）に限定し、早期予測能力を評価する。

3. 評価指標：

   • パフォーマンスは、ホールドアウト・テストセットにおける精度（Accuracy）、AUC、F1、適合率（Precision）、再現率（Recall）を通じて測定される。
   • 統計的妥当性は、5分割層化交差検証、信頼区間のためのウィルソン・スコア区間、およびモデル間のペア比較のためのマクネマー検定を用いて確認される。
   • 公平性監査： 性別は入力特徴量からは除外されているが、サブグループのパフォーマンスを監査するため（デモグラフィック・パリティおよび等機会）に事後的に使用される。

主な結果

• リーケージの影響（構成A）： GRADUATE_YEARとSTD_GRADEAVGを含めると、3つの分類器すべてが**精度100%**を達成し、交差検証の分散はゼロとなった。これは、モデルがパターンを学習しているのではなく、単に結果のラベルを読み取っていることを裏付けている。
• 修正後のパフォーマンス（構成B）： リークされた属性を削除すると、パフォーマンスは現実的なレベルに低下した：
  • 勾配ブースティング（GBT）： 精度 89.16% (AUC = 0.955)
  • ランダムフォレスト（RF）： 精度 88.81% (AUC = 0.954)
  • 決定木（DT）： 精度 87.18% (AUC = 0.933)
  • 統計的有意性： マクネマー検定の結果、2つのアンサンブル手法（RFとGBT）は統計的に区別がつかない（$p = 0.620$）一方で、両者とも決定木を有意に上回っている。
• 特徴量の重要度： GPAが支配的な予測因子であるという従来の仮定に反し、完了した正規セメスター数（$r = +0.546$）が、累積GPA（$r = +0.450$）を上回り、最も強力な予測因子であった。これは、達成度よりも継続性（persistence）の方が強いシグナルであることを示唆している。
• 早期予測（構成C）： 入学時の属性のみを使用した場合、最良のモデル（GBT）は精度 70.47%（AUC = 0.769）を達成した。これは、早期のシグナルは存在するものの、それらは確率的であり、高リスクの個別判断には不十分であることを示している。
• 公平性： モデルは、性別に関するデモグラフィック・パリティの差が約 -0.11（女性に有利）を示した。これは、観察された女性の卒業率のベースレート（女性 45.0% 対 男性 36.6%）と一致している。モデルはバイアスを導入しているのではなく、既存の制度的格差を反映している。

主要な貢献

1. ターゲット・リーケージの診断： 本論文は、結果によって決定される属性が、いかにして完璧で偽りの精度を生み出すかという再現可能な実証を提供している。また、同様の誤りを検出するための具体的な診断シグネチャ（不均質なモデル間での精度100%および交差検証の分散ゼロ）を提示している。
2. 修正されたベースライン： 資源が限られ、紛争の影響を受ける環境（ガザ）における卒業予測の、防御可能なパフォーマンス・ベースラインを確立し、以前の誇張された主張を修正した。
3. 手法の厳密性： スケーリングや拡張の前にデータを分割することの必要性を強調し、この特定のデータセットに対するガウスノイズ拡張の負の影響を報告している。
4. 公平性と解釈可能性： 性別によるサブグループ監査（モデルからは除外）を提供し、解釈可能な決定ルールを示した。これにより、予測の主要な要因は人口統計学的要因ではなく、継続性（セメスター数）であることを明らかにしている。

意義と主張
著者らは、本研究の貢献は「より高い精度」ではなく、**「防御可能な（正当性のある）」**精度であると明言している。その意義は以下の点にある：

• 信頼性： 多くの「ほぼ完璧な」教育予測研究を信頼できないものにしている、一般的な手法上の失敗を暴いたこと。
• 文脈的表現： パレスチナの機関からの稀な縦断的データ分析を提供し、中東のEDM文献における空白を埋めたこと。
• 実行可能な政策： フォーカスを「誰が卒業するか」から「誰が継続しているか」へとシフトさせること。著者らは、アドバイジング（指導）の介入は、単なる低成績ではなく、セメスター進行の中断（継続性）によってトリガーされるべきだと主張している。
• 展開ガイドライン： これらのモデルを自動的な意思決定ツールとしてではなく、人間によるレビューを促すためのプロンプト（約12%の偽陰性率があるため）として使用することを推奨し、公平な展開のために継続的なサブグループ監視が必要であることを強調している。

本論文は、あまりにも容易に達成される高い予測精度は、リーケージによるアーティファクト（人工物）である可能性が高いと結論付けている。そして、責任ある教育AIには、透明性、手法の厳密さ、そして予測モデルは人間の監視に取って代わるものではなく、人間を支援するためのものであるという理解が必要であると説いている。