技術要約：学習アナリティクスにおける時間的ドロップアウト・リスク予測のための統一生存分析ベンチマーク

問題提起

学生のドロップアウト（中退・脱落）は高等教育における持続的な課題であるが、現在の学習アナリティクス（LA）研究は断片的な評価プロトコルの問題に直面している。既存の研究は、ランキング能力（識別能）を優先する一方で、時間軸を考慮した解釈性やキャリブレーション（較正）の質を軽視しており、異種混合な条件下でモデルを比較していることが多い。さらに、先行研究では、予測シグナルが静的な学生属性（デモグラフィックス、既習教育）から生じているのか、それとも時間的な行動パターン（エンゲージメント、活動の進展）から生じているのかを区別できていない。このような統一されたベンチマークの欠如により、性能の差が真のモデルの優位性を反映しているのか、あるいは時間的表現と評価設計のアーティファクト（副産物）によるものなのかを判断することが困難になっている。

手法

本研究は、Open University Learning Analytics Dataset (OULAD) を用い、7つのモジュールと4つのプレゼンテーションにわたる32,593件の登録データを対象とした、統一された生存分析指向のベンチマークを確立する。核心となる手法上の革新は、表現の違いを尊重しつつ、手法の一貫性を確保するために、2つの異なる「表現ファミリー」に分類された14のチューニング済みモデルを比較することである。

1. 表現ファミリー

• ファミリーA (Dynamic Weekly / 動的週次): 各登録を逐次的な週単位の観測へと展開する「個人・期間表現（person-period representation）」を利用する。モデルは週ごとの条件付きハザードを推定し、それらが累積されることで登録レベルの生存曲線が形成される。このファミリーには、線形離散時間ハザード、ニューラル離散時間生存、ポアソン区分指数、勾配ブースティング週次ハザード、およびCatBoost週次ハザードの5つのモデルが含まれる。
• ファミリー B (Static Early-Window / 静的初期ウィンドウ): コースの最初の4週間に由来する「固定登録レベル表現」を利用する。時間情報は、連続時間生存モデルに直接入力される初期ウィンドウの要約（スカラー値）へと圧縮される。このファミリーには、比較可能なCox、DeepSurv、ランダム生存フォレスト（RSF）、勾配ブースティングCox、Weibull AFT、Royston-Parmar、XGBoost AFT、Neural-MTLR、およびDeepHitの9つのモデルが含まれる。

2. 特徴量エンジニアリング

特徴量は、アブレーション解析（要素除去実験）と説明可能性を容易にするために、3つのブロックに整理された：

• 静的構造的 (Static Structural): デモグラフィックスおよび過去の学術記録（両方のファミリーで共有）。
• 動的時間的行動的 (Dynamic Temporal-Behavioral): 週ごとのエンゲージメント信号（ファミリーAのみ）。
• 初期ウィンドウ行動的 (Early-Window Behavioral): 最初の4週間のエンゲージメントを圧縮した要約（ファミリーBのみ）。

3. 統一評価プロトコル

本ベンチマークは、単一の指標ではなく、多次元的な評価フレームワークを採用している：

• 予測性能: 全局的な確率誤差としての統合ブライア・スコア（IBS）、順序的な識別能としての時間依存型一致指数（C-index）、および週10、20、30におけるホライゾン別ブライア・スコアで測定される。すべての指標は、右側打ち切りを処理するために逆確率打ち切り重み付け（IPCW）を利用する。
• アブレーション解析: 特徴量ブロック（静的 vs 時間的）を系統的に除去し、予測力の源泉を定量化する。
• 説明可能性: 線形モデルには係数を用い、非線形モデルにはグループ化された置換重要度（permutation importance）を用いて、支配的な特徴量ブロックを特定する。
• キャリブレーション: ホライゾン別の加重絶対キャリブレーション・ギャップを用いて、予測されたリスク確率と観測されたドロップアウト率との間の数値的一貫性を評価する。
• 安定性: モデルの再適合を行わずに、200件の登録レベルのブートストラップ・リサンプリングを通じて、ランキングの安定性を評価する。

報告に関する注記: 結果は各ファミリー内で個別に報告される。著者らは、生存分析の指標は時間的表現に敏感であり、ファミリーを跨いだ単一の数値的ランキングは、モデルの違いと表現のアーティファクトを混同させる可能性があると主張し、明示的に回避している。

主要な結果

1. 予測性能

• ファミリーB (Static Early-Window): ランダム生存フォレスト (RSF) がリーダーとして浮上し、最高の時間依存型一致指数（0.674）と、すべてのホライゾンにおける最低のブライア・スコアを達成した。RSFは、一致指数において90%のブートストラップ・リサンプルで首位を維持した。XGBoost AFT は顕著な外れ値であり、すべての指標において低い性能を示した（IBS 0.1495、一致指数 0.577）。
• ファミリーA (Dynamic Weekly): 5つのモデルすべてが0.0011のIBSバンド内に密集していた。ポアソン区分指数は、最低の点推定値（IBS 0.1399）を示したが、単一のモデルがすべての指標で同時に優位に立つことはなかった。

2. シグナルの帰属 (アブレーション & 説明可能性)

アブレーション解析と説明可能性解析は、テストされた全8つの代表的モデル（各ファミリーから4つずつ）において、一貫した知見に収束した：

• 時間的・行動的優位性: 時間的または初期ウィンドウの行動的シグナルを除去した場合、静的な構造的共変量を除去した場合よりも、大幅に大きな性能低下が生じた。ファミリーBにおいて、時間的シグナルを除去した際のIBSの増加は、静的シグナルを除去した際の増加の1.20倍から2.46倍であった。
• 特徴量のドライバー: 支配的な予測シグナルは、デモグラフィックや構造的なものではなく、行動的なものであった。ファミリーBでは、「最初の4週間のアクティブな週数」と「最初の4週間のクリック数」がトップドライバーであった。ファミリーAでは、動的な時間的特徴または離散時間インデックスが支配的であった。

3. キャリブレーション

• ファミリーB: RSFが最高のキャリブレーション・プロファイルを示し、ホライゾン10、20、30においてそれぞれ0.012、0.016、0.014のギャップを記録した。XGBoost AFTは、0.12を超えるギャップを持つ深刻な外れ値であった。
• ファミリーA: モデルは、ファミリーBの最良モデルと比較して大きなキャリブレーション・ギャップ（ホライゾン10で0.089–0.098）を示したが、数値的には一貫しており、XGBoost AFTのような外れ値よりはるかに優れていた。

意義と主張

本論文は、新たな最高スコアを主張することではなく、評価アーキテクチャがいかに学習アナリティクスの結論を形作るかを実証することに位置づけている。

1. 統一されたベンチマーク: 本研究は、LAにおけるモデル比較は、孤立した指標や異種混合な設定を超えなければならないと主張する。統一された表現ファミリーを用いることで、モデルのアーキテクチャから時間的表現の影響を分離している。
2. 時間的・行動的プロセス: 主要な実質的貢献は、ドロップアウト・リスクが静的な背景属性の関数ではなく、時間的・行動的プロセスとして構造化されているという証拠である。この結論は、線形、決定木、ニューラルネットワークの各アーキテクチャ間で共通しており、初期のエンゲージメント・パターンがリスクの主要な駆動要因であることを示唆している。
3. 多次元評価: 識別能（ランキング）だけでは教育的な意思決定には不十分であることを本論文は示している。キャリブレーションと解釈可能性は不可欠なレイヤーである。例えば、RSFのリーダーシップは、その強力なキャリブレーションによって補強されているが、XGBoost AFTの劣悪な性能は、識別能、誤差、キャリブレーションのすべての指標において一貫している。
4. 実用的な実行可能性: 結果は、訓練コンテキスト（共有されたカリキュラム設定）が展開コンテキストと一致している限り、RSFのような決定木アンサンブルを用いた初期ウィンドウ予測（第4週時点）が、介入を促すための手段として実行可能であり、適切にキャリブレーションされていることを示唆している。

著者らが認める限界事項:

• 一般化可能性は、OULADデータセットの共有されたカリキュラム・コンテキストに制約される。未知のモジュールや機関への転送可能性には、ローカルでの再検証が必要である。
• ブートストラップ区間は、モデルの再学習に伴う完全な不確実性ではなく、登録レベルのサンプリング分散を反映している。
• ホールドアウト予測に対して事後的な再キャリブレーションは適用されていない。
• 本研究は、エンゲージメントとドロップアウトの因果関係を主張するものではなく、あくまで予測的な関連性を述べるものである。